CN110414590A - 基于智能移动设备和卷积神经网络的人体活动识别方法 - Google Patents

基于智能移动设备和卷积神经网络的人体活动识别方法 Download PDF

Info

Publication number
CN110414590A
CN110414590A CN201910671798.5A CN201910671798A CN110414590A CN 110414590 A CN110414590 A CN 110414590A CN 201910671798 A CN201910671798 A CN 201910671798A CN 110414590 A CN110414590 A CN 110414590A
Authority
CN
China
Prior art keywords
peak
statistical nature
acceleration
time series
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910671798.5A
Other languages
English (en)
Inventor
李新科
刘欣雨
陈江
李勇明
陈艺航
林宜成
黄新鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910671798.5A priority Critical patent/CN110414590A/zh
Publication of CN110414590A publication Critical patent/CN110414590A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Abstract

本发明公开了基于智能移动设备和卷积神经网络的人体活动识别方法，包括如下步骤：通过智能移动设备周期性采集用户的时间序列数据形成时间序列数据集；生成用户的统计特征向量集，所述统计特征向量集包括若干个统计特征向量，每个所述统计特征向量包括由多个连续时间序列数据生成的时间特征信息及所述时间特征信息对应的三轴加速度特征信息；将所述时间序列数据集及所述统计特征向量集输入完成训练的卷积神经网络，得到每个所述统计特征向量的分类信息，从而根据分类信息进行人体活动识别。本发明通过现有的智能移动设备即可完成数据的采集，数据采集成本低，不会对用户生活造成干扰，具有普适性，适合进行大范围推广。

Description

基于智能移动设备和卷积神经网络的人体活动识别方法
技术领域
本发明涉及人工智能医疗健康技术领域，具体涉及一种基于智能移动设备和卷积神经网络的人体活动识别方法。
背景技术
人体活动识别作为人工智能医疗健康领域的一个研究方向，随着社会发展以及人们生活水平的提高而受到越来越多的关注。基于可穿戴传感器的人体生理特征监测系统在医疗领域应得到了广泛的应用，其中监测的数据包括病人的体温、心率、大脑活动、肌肉动作和其它重要的生理数据。这些传感器能够提供很多关于人体活动精确的、可靠的数据，通过传感器提供的监测数据，护理人员能实时地了解病人是否处于一个相对健康的状况、关注病人的病情变化，并及时为病人提供需要的帮助。由于智能手机在生活中的广泛应用，因此将对基于智能手机的人体活动识别进行系统的研究，记录一个人早，中，晚的休息与运动时间，从而评估该研究对象的作息规律与健康水平。当下，智能手机已融入多样化、功能强大的传感器：图像传感器(即相机)，光传感器，温度传感器，GPS传感器，音频传感器(即麦克风)，和加速度传感器(即加速度计)。智能手机具有携带方便的优点，同时还具有相当强大的数据传输和数据处理功能。相比于传统的基于专业设备的人体活动识别，基于智能手机的人体活动识别研究具有更为广泛的应用。一些研究人员已考虑使用智能手机来解决活动识别问题，但早期的方法没有利用移动设备本身的传感器。例如：有研究人员使用加速度计数据以及音频和气压传感器数据来识别来自一小部分用户的八项日常活动。有研究人员使用与每个主体的主要部位，如手腕、臀部和脚踝相连的“MotionBands”来区分六种不同的运动模式，每个MotionBand包含一个三轴加速计，磁力计和陀螺仪。随着MotionBand收集数据，数据被传输到用户携带的智能手机进行存储。有研究人员收集来自佩戴单个基于加速度计的设备的两名用户的数据，然后将这些数据传输到用户携带的移动设备。有研究人员使用诺基亚手机开发了一种活动识别系统，以区分坐姿，站立，步行，跑步，驾驶和骑车，尽管该研究取得了较高的预测精度，但仅使用4名用户的数据对该系统进行了培训和测试。有研究人员开发了一种活动识别系统，用放置在使用者身体上不同的五个位置的双轴加速度计来识别二十项活动。还有一些工作集中在基于加速度计的活动识别构建的应用程序上，包括识别用户的活动水平并预测他们的能量消耗，检测跌倒和跌倒后用户的移动。
然而，现有技术均需要采用专业的设备来进行数据的收集，数据采集成本高。且使用专业设备进行数据采集时，容易对用户生活造成干扰。
发明内容
针对上述现有技术的不足，本发明提出了基于智能移动设备和卷积神经网络的人体活动识别方法，通过现有的智能移动设备即可完成数据的采集，数据采集成本低，不会对用户生活造成干扰，具有普适性，适合进行大范围推广。
本发明采用了如下的技术方案：
基于智能移动设备和卷积神经网络的人体活动识别方法，包括如下步骤：
S1、通过智能移动设备周期性采集用户的时间序列数据形成时间序列数据集，所述时间序列数据包括时间信息及所述时间信息对应的三轴加速度信息；
S2、生成用户的统计特征向量集，所述统计特征向量集包括若干个统计特征向量，每个所述统计特征向量包括由多个连续时间序列数据生成的时间特征信息及所述时间特征信息对应的三轴加速度特征信息；
S3、将所述时间序列数据集及所述统计特征向量集输入完成训练的卷积神经网络，得到每个所述统计特征向量的分类信息，从而根据分类信息进行人体活动识别。
优选地，所述完成训练的卷积神经网络的训练方法包括：
S200、获取时间序列数据训练集及时间序列数据测试集；
S201、生成统计特征向量训练集及统计特征向量测试集；
S202、将时间序列数据训练集及统计特征向量训练集输入待训练的卷积神经网络进行训练；
S203、将时间序列数据测试集及统计特征向量测试集输入训练后的卷积神经网络进行测试；
S204、若测试结果满足预设条件，则完成卷积神经网络的训练，否则，返回步骤S202进行训练。
优选地，所述三轴加速度特征信息包括平均绝对加速度、分别与三个轴的方向对应的平均加速度、分别与三个轴的方向对应的标准偏差及分别与三个轴的方向对应的平均绝对差中的任意一项或多项，其中：
平均绝对差为对应的时间序列数据中每个加速度值与所有加速度值的平均值之间的平均绝对差值；
平均绝对加速度为每个轴的加速度值的平方求和之后再开平方的值。
优选地，所述时间特征信息包括分别与三个轴的方向对应的峰间时间和/或分别与三个轴的方向对应的分段信息，其中：
所述峰间时间的计算方法包括：
获取对应的时间序列数据中的每个峰值，基于最高峰值设置峰值阈值；
若大于或等于所述峰值阈值的峰值的个数大于或等于3，则计算大于或等于所述峰值阈值的峰值之间的平均时长，作为所述峰间时间；
若大于或等于所述峰值阈值的峰值的个数小于3，则设所述峰间时间为未知；
所述分段数据的计算方法包括：
获取对应的时间序列数据中的加速度值范围，将所述加速度范围划分为若干个数据段；
统计每个数据段中包括的加速度信息的数量，生成所述分段数据。
优选地，a·最高峰值≤峰值阈值≤b·最高峰值；其中，a、b为两个预设的比例系数，且a,b∈[0,1]，a＜b。
综上所述，本发明公开了基于智能移动设备和卷积神经网络的人体活动识别方法，包括如下步骤：通过智能移动设备周期性采集用户的时间序列数据形成时间序列数据集，所述时间序列数据包括时间信息及所述时间信息对应的三轴加速度信息；生成用户的统计特征向量集，所述统计特征向量集包括若干个统计特征向量，每个所述统计特征向量包括由多个连续时间序列数据生成的时间特征信息及所述时间特征信息对应的三轴加速度特征信息；将所述统计特征向量集输入完成训练的卷积神经网络，得到每个所述统计特征向量的分类信息，从而根据分类信息进行人体活动识别。本发明通过现有的智能移动设备即可完成数据的采集，数据采集成本低，不会对用户生活造成干扰，具有普适性，适合进行大范围推广。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1是本发明基于智能移动设备和卷积神经网络的人体活动识别方法的一种具体实施方式的流程图；
图2是步行加速度图；
图3是慢跑加速度图；
图4是上楼加速度图图；
图5是下楼加速度图；
图6是坐加速度图；
图7是站立加速度；
图8是CNN模型流程图；
图9是CNN训练次数与分类正确率之间的关系示意图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1所示，本发明公开了基于智能移动设备和卷积神经网络的人体活动识别方法，包括如下步骤：
S1、通过智能移动设备周期性采集用户的时间序列数据形成时间序列数据集，所述时间序列数据包括时间信息及所述时间信息对应的三轴加速度信息；
S2、生成用户的统计特征向量集，所述统计特征向量集包括若干个统计特征向量，每个所述统计特征向量包括由多个连续时间序列数据生成的时间特征信息及所述时间特征信息对应的三轴加速度特征信息；
S3、将所述时间序列数据集及所述统计特征向量集输入完成训练的卷积神经网络，得到每个所述统计特征向量的分类信息，从而根据分类信息进行人体活动识别。
卷积神经网络(CNN)的结构主要分为两层，第一层是特征提取层，这一层中神经元的输入端直接与前一层的接受域相连，能够提取到接受域的特征，成功提取到相关特征后，与每个特征之间的位置关系就确定了下来。第二层为特征映射层，多个特征映射组成了卷积神经网络的计算层。CNN训练算法主要步骤如下：
①从样本集中取出一个样本(X,Yp)，将X输入到网络之中；
②计算出相应的实际输出Op；
③计算实际输出Op与相应理想输出Yp的差；
④用极小化误差的方法调整权矩阵，寻找最佳映射。
本发明所采用的CNN模型，包括五层结构：输入层，卷积层，池化层，全连接层，输出层。
卷积层：CNN采用局部过滤器，进行卷积过程，即取输入项的局部子矩阵与局部过滤器进行内积运算，输出结果作为卷积输出矩阵所对应的维数值。为了形成更好的数据表现形式，卷积层提供多个相同的局部过滤器，形成多个输出矩阵，每个输出矩阵的大小是(N-m+1)，计算过程如下：
其中,中的l表示第l个卷积层,i表示第i个卷积输出矩阵的某个值,j表示对应的输出矩阵的编号，从左往右依次表示为0到N,N为卷积输出矩阵的个数。f表示非线性函数,本发明用了影响函数核小的sigmoid函数。sigmoid函数计算公式如下：
池化层：对输入的特征数据进行压缩，一方面使特征数据变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。池化层可以通过平均值构造也可通过最大值构造,本发明采用平均值构造。池化层的输入来源于上一层的卷积层，输出结果作为下一层卷积的输入层。池化层采用局部求均值的方式进行降维。计算公式如下：
式中,表示进行池化过程后局部的一个输出项，它是由上一层大小为n*n的局部小矩阵进行求均值所得到的。
全连接层：将网络学习到的特征映射到样本的标记空间中。全连接层会把卷积输出的二维特征向量转化成一维的特征向量。
本发明基于以上步骤构建了CNN模型结构，首先通过输入层输入三轴加速度计采集到的时间序列数据，然后通过卷积层进行数据处理：使用196个卷积滤波器进行并行学习，创建丰富的数据特征表示，其中每个滤波器的大小为1×12，卷积的步长为1。再将sigmoid函数应用于生成的200个特征表示，使用1×4大小的最大池化层进行4倍降维。再将池化层的输出展平，并与其他统计特征向量(平均加速度、标准偏差、平均绝对差、平均绝对加速度等)叠加在一起。联合组成的特征向量随后被传递到全连接层，进行特征标记分类，最后通过输出层输出六种活动的一维特征向量，CNN训练流程图如图8所示。
CNN中同一个特征映射面上所有神经元的权值都是一样的，所以网络学习过程可以是并行学习，这也是相较于其他由神经元直接相连构成的网络的优势。由于卷积神经网络的这一特性，其在语音识别、图像处理等方面具有相当大的优势，权值共享这一特性大大降低了神经网络的复杂程度，在处理具有多维输入的数据方面具有极大的优势，从而极大地提高了卷积神经网络的可用性。此外，卷积神经网络在提取显式特征这方面显示出了它的优势：成功避免了直接对数据的显式特征的抽取，而是隐式学习。
本发明通过现有的智能移动设备具有的加速度计即可完成数据的采集，数据采集成本低，不会对用户生活造成干扰，具有普适性，适合进行大范围推广。
本发明以下面6种活动为例：步行，慢跑，上楼梯，下楼梯，坐和站立。因为这些活动在日常生活中有许多人定期执行，而且人们大量时间段内经常发生这些动作，从而使数据集更丰富。此外，这些活动中的大多数活动都涉及了重复动作，也会使活动更容易识别。当实验需要记录每个活动的数据时，记录三轴加速度计对应的三个轴的加速度值，z轴记录前后方向上的运动，y轴记录上下方向上的运动，x轴记录左右方向上的运动。
图2-图7为典型的基于三轴加速度生成的函数图，基于六个活动中的三个轴中的每一个轴绘制了加速度计数据图。显然，坐和站立(图6，7)不显示周期性行为，但基于x、y和z轴的值的相对大小具有其独特的模式，而其他四项活动(图2-图5)都涉及了重复性运动，表现出周期性行为。对于大多数活动状态，y值都具有最大的加速度值，这是地球引力所导致的结果，导致加速度计在地球中心方向测量值为9.8m/s2。除了坐，这个方向上的所有活动都对应于y轴。步行，慢跑，上楼梯和下楼梯所体现的周期性可用峰值之间的时间和加速度值的相对大小来描述。图2所示的步行状态显示了y轴的一系列高峰，峰间间隔时间大约为0.5秒，z轴加速度数据的峰值间隔较近，但幅度较低；z轴和y轴数据的峰值之间的距离表示一个步幅所需的时间；x轴值(一边到另一边)的幅度更低，但仍然与其他轴相关的峰值保持变化一致。对于慢跑，z轴和y轴数据可以看到类似的趋势，但峰值之间的时间少于0.25秒，符合预期。对于下楼梯，观察到一系列的小轴线，每次加速度持续时间大约为0.5秒；每个小高峰代表一个下楼梯动作的移动；x轴值显示与负向加速度相似的趋势，反映了每个楼梯向下的正常移动；x轴数据显示了一系列半规则的小峰值，加速度在正值和负值之间再次出现摆动。对于上楼梯，有一系列用于z轴数据和y轴数据的规则峰值；这些间隔约为0.75秒，反映了用户在上楼梯时需要的时间更长。
因此，本发明与先有技术的不同还在于，本发明不仅仅考虑了加速度信息来识别用户的活动，本发明还综合考虑了各加速度值与其对应的时间之间的关系，通过时间特征信息及三轴加速度特征信息两个特征进行活动的分类识别，识别精度更高。
具体实施时，所述完成训练的卷积神经网络的训练方法包括：
S200、获取时间序列数据训练集及时间序列数据测试集；
S201、生成统计特征向量训练集及统计特征向量测试集；
S202、将时间序列数据训练集及统计特征向量训练集输入待训练的卷积神经网络进行训练；
S203、将时间序列数据测试集及统计特征向量测试集输入训练后的卷积神经网络进行测试；
S204、若测试结果满足预设条件，则完成卷积神经网络的训练，否则，返回步骤S202进行训练。
本发明中，时间序列数据训练集及时间序列数据测试集可来自WISDM数据集，WISDM数据集收集了人体活动识别所需要的原始数据，在执行某些日常活动的同时让用户携带基于Android系统的智能手机。在多位测试者的帮助下携带不同类型的基于Android系统的手机，同时执行一组特定的活动。这些受试者将Android手机放在前裤裤袋中，并被要求执行走路，慢跑，上楼梯，下楼梯，坐下和站立等活动。数据收集由该研究团队创建的在手机上执行的应用程序控制。该应用程序通过简单的图形用户界面，允许测试者记录用户的姓名，启动和停止等数据的收集，并标记用户正在执行的活动。该应用程序允许该研究团队控制收集哪些传感器数据(例如：GPS，加速度计)以及收集的频率。在所有情况下，研究者每隔预设时间(本发明中采集用户时间序列数据的周期与这里的时间间隔相同，具体可为50ms)收集一次加速度计数据，所以每秒钟需要处理20个样本。数据收集由WISDM团队成员之一负责监督，以确保数据的质量。该数据集包括超过一百万条用户活动状态及对应的加速度数值，还包括记录用户活动数据的时间段。原始数据集包含的数据数量为1098207个，其中包含有慢跑，步行，上楼，下楼，坐，站立六种活动状态(本发明也以分类识别这六种活动为例)。下表为六种活动所占比例。
表1 转换前六种活动分布
原始数据格式可为：
(用户代码，活动，设备运行时间，X轴加速度，Y轴加速度，Z轴加速度)；
其中一个典型的序列如下：
(33，慢跑，49105962326000，-0.6946377，12.680544，0.50395286)。
本发明中，按比例将一部分数据作为训练集，一部分数据作为测试集。本领域技术人员应当知晓，在训练过程中，除了输入统计特征向量训练集外，还需把已经确定的活动类型输入到训练模型中。在测试时，仅输入统计特征向量测试集即可，训练后，用测试集进行测试，当训练后的神经网络达到预设精度时，则可认为测试结果满足预设条件。
同时，该数据集已经被众多研究机构用于人体行为识别研究，并取得了良好的反响。因此，本发明可采用该数据集的材料作为训练集和测试集。
具体实施时，所述三轴加速度特征信息包括平均绝对加速度、分别与三个轴的方向对应的平均加速度、分别与三个轴的方向对应的标准偏差及分别与三个轴的方向对应的平均绝对差中的任意一项或多项，其中：
平均绝对差为对应的时间序列数据中每个加速度值与所有加速度值的平均值之间的平均绝对差值；
平均绝对加速度为每个轴的加速度值的平方求和之后再开平方的值。
具体实施时，所述时间特征信息包括分别与三个轴的方向对应的峰间时间和/或分别与三个轴的方向对应的分段信息，其中：
所述峰间时间的计算方法包括：
获取对应的时间序列数据中的每个峰值，基于最高峰值设置峰值阈值；
若大于或等于所述峰值阈值的峰值的个数大于或等于3，则计算大于或等于所述峰值阈值的峰值之间的平均时长，作为所述峰间时间；
若大于或等于所述峰值阈值的峰值的个数小于3，则设所述峰间时间为未知；
所述分段数据的计算方法包括：
获取对应的时间序列数据中的加速度值范围，将所述加速度范围划分为若干个数据段；
统计每个数据段中包括的加速度信息的数量，生成所述分段数据。
本发明中，为了将智能手机中的三轴加速度计采集的惯导信息通过分类模型进行识别，需要将时间序列数据转换为相应的统计特征向量。本发明将数据划分为10秒一个区段(一个区段对应一个统计特征向量)，然后生成基于每个10秒段内包含的200个读数的特征(假设以50ms为周期采集数据)，将每个片段的持续时间称为示例持续时间(ED)。然后，根据200个加速度计读数值生成所需的统计特征向量，其中每个读数包含三个轴/维度对应的x，y和z值。
统计特征向量具体可以包括以下内容：
平均加速度：平均加速度对应于三个轴；
标准偏差：标准偏差对应于三个轴；
平均绝对差：ED内200个读数的每个值与这200个值的平均值之间的平均绝对差值(对于每个轴)；
平均绝对加速度：每个轴的平方和平方根的平均值，即
峰间时间：与大多数活动相关的正弦波峰值之间的所包含时间(以毫秒为单位)；
分段数据：我们确定每个轴的值范围(最大值-最小值)，将此范围分成10个相同大小的数据段，然后记录每个数据段内包含的200个值中的数量。
本发明中，采用峰间时间作为统计特征向量的一部分，这种方法能够准确地找出具有明确重复模式的活动峰值之间的时间，如步行和慢跑。
本发明中，将数据转换为统计特征向量所使用的办法，大多数都是简单的统计方法，用基于Matlab的简单数学统计算法即可实现，因此本发明具有计算量小，运算方式简单，硬件要求低的特点。
统计特征向量及分类结果可以以下形式存在：
{ID,X0..X9，XAVG，XPEAK，XABSO，XSTAND，Y0..Y9，YAVG，YPEAK，YABSO，YSTAND，Z0..Z9，ZAVG，ZPEAK，ZABSO，ZSTAND，RESULTANT，class}。
数据第一列是数据来源的用户的ID号码，与最后的分类结果是不相关的，将其作为无效数字处理；X0..X9，Y0..Y9，Z0..Z9是分段数据的数值；XAVG，YAVG，ZAVG分别对应于x，y和z的平均值；XPEAK，YPEAK，ZPEAK对应于峰间时间。首先，该数据的最大意义在于确定阈值后，在一定条件下，可使所有本地峰值在10％以内其振幅被确定。如果峰的数量小于3，则门限降低到至少可以找到3个峰值。XABSO，YABSO，ZABSO是绝对的平均值偏离每个轴的平均值。XSTAND，YSTAND，ZSTAND是标准偏差，也是对应于每个轴。RESULTANT的值对应于平均绝对加速度，最后一列的class是在此示例中用户正在执行的活动，即识别和分类的人体活动状态。
具体实施时，a·最高峰值≤峰值阈值≤b·最高峰值；其中，a、b为两个预设的比例系数，且a,b∈[0,1]，a＜b。通常可以取b＝1，a∈[0.5,0.9]，具体取值根据实际应用情况而定。这里其实也体现了本发明人体活动识别方法在应用上的一些限制，即，如果在人体处于静止或非活跃状态下，采集到的时间序列数据中的峰值个数可能小于3个，这时则可以认为此时人体处于静止或非活跃状态，例如平躺、静坐、站立等情况，但就不能够具体用以识别判断人体具体处于何种静止或非活跃状态了；不过，依然可以把平躺、静坐、站立等静止或非活跃状态作为一个人体活动类别进行识别。
下面采用相同的数据集通过不同的方法，与本发明的方法进行比较：
具体可采用K最近邻算法及随机森林与本发明的方法进行比较。KNN通过依据k个对象中占优的类别进行决策，而不是单一的对象类别决策。其算法的描述为：
1)计算测试数据与各个训练数据之间的距离；在KNN中，基本都是采用欧氏距离作为标准的距离度量方式，对于两个2维向量X和Y，两者的欧式距离定义为：
2)按照距离的递增关系进行排序；
3)选取距离最小的K个点；
4)确定前K个点所在类别的出现频率；
5)返回前K个点中出现频率最高的类别作为测试数据的预测分类。
随机森林通过构造不同的训练集增加分类模型间的差异,从而提高组合分类模型的外推预测能力。通过k轮训练，得到一个分类模型序列{h1(X)，h2(X)，……，hk(X)}，再用它们构成一个多分类模型系统，该系统的最终分类结果采用简单多数投票法。最终的分类决策：
式中,H(x)表示组合分类模型,hi是单个决策树分类模型,Y表示输出变量(或称目标变量),I(*)为示性函数。上式说明了使用多数投票决策的方式来确定最终的分类。
基于Tensorflow平台，采用Python编程语言，构建CNN识别模型并进行分析，同时引入KNN与随机森林识别模型作为对比，进一步来评估基于CNN识别模型的准确率。
表3-表5为基于CNN，KNN及随机森林的分类结果，表中：Recall表示模型对正样本的识别正确率；F1-score表示一个模型的综合评价指标。Recall计算公式如下：
式中，tp表示实际为正样本预测为正样本，fp表示实际为负样本预测为正样本，fn表示实际为负样本预测为负样本。
F1-score计算公式如下：
式中，
使用CNN对转换后的WISDM数据集进行分类时，当训练次数达到3000次时(表中所列数据)，分类的正确率能达到92％以上；当训练次数逐渐增加，在50000次时，模型正确率能达到93％左右，这完全符合实验预期和要求。但考虑到实际情况，若每一个模型的训练次数都为50000次时，不仅耗费的时间长，而且3000次和50000次的识别正确率相差不大。在实际测试中，达到3000次的训练次数就能满足要求了，若训练次数持续增加，考虑到运行时间、设备要求，则实验性价比会相应降低。并且CNN对每个活动的识别率都很高，对站立和上楼梯的识别最低，但是也能达到82％以上；而且Recall和F1-score在CNN算法中也能达到较好的效果。CNN训练次数与分类正确率之间的关系如图9所示。
表3 KNN分类结果
表4 随机森林分类结果
表5 CNN算法分类结果
通过实验结果可以看到：对于同一数据集，KNN的分类正确率为73％左右，对上楼、下楼、坐和站立的识别准确率只能达到30％左右，Recall值只有68％左右，所以在本实验中KNN相较于CNN具有明显的劣势，而30％左右的识别率完全达不到实验要求。而随机森林的识别正确率为82％左右，Recall值能达到83％以上。随机森林分类模型的分类结果要明显好于KNN，但相较于CNN，仍然具有一定的差距。上述实验结果表明，本发明的方法能更加有效地识别人体活动。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (5)

1.基于智能移动设备和卷积神经网络的人体活动识别方法，其特征在于，包括如下步骤：
S1、通过智能移动设备周期性采集用户的时间序列数据形成时间序列数据集，所述时间序列数据包括时间信息及所述时间信息对应的三轴加速度信息；
S2、生成用户的统计特征向量集，所述统计特征向量集包括若干个统计特征向量，每个所述统计特征向量包括由多个连续时间序列数据生成的时间特征信息及所述时间特征信息对应的三轴加速度特征信息；
S3、将所述时间序列数据集及所述统计特征向量集输入完成训练的卷积神经网络，得到每个所述统计特征向量的分类信息，从而根据分类信息进行人体活动识别。
2.如权利要求1所述的基于智能移动设备和卷积神经网络的人体活动识别方法，其特征在于，所述完成训练的卷积神经网络的训练方法包括：
S200、获取时间序列数据训练集及时间序列数据测试集；
S201、生成统计特征向量训练集及统计特征向量测试集；
S202、将时间序列数据训练集及统计特征向量训练集输入待训练的卷积神经网络进行训练；
S203、将时间序列数据测试集及统计特征向量测试集输入训练后的卷积神经网络进行测试；
S204、若测试结果满足预设条件，则完成卷积神经网络的训练，否则，返回步骤S202进行训练。
3.如权利要求1所述的基于智能移动设备和卷积神经网络的人体活动识别方法，其特征在于，所述三轴加速度特征信息包括平均绝对加速度、分别与三个轴的方向对应的平均加速度、分别与三个轴的方向对应的标准偏差及分别与三个轴的方向对应的平均绝对差中的任意一项或多项，其中：
平均绝对差为对应的时间序列数据中每个加速度值与所有加速度值的平均值之间的平均绝对差值；
平均绝对加速度为每个轴的加速度值的平方求和之后再开平方的值。
4.如权利要求1所述的基于智能移动设备和卷积神经网络的人体活动识别方法，其特征在于，所述时间特征信息包括分别与三个轴的方向对应的峰间时间和/或分别与三个轴的方向对应的分段信息，其中：
所述峰间时间的计算方法包括：
获取对应的时间序列数据中的每个峰值，基于最高峰值设置峰值阈值；
若大于或等于所述峰值阈值的峰值的个数大于或等于3，则计算大于或等于所述峰值阈值的峰值之间的平均时长，作为所述峰间时间；
若大于或等于所述峰值阈值的峰值的个数小于3，则设所述峰间时间为未知；
所述分段数据的计算方法包括：
获取对应的时间序列数据中的加速度值范围，将所述加速度范围划分为若干个数据段；
统计每个数据段中包括的加速度信息的数量，生成所述分段数据。
5.如权利要求4所述的基于智能移动设备和卷积神经网络的人体活动识别方法，其特征在于，a·最高峰值≤峰值阈值≤b·最高峰值；其中，a、b为两个预设的比例系数，且a,b∈[0,1]，a＜b。
CN201910671798.5A 2019-07-24 2019-07-24 基于智能移动设备和卷积神经网络的人体活动识别方法 Pending CN110414590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671798.5A CN110414590A (zh) 2019-07-24 2019-07-24 基于智能移动设备和卷积神经网络的人体活动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671798.5A CN110414590A (zh) 2019-07-24 2019-07-24 基于智能移动设备和卷积神经网络的人体活动识别方法

Publications (1)

Publication Number Publication Date
CN110414590A true CN110414590A (zh) 2019-11-05

Family

ID=68362925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671798.5A Pending CN110414590A (zh) 2019-07-24 2019-07-24 基于智能移动设备和卷积神经网络的人体活动识别方法

Country Status (1)

Country Link
CN (1) CN110414590A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401433A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 用户信息获取方法、装置、电子设备及存储介质
CN112932469A (zh) * 2021-01-26 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于CNN+Transformer的三轴加速度活动识别方法
CN113074724A (zh) * 2021-03-26 2021-07-06 歌尔股份有限公司 运动时间计算方法、装置、设备及计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102192740A (zh) * 2010-03-05 2011-09-21 精工爱普生株式会社 姿势信息计算装置、姿势信息计算系统及姿势信息计算法
CN108196998A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种状态识别方法、移动设备及服务器
CN108345846A (zh) * 2018-01-29 2018-07-31 华东师范大学 一种基于卷积神经网络的人体行为识别方法及识别系统
CN108549900A (zh) * 2018-03-07 2018-09-18 浙江大学 基于移动设备佩戴位置的人体跌倒检测方法
US20180300553A1 (en) * 2017-03-30 2018-10-18 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
CN108960337A (zh) * 2018-07-18 2018-12-07 浙江大学 一种基于深度学习模型的多模态复杂活动识别方法
CN109145739A (zh) * 2018-07-18 2019-01-04 郭渐凌 一种人体姿态预测方法、装置及系统
CN109711324A (zh) * 2018-12-24 2019-05-03 南京师范大学 基于傅里叶变换和卷积神经网络的人体姿态识别方法
US20190138812A1 (en) * 2017-08-28 2019-05-09 Nec Laboratories America, Inc. Mobile device with activity recognition
US20190147338A1 (en) * 2017-11-15 2019-05-16 Stmicroelectronics S.R.L. Recognition method, corresponding system and computer program product

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102192740A (zh) * 2010-03-05 2011-09-21 精工爱普生株式会社 姿势信息计算装置、姿势信息计算系统及姿势信息计算法
US20180300553A1 (en) * 2017-03-30 2018-10-18 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
US20190138812A1 (en) * 2017-08-28 2019-05-09 Nec Laboratories America, Inc. Mobile device with activity recognition
US20190147338A1 (en) * 2017-11-15 2019-05-16 Stmicroelectronics S.R.L. Recognition method, corresponding system and computer program product
CN108196998A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种状态识别方法、移动设备及服务器
CN108345846A (zh) * 2018-01-29 2018-07-31 华东师范大学 一种基于卷积神经网络的人体行为识别方法及识别系统
CN108549900A (zh) * 2018-03-07 2018-09-18 浙江大学 基于移动设备佩戴位置的人体跌倒检测方法
CN108960337A (zh) * 2018-07-18 2018-12-07 浙江大学 一种基于深度学习模型的多模态复杂活动识别方法
CN109145739A (zh) * 2018-07-18 2019-01-04 郭渐凌 一种人体姿态预测方法、装置及系统
CN109711324A (zh) * 2018-12-24 2019-05-03 南京师范大学 基于傅里叶变换和卷积神经网络的人体姿态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREY IGNATOV: "Real-time human activity recognition from accelerometer data using Convolutional Neural Networks", 《APPLIED SOFT COMPUTING》 *
JENNIFER R. KWAPISZ ET AL.: "Activity recognition using cell phone accelerometers", 《SIGKDD EXPLORATIONS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401433A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 用户信息获取方法、装置、电子设备及存储介质
CN111401433B (zh) * 2020-03-12 2023-10-17 腾讯科技（深圳）有限公司 用户信息获取方法、装置、电子设备及存储介质
CN112932469A (zh) * 2021-01-26 2021-06-11 山西三友和智慧信息技术股份有限公司 一种基于CNN+Transformer的三轴加速度活动识别方法
CN113074724A (zh) * 2021-03-26 2021-07-06 歌尔股份有限公司 运动时间计算方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Pandey Machine learning and IoT for prediction and detection of stress
Serpush et al. Wearable sensor-based human activity recognition in the smart healthcare system
Khatamino et al. A deep learning-CNN based system for medical diagnosis: An application on Parkinson’s disease handwriting drawings
Damaševičius et al. Human activity recognition in AAL environments using random projections
US10824954B1 (en) Methods and apparatus for learning sensor data patterns of physical-training activities
CN110414590A (zh) 基于智能移动设备和卷积神经网络的人体活动识别方法
Kataria et al. Human Activity Classification using G-XGB
Sikder et al. Log-sum distance measures and its application to human-activity monitoring and recognition using data from motion sensors
CN110659677A (zh) 一种基于可移动传感器组合设备的人体跌倒检测方法
Minarno et al. Performance comparisson activity recognition using logistic regression and support vector machine
Wang et al. Sitting posture recognition using a spiking neural network
Gupta et al. Yogahelp: Leveraging motion sensors for learning correct execution of yoga with feedback
WO2021142532A1 (en) Activity recognition with deep embeddings
Turan et al. Classification of fall directions via wearable motion sensors
Nazari et al. Comparison study of inertial sensor signal combination for human activity recognition based on convolutional neural networks
Baldominos et al. Feature selection for physical activity recognition using genetic algorithms
CN110705599B (zh) 一种基于在线迁移学习的人体动作识别方法
CN110598789A (zh) 一种基于模糊感知器的人体疲劳状态预测方法及系统
Byrne et al. Health monitoring using gait phase effects
Yan et al. Topological Nonlinear Analysis of Dynamical Systems in Wearable Sensor-Based Human Physical Activity Inference
Siagian et al. Long short term memory networks for stroke activity recognition base on smartphone
Han et al. Human Activity and Correlated Posture Monitoring using Earlobe-worn Wearable Sensor System and Deep Learning Algorithm
Mani et al. Smart suspenders with sensors and machine learning for human activity monitoring
Walee et al. Human Activity Recognition Using an IoT-based Posture Corrector and Machine Learning
Tian et al. A novel selective ensemble learning method for smartphone sensor-based human activity recognition based on hybrid diversity enhancement and improved binary glowworm swarm optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105