CN108958482A - 一种基于卷积神经网络的相似性动作识别装置及方法 - Google Patents

一种基于卷积神经网络的相似性动作识别装置及方法 Download PDF

Info

Publication number
CN108958482A
CN108958482A CN201810690728.XA CN201810690728A CN108958482A CN 108958482 A CN108958482 A CN 108958482A CN 201810690728 A CN201810690728 A CN 201810690728A CN 108958482 A CN108958482 A CN 108958482A
Authority
CN
China
Prior art keywords
data
convolutional neural
neural networks
module
similitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810690728.XA
Other languages
English (en)
Other versions
CN108958482B (zh
Inventor
杨明静
杨世文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810690728.XA priority Critical patent/CN108958482B/zh
Publication of CN108958482A publication Critical patent/CN108958482A/zh
Application granted granted Critical
Publication of CN108958482B publication Critical patent/CN108958482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的相似性动作识别装置及方法，该装置包括相连接的加速度计模块及移动终端；加速度计模块包括单片机及分别与其连接加速度传感器、蓝牙模块、电源模块；把采集到的数据通过蓝牙传输到安卓客户端模块；安卓客户端模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络传至服务器；服务器端模块首先对数据进行存储，然后通过TensorFlow平台下构建的卷积神经网络模型对数据进行训练和分类，最后再将动作识别的结果返回至安卓客户端模块。本发明使用卷积神经网络算法，该算法能够针对不同的应用场景自动提取特征值，无需人工单独对不同的场景设计特征值，且该算法对相似性动作的识别效果较好。

Description

一种基于卷积神经网络的相似性动作识别装置及方法
技术领域
本发明属于生物医学信息检测与处理、模式识别、动作识别方法，具体涉及一种基于卷积神经网络的相似性动作识别装置及方法。
背景技术
随着科技的发展，越来越多的微型设备配备了各式各样的传感器，比如加速度计、磁力计、气压计、罗盘等，这些传感器的普及带动了新型研究领域的发展--基于可穿戴设备的动作识别。人类的任何行为都是某些小动作的组成，比如走，跑，跳，坐，躺等等，每个动作都有其特有的特征，通过一定的传感器我们可以分析受试者的动作。人体运动信息是人体肌骨运动系统和神经控制系统等多方面综合运动功能的宏观反映，通过人体运动信息的识别，记录运动过程中身体各环节的位置及其运动轨迹，并通过适当的分析处理软件处理可以得到人体运动学和动力学方面信息，辅助临床医生进行疾病和康复进程评定，为临床提供准确科学的诊断和评价手段。
通过人的运动信息来识别人的动作越来越受到关注, 目前动作识别研究热点主要集中于基于视觉领域的动作识别和基于传感器领域的动作识别。基于视觉的动作识别，大多是借助摄像机，或者多个摄像机来采集数据，然后运用一些图像处理的方法进行动作的分类识别。市场上也有很多公司提供了成功的单摄像机解决方案，比如XTR3d，Pointgrab，Eyesight等等。但是，采集的图像数据对存储量要求较高，对数据的处理能力也有一定的要求，比如CPU，GPU的要求等。而且，这些摄像机的成本较高，高分辨率的设备更是如此。另一方面，摄像机也比较难捕捉细小的动作，摄像设备仅仅依赖于RGB数据，在没有照明，或者光照不好的情况下，数据就变得意义不大。于是基于传感器的动作识别应运而生，迅速成为一个新的研究领域。基于传感器领域的动作识别则大多借助一些微型的传感器，比如GPS、加速度计、陀螺仪、磁力计，或者光线传感器等一些微型的传感器来采集数据，然后运用一些机器学习的方法来处理数据，进而实现动作识别。比如：人在摔倒的过程中，加速度的信息会急剧发生变化。佩戴含加速读计的传感器医疗报警器，当一老人摔倒时，步态变化的信息会触动报警器，救护车可以及时赶到，防止意外事故的发生。在远程医疗基础之上，建立起来高度智能化的动作识别系统，可以在一定程度上辅助阿尔茨海默等疾病的治疗问题。动作识别也可用于安全防护领域，通过分析受试者的动作进而判断受试者的身份等。此外，人体动作行为研究在体育运动中同样具有十分重要的研究意义，它可以作为一种辅助手段帮助运动员分析在竞技体育中运动时的速度、幅度、角度等基本信息，甚至深入剖析每一个动作的变化规律，帮助运动员提高竞技水平。目前市场上也有一些比较成熟的应用，比如智能手环、智能手表等，或者利用手机自带的传感器（三轴加速度计等）进行计步，能量消耗（Calorie）等的应用。但这些应用的识别率较差，可靠性不高，无法适用一些特殊的场景（指定运动监测、士兵活动检测，辅助性运动障碍治疗等）。
众所周知，影响识别率的因素有很多，比如传感器数量、采样频率、样本数量以及动作类别等等。但除此之外，还有一个重要的因素影响分类结果，即相似性动作间的识别。比如上下楼梯的识别，上下坡的识别，站和坐的识别等，因为相似性动作之间的数据相似性（如图1所示），从而使得提取到的特征值不具有区分性，故而使得整体的识别率降低。
纵观现有的基于可穿戴设备的动作识别研究大多存在着如下三个问题：1）相似性动作之间区分度较差，从而导致个别类别的分类准确率低于平均水平，近而进而影响整体的识别效果；2）特征值提取需要一定的专业知识，且计算量较大；3）由于训练和分类阶段的计算量都较大，使得整个系统需要依赖服务器的计算资源，故而无法在移动端实现等等。
发明内容
因此，针对以上的问题，本发明设计并搭建了一套动作识别系统，并针对相似性动作识别率低的问题，提出相应的解决方案，提高了动作的识别率。并且在传统的基于特征提取的方法上进行改进，将卷积神经网络直接应用于原始的时间序列数据，免去提取特征值的繁琐步骤，从而简化了整个流程。
为实现上述目的，本发明采用以下技术方案：一种基于卷积神经网络的相似性动作识别装置，其包括相连接的加速度计模块及移动终端；所述加速度计模块包括单片机及分别与其连接的加速度传感器、蓝牙、电源模块；在采集数据的过程中，将加速度计模块放置在受试者身上，把采集到的数据通过蓝牙传输到安卓客户端模块；安卓客户端模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络传至服务器；服务器端模块首先对数据进行存储，然后通过TensorFlow平台下构建的卷积神经网络模型对数据进行训练和分类，最后再将动作识别的结果返回至安卓客户端模块。
较佳的，所述单片机采用MSP430G230单片机；加速度传感器采用FXOS8700CQ传感器；蓝牙模块采用HC06。
在本发明一实施例中，所述电源模块包括电源芯片、充电芯片及电池；所述电源芯片一端与充电芯片一端连接；充电芯片另一端与电池一端连接；电池另一端与电源芯片另一端连接.
较佳的，电源模块采用SGM2019 LDO芯片；充电芯片采用BQ24040充电芯片；电池标称容量为120mAh。
本发明还提供一种基于卷积神经网络的相似性动作识别方法，其包括以下步骤：步骤S1：将加速度计模块放置在受试者的腰部口袋，把采集到的数据通过蓝牙传输到安卓客户端模块；安卓客户端模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络传至服务器；服务器端模块首先对数据进行存储；步骤S2：获取足够样本数据后，对采集的数据进行预处理，预处理包括：滤波降噪、归一化、缺失值处理以及窗口切割等；步骤S3：借助TensorFlow平台搭建卷积神经网络模型，然后选取一部分原始数据作为训练样本，对卷积神经网络模型进行训练；步骤S4：将待识别原始数据直接输入训练好的卷积神经网络模型进行处理,由所述卷积神经网络模型根据应用场景自动提取特征值，再根据提取到的特征值,由Softmax层确定所述待识别数据的动作识别结果；所述卷积神经网络模型由已知数据在服务器上训练所得。
在本发明一实施例中，对采集的数据进行预处理有滤波降噪、缺失值处理、归一化和窗口切割。
与现有技术相比，本发明的检测方法使用卷积神经网络算法，该算法能够针对不同的应用场景自动提取特征值，无需人工单独对不同的场景设计不同的特征值，且该算法对相似性动作的识别效果较好。此外，卷积神经网络模型可以直接应用于原始的时间序列数据，从而保证系统的连贯性，满足实时性的要求。本发明借助TensorFlow平台实现动作识别系统，只需要在服务器端完成模型的训练，之后再将训练好的模型导入由TensorFlow在手机端搭建的动作识别系统，此时手机端因为不需要训练模型，所以大大减少了计算量，从而使得整个系统的部署完全在手机端实现成为可能，具有真正的可移植性。
附图说明
图1为上楼梯和下楼梯的加速度；
图2为相似性动作识别系统框图；
图3为服务器端数据的处理流程图；
图4为TensorFlow平台下构建的卷积神经网络模型结构。
具体实施方式
下面结合附图和具体实施例对本发明做进一步解释说明。
本发明提供一种基于卷积神经网络的相似性动作识别装置，其包括相连接的加速度计模块及移动终端；所述加速度计模块包括单片机及分别与其连接的加速度传感器、蓝牙、电源模块；在采集数据的过程中，将加速度计模块放置在受试者身上，把采集到的数据通过蓝牙传输到安卓客户端模块；安卓客户端模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络传至服务器；服务器端模块首先对数据进行存储，然后通过TensorFlow平台下构建的卷积神经网络模型对数据进行训练和分类，最后再将动作识别的结果返回至安卓客户端模块。
较佳的，所述单片机采用MSP430G230单片机；加速度传感器采用FXOS8700CQ传感器；蓝牙模块采用HC06。
在本发明一实施例中，所述电源模块包括电源芯片、充电芯片及电池；所述电源芯片一端与充电芯片一端连接；充电芯片另一端与电池一端连接；电池另一端与电源芯片另一端连接.
较佳的，电源模块采用SGM2019 LDO芯片；充电芯片采用BQ24040充电芯片；电池标称容量为120mAh。
本发明还提供一种基于卷积神经网络的相似性动作识别方法，其包括以下步骤：步骤S1：将加速度计模块放置在受试者的右大腿部口袋，把采集到的数据通过蓝牙传输到安卓客户端模块；安卓客户端模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络传至服务器；服务器端模块对数据进行存储；步骤S2：获取足够样本数据后，对采集的数据进行预处理，预处理包括：滤波降噪、归一化、缺失值处理以及窗口切割等；步骤S3：借助TensorFlow平台搭建卷积神经网络模型，然后选取一部分原始数据作为训练样本，对卷积神经网络模型进行训练；步骤S4：将待识别原始数据直接输入训练好的卷积神经网络模型进行处理,由所述卷积神经网络模型根据应用场景自动提取特征值，再根据提取到的特征值,由Softmax层确定所述待识别数据的动作识别结果；所述卷积神经网络模型由部分已知数据训练。
在本发明一实施例中，对采集的数据进行预处理为有滤波降噪、缺失值处理、归一化和窗口切割。
如附图2是本发明一实施例的相似性动作识别系统框图，包括：
1）加速度计硬件模块：通过将该模块放置在受试者的腰部口袋，把采集到的数据通过蓝牙(蓝牙2.0协议)传输到安卓客户端；
2）安卓客户端模块：该模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络（GSM、WiFi等）上传至服务器；
3）服务器端模块：该模块首先对数据进行存储，然后通过TensorFlow平台下构建的卷积神经网络模型对数据进行训练和分类，最后再将动作识别的结果返回至安卓客户端。
根据以上的内容，下面详细说明具体的实施过程：
首先是数据采集系统的搭建。一般情况下是通过将微型的传感器（加速度计，磁力计等）放置在受试者身体的某个部位上，比如口袋，手臂，腰部等进行数据的采集，这些传感器以固定的频率不间断的采集信息，实时地将数据存储或上传至目标设备。本发明采用MSP430G2303单片机、蓝牙2.0模组（HC06模块）、FXOS8700CQ六轴芯片、BQ24040充电芯片、以及SGM2019 LDO电源芯片硬件组成的硬件模块作为数据采集终端，其中内置一个120mAh的可充电聚合物锂电池。为了便于实际的应用，本发明开发了相应的安卓应用程序用于数据的直观显示和存储，并且部署了相应的Web服务器用于数据的大规模存储。在采集数据的过程中，我们将传感器放置在受试者的右大腿部口袋，放置方向为竖直放置，其中垂直方向为Y轴方向，左右两侧为X轴方向，前进的方向为Z轴的方向。此外用于接收数据和发送控制指令的安卓手机终端可随意放置，只要保证在传感器（蓝牙协议2.0）的有效传输距离（通常为十米左右）之内即可。
获取足够样本数据后，需要对数据做一定的清洗工作。因为使用传感器采集到的数据是一连串的采样点数据，即原始时间序列数据，无法直接用于动作的检测与识别，必须经过预处理这一环节。数据预处理就是数据清洗的过程，由于传感器采集到的数据一般都会伴有噪声，或者其它一些我们不需要的成份，以及一些不合法的数据，这都是很正常的，但如果采集到的数据非常完美反而是不正常的。数据的采集过程实际上就是一个采样的过程，按照一定的频率对加速度数据进行记录，记录和存储的过程实际上就是一个编解码的过程，编解码的过程会混入量化噪声，此外环境和系统也会产生噪声。除了噪声的干扰外，还会遇到诸如缺失、混乱、重复等的问题，这些都可以采用预处理技术进行处理。如附图3所示，本发明采用的预处理技术有滤波降噪、缺失值处理、归一化和窗口切割。
经过耗时复杂的数据清理和处理后，后续是设计卷积神经网络模型以便于更好的利用这些数据解决相似性动作的识别问题。常规的分类器无法直接对时间序列数据进行处理，简单的说时间序列数据所含有的信息无法让我们“记住”某个类别，所以需要经过繁琐的特征提取这一步骤。在以往动作识别研究中，描述样本的特征通常需要专业技术人员来设计，这一过程被称为“特征工程”，因此最大的难点就在于如何提取恰当的特征值。因为分类器的性能很大程度上取决于从原始信号（加速度计、磁力计等）中提取的特征，比如许多现有的动作识别方法通常依赖于统计特征，如均值、方差、熵或相关系数等等。因为手工提取特征值需要一定的专业知识，而且需要额外的时间和处理器来计算特征值（训练阶段和分类阶段都需要提取特征值），这不利于动作识别系统的推广和应用，而卷积神经网络的出现恰巧解决了这个难题。神经网络模型可以直接应用于原始数据（时间序列、语音信号、图像等张量形式的信号），自动提取特征值，免去人工提取特征值的繁琐过程，而且由于神经网络模型在训练阶段计算量较大和分类阶段的计算量很小的特性，从而使得基于移动端的动作识别系统成为可能。附图4为本发明TensorFlow平台下构建的卷积神经网络模型结构。
上述实施例仅供说明本发明之用，本技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变化，因此，所有等同的技术方案也应该属于本发明的范畴。

Claims (6)

1.一种基于卷积神经网络的相似性动作识别装置，其特征在于：包括相连接的加速度计模块及移动终端；所述加速度计模块包括单片机及分别与其连接的加速度传感器、蓝牙模块、电源模块；在采集数据的过程中，将加速度计模块放置在受试者身上，把采集到的数据通过蓝牙传输到安卓客户端模块；安卓客户端模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络传至服务器；服务器端模块首先对数据进行存储，然后通过TensorFlow平台下构建的卷积神经网络模型对数据进行训练和分类，最后再将动作识别的结果返回至安卓客户端模块。
2.根据权利要求1所述的基于卷积神经网络的相似性动作识别装置，其特征在于：所述单片机采用MSP430G230单片机；加速度传感器采用FXOS8700CQ传感器；蓝牙模块采用HC06。
3.根据权利要求1所述的基于卷积神经网络的相似性动作识别装置，其特征在于：所述电源模块包括电源芯片、充电芯片及电池；所述电源芯片一端与充电芯片一端连接；充电芯片另一端与电池一端连接；电池另一端与电源芯片另一端连接。
4.根据权利要求3所述的基于卷积神经网络的相似性动作识别装置，其特征在于：电源模块采用SGM2019 LDO芯片；充电芯片采用BQ24040充电芯片；电池标称容量为120mAh。
5.一种基于卷积神经网络的相似性动作识别方法，其特征在于：包括以下步骤：
步骤S1：将加速度计模块放置在受试者的腰部口袋，把采集到的数据通过蓝牙传输到安卓客户端模块；安卓客户端模块首先将采集到的数据进行本地存储和实时显示，随后定时将数据文件通过无线网络传至服务器；服务器端模块首先对数据进行存储；
步骤S2：获取足够样本数据后，对采集的数据进行预处理；
步骤S3：借助TensorFlow平台搭建卷积神经网络模型，然后选取一部分原始数据作为训练样本，对卷积神经网络模型进行训练；
步骤S4：将待识别原始数据直接输入训练好的卷积神经网络模型进行处理,由所述卷积神经网络模型根据应用场景自动提取特征值，再根据提取到的特征值,由Softmax层确定所述待识别数据的动作识别结果；所述卷积神经网络模型由已知数据在服务器上训练所得。
6.根据权利要求3所述的基于卷积神经网络的相似性动作识别方法，其特征在于：对采集的数据进行预处理为有滤波降噪、缺失值处理、归一化和窗口切割。
CN201810690728.XA 2018-06-28 2018-06-28 一种基于卷积神经网络的相似性动作识别装置及方法 Active CN108958482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810690728.XA CN108958482B (zh) 2018-06-28 2018-06-28 一种基于卷积神经网络的相似性动作识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810690728.XA CN108958482B (zh) 2018-06-28 2018-06-28 一种基于卷积神经网络的相似性动作识别装置及方法

Publications (2)

Publication Number Publication Date
CN108958482A true CN108958482A (zh) 2018-12-07
CN108958482B CN108958482B (zh) 2021-09-28

Family

ID=64487936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810690728.XA Active CN108958482B (zh) 2018-06-28 2018-06-28 一种基于卷积神经网络的相似性动作识别装置及方法

Country Status (1)

Country Link
CN (1) CN108958482B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766683A (zh) * 2019-01-16 2019-05-17 中国科学技术大学 一种移动智能设备传感器指纹的保护方法
CN109770913A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于反向传播神经网络的步态异常识别方法
CN109770912A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于深度卷积神经网络的步态异常分类方法
CN109784412A (zh) * 2019-01-23 2019-05-21 复旦大学 用于步态分类的基于深度学习的多传感器信号融合方法
CN111343340A (zh) * 2020-03-11 2020-06-26 杭州十域科技有限公司 一种基于大数据的低端硬件设备的姿态判别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184325A (zh) * 2015-09-23 2015-12-23 歌尔声学股份有限公司 一种人体动作识别方法和移动智能终端
CN105877757A (zh) * 2016-03-30 2016-08-24 哈尔滨理工大学 多传感器集成的人体运动姿态捕获与识别装置
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法
US20170132527A1 (en) * 2015-11-05 2017-05-11 Samsung Electronics Co., Ltd. Walking assistance apparatus and method of controlling same
US20170243058A1 (en) * 2014-10-28 2017-08-24 Watrix Technology Gait recognition method based on deep learning
CN107153871A (zh) * 2017-05-09 2017-09-12 浙江农林大学 基于卷积神经网络和手机传感器数据的跌倒检测方法
CN107837087A (zh) * 2017-12-08 2018-03-27 兰州理工大学 一种基于智能手机的人体运动状态识别方法
CN107886061A (zh) * 2017-11-02 2018-04-06 华南理工大学 基于多模态深度玻尔兹曼机的人体行为识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243058A1 (en) * 2014-10-28 2017-08-24 Watrix Technology Gait recognition method based on deep learning
CN105184325A (zh) * 2015-09-23 2015-12-23 歌尔声学股份有限公司 一种人体动作识别方法和移动智能终端
US20170132527A1 (en) * 2015-11-05 2017-05-11 Samsung Electronics Co., Ltd. Walking assistance apparatus and method of controlling same
CN105877757A (zh) * 2016-03-30 2016-08-24 哈尔滨理工大学 多传感器集成的人体运动姿态捕获与识别装置
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法
CN107153871A (zh) * 2017-05-09 2017-09-12 浙江农林大学 基于卷积神经网络和手机传感器数据的跌倒检测方法
CN107886061A (zh) * 2017-11-02 2018-04-06 华南理工大学 基于多模态深度玻尔兹曼机的人体行为识别方法及系统
CN107837087A (zh) * 2017-12-08 2018-03-27 兰州理工大学 一种基于智能手机的人体运动状态识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766683A (zh) * 2019-01-16 2019-05-17 中国科学技术大学 一种移动智能设备传感器指纹的保护方法
CN109770913A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于反向传播神经网络的步态异常识别方法
CN109770912A (zh) * 2019-01-23 2019-05-21 复旦大学 一种基于深度卷积神经网络的步态异常分类方法
CN109784412A (zh) * 2019-01-23 2019-05-21 复旦大学 用于步态分类的基于深度学习的多传感器信号融合方法
CN111343340A (zh) * 2020-03-11 2020-06-26 杭州十域科技有限公司 一种基于大数据的低端硬件设备的姿态判别方法

Also Published As

Publication number Publication date
CN108958482B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN108958482A (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
US11989340B2 (en) Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
CN106228200B (zh) 一种不依赖于动作信息采集设备的动作识别方法
Westeyn et al. Recognizing mimicked autistic self-stimulatory behaviors using HMMs
Ascioglu et al. Design of a wearable wireless multi-sensor monitoring system and application for activity recognition using deep learning
CN108171278B (zh) 一种基于运动训练数据的运动模式识别方法和系统
CN105868519A (zh) 人体特征数据的处理方法及装置
Alam et al. Inferring physical agitation in dementia using smartwatch and sequential behavior models
CN107609477A (zh) 一种基于深度学习与智能手环相结合的摔倒检测方法
CN104586402B (zh) 一种人体活动的特征提取方法
Wu et al. Real-time physical activity classification and tracking using wearble sensors
CN111603750A (zh) 基于边缘计算的动作捕捉识别评估系统及方法
CN116343302A (zh) 一种基于机器视觉的微表情分类识别系统
Brophy et al. A machine vision approach to human activity recognition using photoplethysmograph sensor data
CN117690583B (zh) 基于物联网的康复护理交互式管理系统及方法
WO2022100187A1 (zh) 一种基于移动端对用户的情感进行识别与监测方法
CN114818952A (zh) 一种基于手机传感器的智能跌倒姿态分类与识别方法
CN110807471A (zh) 一种多模态传感器的行为识别系统及识别方法
CN110598599A (zh) 基于Gabor原子分解的人体异常步态检测方法和装置
Saha et al. BandX: An intelligent IoT-band for human activity recognition based on TinyML
Trujillo-Guerrero et al. Accuracy comparison of CNN, LSTM, and Transformer for activity recognition using IMU and visual markers
Tarekegn et al. Enhancing human activity recognition through sensor fusion and hybrid deep learning model
Nguyen et al. The internet-of-things based fall detection using fusion feature
Chen et al. An auxiliary diagnostic system for Parkinson’s disease based on wearable sensors and genetic algorithm optimized random forest
Guenterberg et al. A distributed hidden markov model for fine-grained annotation in body sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant