CN110598744A - 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法 - Google Patents

一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法 Download PDF

Info

Publication number
CN110598744A
CN110598744A CN201910740432.9A CN201910740432A CN110598744A CN 110598744 A CN110598744 A CN 110598744A CN 201910740432 A CN201910740432 A CN 201910740432A CN 110598744 A CN110598744 A CN 110598744A
Authority
CN
China
Prior art keywords
node
human behavior
behavior recognition
sensor
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910740432.9A
Other languages
English (en)
Inventor
刘妹琴
孙博
张森林
郑荣濠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910740432.9A priority Critical patent/CN110598744A/zh
Publication of CN110598744A publication Critical patent/CN110598744A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

本发明公开了一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法，包括Edge TPU节点、传感器节点、无线通讯模块和服务器端监视模块，所述的Edge TPU节点通过无线通讯模块与服务器端监视模块通讯，Edge TPU节点与传感器节点相连，在Edge TPU节点上加载有预先训练好的人体行为识别模型，所述的模型为卷积神经网络和长短时记忆序列LSTM网络；传感器节点将采集的信息传输至Edge TPU节点，作为人体行为识别模型的输入，进行本地推理获得预测结果。再通过通讯模块将结果发送至服务器端监视模块，实现高精度低延时的实时人体行为模式识别。

Description

一种基于惯性传感器和Edge TPU的实时人体行为识别系统及 方法
技术领域
本发明涉及模式识别领域，具体涉及一种基于惯性传感器和Edge TPU的实时人体行为识别系统及其方法。
背景技术
随着传感器和深度学习技术的发展，基于微惯性传感器的人体行为识别成为一个重要的研究方向。与基于视觉的人体行为识别方法相比，其具有不受空间限制、受环境干扰小和设备简单等优点。作为物联网的一项重要应用，人体行为识别在健康恢复、医疗保健和医疗监护等方面具有广阔的应用前景和客观的经济效应。
Edge TPU张量处理器(Tensor Processing Unit，TPU)是谷歌在2018年针对物联网应用情景推出的边缘计算处理器。其体积、功耗和成本都比先前的边缘计算产品优异。深度学习方法进行的人体行为识别虽然有较高的精度，但是其依赖于云端强大的计算能力，同时实时性也会受到一定影响；传统机器学习方法虽然需要计算资源较少，但其精度相较于深度学习较低。而借助Edge TPU可以进行高速的深度学习本地推理计算，这样就可以在保持高精度的同时保持低延迟。
发明内容
本发明克服现有技术的不足，提供一种高精度、低延迟、简便快捷的基于惯性传感器和Edge TPU的实时人体行为识别系统及方法。
为了实现上述目的，本发明的技术实现方案如下：
一种基于惯性传感器和Edge TPU的实时人体行为识别系统，包括Edge TPU节点、传感器节点、无线通讯模块和服务器端监视模块，所述的Edge TPU节点通过无线通讯模块与服务器端监视模块通讯，Edge TPU节点与传感器节点相连，在Edge TPU节点上加载有预先训练好的人体行为识别模型，所述的模型为卷积神经网络和长短时记忆序列LSTM网络；传感器节点将采集的信息传输至EdgeTPU节点，作为人体行为识别模型的输入，进行本地推理获得预测结果。
上述技术方案中，进一步的，所述的传感器节点包括串口通信模块和传感器阵列。
更进一步的，所述的传感器阵列包括三轴加速度传感器、三轴陀螺仪传感器和三轴磁场传感器，传感器阵列中的每个传感器都通过串口通讯模块与EdgeTPU节点进行通讯。所述的三轴加速度传感器、三轴陀螺仪传感器和三轴磁场传感器可以采用美国Adafruit公司的lsm9ds0。
进一步的，所述的人体行为识别模型为2层的卷积神经网络和单层的LSTM网络。
进一步的，所述的无线通讯模块包括4G模块和wifi模块，4G模块可选用USR-G401t，wifi模块可选择ESP8266。
进一步的，所述的Edge TPU节点为美国谷歌公司的Coral Dev Board开发板。
上述的实时人体行为识别系统的构建方法，如下：
采用Opportunity数据集，并对所述数据集进行窗口长度为40、步长为20的滑动窗口处理，得到维度为3n*40的样本，其中n表示采用的传感器数量，40表示时间维度上的窗口长度；使用卷积神经网络在样本的时间维度上进行卷积以提取特征，结合长短时记忆序列网络挖掘深层次时序信息，最后通过全连接层输出预测结果，以上离线训练均在Tensorlite框架上进行，并在Coral Dev Board上部署Tensorlite框架，将训练好的模型加载到Coral Dev Board；
传感器阵列中的传感器以20hz的频率采集人体行为惯性信息，通过串口通讯模块将信息发送给Coral Dev Board，对信息进行窗口长度为40、步长为20的滑动窗口处理，获得每个样本维度为3n*40的信息，其中n表示采用的传感器数量，40表示时间维度上的窗口长度，Coral Dev Board调用TPU进行本地推理计算，输出识别结果；
服务器端监听Coral Dev Board端的信息，Wifi模块设置为AP接入点，服务器端接入该AP后，Wifi模块设置为记住该服务器端，一旦服务器端无法接收到Wifi模块的信息，就调整为4G模块通信。
进一步的，所述的服务器端可以通过tkinter模块编写图形界面显示，当接收到人体行为识别结果时，分别编号并将状态显示在服务器端，若出现异常状态，将自动弹出警报。
本发明的有益效果是：
本发明的系统通过将预先训练好的深度学习模型加载到Edge TPU节点，对实时采集的惯性传感器数据进行本地推理得到行为识别结果，再通过通讯模块将结果发送至服务器端监视模块，可以实现高精度低延时的实时人体行为模式识别。此外，该系统还具有良好的可扩展性，可以同时接入多个用户进行行为状态识别，也可以扩展更多的惯性传感器来进行更精确的识别，该系统可以方便的组建单独的行为识别节点，增加和删除用户时，也只需要简单的对对应的行为识别节点进行操作。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明的实时人体行为识别系统整体结构示意框图。
图2为本发明的人体行为识别模型的网络结构设计示意图。
图3为一种具体的含两用户的实时人体行为识别系统的拓扑结构图。
具体实施方式
下面根据具体实施实例，并结合附图，进一步说明本发明，使本发明的实现的技术手段、功效等更加易于明白了解。
如图1示，基于惯性传感器和Edge TPU的实时人体行为识别系统，包括EdgeTPU节点、传感器节点、无线通讯模块和服务器端监视模块，所述的Edge TPU节点通过无线通讯模块与服务器端监视模块通讯，Edge TPU节点与传感器节点相连。
如图2所示，网络的设计采用了两层的卷积神经网络来做特征提取，其中卷积核的维度为1*5*64，之后将特征提取的结果输入到LSTM网络来捕获时序依赖关系，最后输出预测结果。
如图3所示，每个用户身上集成传感器阵列和Coral Dev Board节点，传感器阵列具体包含一个三轴加速度传感器、一个三轴陀螺仪传感器和一个三轴磁场传感器，以20hz的频率从传感器阵列采集信息，通过串口将数据发送给Coral DevBoard节点。Coral DevBoard节点对采集的信息进行窗口长度为40、步长为20的滑动窗口处理后，获得每个样本维度为9*40的信息，Coral Dev Board调用TPU并加载训练好的模型进行本地推理计算，输出识别结果。
服务器端监听Coral Dev Board端的信息，ESP8266Wifi模块设置为AP接入点，服务器端接入该AP后，ESP8266设置为记住该设备，一旦服务器端无法接收到ESP8266模块的信息，就调整为4G模块通信。
服务器端通过tkinter模块编写图形界面显示，当接收到人体行为识别结果时，分别编号并将状态显示在服务器端，若出现异常状态，将自动弹出警报。
多个用户接入的时候只需要分别建立用户Coral Dev Board节点和服务器端的连接，各个识别任务是独立运行的互不干扰，这种结构的设计可以保证良好的扩展性和稳定性。
在按照上述方案进行的测试中，能够获得95％以上的准确度，并且推算每个样本的时间仅为0.005秒，达到了高精度和低延迟的优点。

Claims (9)

1.一种基于惯性传感器和Edge TPU的实时人体行为识别系统，其特征在于,包括EdgeTPU节点、传感器节点、无线通讯模块和服务器端监视模块，所述的Edge TPU节点通过无线通讯模块与服务器端监视模块通讯，Edge TPU节点与传感器节点相连，在Edge TPU节点上加载有预先训练好的人体行为识别模型，所述的模型为卷积神经网络和长短时记忆序列LSTM网络；传感器节点将采集的信息传输至Edge TPU节点，作为人体行为识别模型的输入，进行本地推理获得预测结果。
2.根据权利要求1所述的实时人体行为识别系统，其特征在于，所述的传感器节点包括串口通信模块和传感器阵列。
3.根据权利要求2所述的实时人体行为识别系统，其特征在于，所述的传感器阵列包括三轴加速度传感器、三轴陀螺仪传感器和三轴磁场传感器，传感器阵列中的每个传感器都通过串口通讯模块与Edge TPU节点进行通讯。
4.根据权利要求3所述的实时人体行为识别系统，其特征在于所述的三轴加速度传感器、三轴陀螺仪传感器和三轴磁场传感器为美国Adafruit公司的lsm9ds0。
5.根据权利要求1所述的实时人体行为识别系统，其特征在于，所述的人体行为识别模型为2层的卷积神经网络和单层的LSTM网络。
6.根据权利要求1所述的实时人体行为识别系统，其特征在于，所述的无线通讯模块包括4G模块和wifi模块，4G模块选用USR-G401t，wifi模块选择ESP8266。
7.根据权利要求1所述的实时人体行为识别系统，其特征在于，所述的Edge TPU节点为美国谷歌公司的Coral Dev Board开发板。
8.一种如权利要求7所述的实时人体行为识别系统的构建方法，其特征在于：
采用Opportunity数据集，并对所述数据集进行窗口长度为40、步长为20的滑动窗口处理，得到维度为3n*40的样本，其中n表示采用的传感器数量，40表示时间维度上的窗口长度；使用卷积神经网络在样本的时间维度上进行卷积以提取特征，结合长短时记忆序列网络挖掘深层次时序信息，最后通过全连接层输出预测结果，以上离线训练均在Tensorlite框架上进行，并在Coral Dev Board上部署Tensorlite框架，将训练好的模型加载到CoralDev Board；
传感器阵列中的传感器以20hz的频率采集人体行为惯性信息，通过串口通讯模块将信息发送给Coral Dev Board，对信息进行窗口长度为40、步长为20的滑动窗口处理，获得每个样本维度为3n*40的信息，其中n表示采用的传感器数量，40表示时间维度上的窗口长度，Coral Dev Board调用TPU进行本地推理计算，输出识别结果；
服务器端监听Coral Dev Board端的信息，Wifi模块设置为AP接入点，服务器端接入该AP后，Wifi模块设置为记住该服务器端，一旦服务器端无法接收到Wifi模块的信息，就调整为4G模块通信。
9.根据权利要求8所述的实时人体行为识别系统的构建方法，其特征在于，所述的服务器端通过tkinter模块编写图形界面显示，当接收到人体行为识别结果时，分别编号并将状态显示在服务器端，若出现异常状态，将自动弹出警报。
CN201910740432.9A 2019-08-12 2019-08-12 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法 Pending CN110598744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910740432.9A CN110598744A (zh) 2019-08-12 2019-08-12 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910740432.9A CN110598744A (zh) 2019-08-12 2019-08-12 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法

Publications (1)

Publication Number Publication Date
CN110598744A true CN110598744A (zh) 2019-12-20

Family

ID=68854125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910740432.9A Pending CN110598744A (zh) 2019-08-12 2019-08-12 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法

Country Status (1)

Country Link
CN (1) CN110598744A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111082879A (zh) * 2019-12-27 2020-04-28 南京邮电大学 一种基于深度时空模型的wifi感知方法
CN111898095A (zh) * 2020-07-10 2020-11-06 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678222A (zh) * 2015-12-29 2016-06-15 浙江大学 一种基于移动设备的人体行为识别方法
CN105739468A (zh) * 2016-03-03 2016-07-06 浙江大学 一种基于Zigbee和智能手环的智能家居系统及其方法
CN109101858A (zh) * 2017-06-20 2018-12-28 北京大学 动作识别方法及装置
CN109685148A (zh) * 2018-12-28 2019-04-26 南京师范大学 多类别人体动作识别方法及识别系统
CN109726662A (zh) * 2018-12-24 2019-05-07 南京师范大学 基于卷积和循环组合神经网络的多类别人体姿态识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678222A (zh) * 2015-12-29 2016-06-15 浙江大学 一种基于移动设备的人体行为识别方法
CN105739468A (zh) * 2016-03-03 2016-07-06 浙江大学 一种基于Zigbee和智能手环的智能家居系统及其方法
CN109101858A (zh) * 2017-06-20 2018-12-28 北京大学 动作识别方法及装置
CN109726662A (zh) * 2018-12-24 2019-05-07 南京师范大学 基于卷积和循环组合神经网络的多类别人体姿态识别方法
CN109685148A (zh) * 2018-12-28 2019-04-26 南京师范大学 多类别人体动作识别方法及识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林强: "《行为识别与智能计算》", 30 November 2016, 西安电子科技大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111082879A (zh) * 2019-12-27 2020-04-28 南京邮电大学 一种基于深度时空模型的wifi感知方法
CN111082879B (zh) * 2019-12-27 2022-02-01 南京邮电大学 一种基于深度时空模型的wifi感知方法
CN111898095A (zh) * 2020-07-10 2020-11-06 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备
CN111898095B (zh) * 2020-07-10 2024-04-19 佛山科学技术学院 深度迁移学习智能故障诊断方法、装置、存储介质和设备

Similar Documents

Publication Publication Date Title
US20190034497A1 (en) Data2Data: Deep Learning for Time Series Representation and Retrieval
JP6275868B2 (ja) ニューラルウォッチドッグ
US10504031B2 (en) Method and apparatus for determining probabilistic context awareness of a mobile device user using a single sensor and/or multi-sensor data fusion
CN109886068B (zh) 基于运动数据的动作行为识别方法
CN109902296B (zh) 自然语言处理方法、训练方法及数据处理设备
CN112799128B (zh) 一种地震信号检测和震相提取的方法
CN111540375B (zh) 音频分离模型的训练方法、音频信号的分离方法及装置
CN110598744A (zh) 一种基于惯性传感器和Edge TPU的实时人体行为识别系统及方法
CN110113116A (zh) 基于wifi信道信息的人体行为识别方法
CN113159273B (zh) 一种神经网络的训练方法及相关设备
CN113780223A (zh) 假肢的步态识别方法、装置及存储介质
US20240046946A1 (en) Speech denoising networks using speech and noise modeling
Imran et al. Harresnext: An efficient resnext inspired network for human activity recognition with inertial sensors
CN110598585A (zh) 基于卷积神经网络的起坐动作识别方法
CN116026325A (zh) 一种基于神经过程与卡尔曼滤波的导航方法及相关装置
CN111797986A (zh) 数据处理方法、装置、存储介质及电子设备
Gupta et al. Neuromorphic time-multiplexed reservoir computing with on-the-fly weight generation for edge devices
Alexan et al. SoC based IoT sensor network hub for activity recognition using ML. net framework
CN111563591B (zh) 超网络的训练方法和装置
CN106774323A (zh) 避障控制系统和方法
CN113780520A (zh) 一种山体滑坡mems加速度传感器误差补偿方法
CN112180318A (zh) 声源波达方向估计模型训练和声源波达方向估计方法
CN111640440A (zh) 一种音频流解码方法、装置、存储介质及设备
Zhang et al. Cloud-Edge Collaborative Human Activity Recognition System Design and Implementation
WO2024014821A1 (ko) 심전도 기반 신경망 모델의 학습 방법, 프로그램 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220

RJ01 Rejection of invention patent application after publication