CN112287810A - 一种可动态增加运动识别姿态的装置和方法 - Google Patents

一种可动态增加运动识别姿态的装置和方法 Download PDF

Info

Publication number
CN112287810A
CN112287810A CN202011167355.1A CN202011167355A CN112287810A CN 112287810 A CN112287810 A CN 112287810A CN 202011167355 A CN202011167355 A CN 202011167355A CN 112287810 A CN112287810 A CN 112287810A
Authority
CN
China
Prior art keywords
motion
mode
upper computer
recognition
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011167355.1A
Other languages
English (en)
Inventor
张丽敏
骞昊
樊子予
迟洋滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202011167355.1A priority Critical patent/CN112287810A/zh
Publication of CN112287810A publication Critical patent/CN112287810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出了一种可动态增加运动识别姿态的装置和方法,包括硬件采集电路、上位机、服务器,其特征在于,所述硬件采集电路用于采集人体运动姿态信号;所述上位机,包括采集、识别、上传三种工作模式,采集模式下将新增运动姿态数据存储在本地,识别模式下应用BP神经网络算法实时识别运动姿态并给出识别结果,上传模式下将本地存储的新增运动姿态数据通过网络传送至服务器;所述服务器,应用BP神经网络算法对新上传的运动姿态数据进行姿态训练并给出对应的训练权重文件返回上位机。其显著优势在于:装置可动态增加运动姿态,增加的运动姿态可以是新的运动姿态,也可以是装置已有的运动姿态;装置采用模块化设计,各模块可以独立工作,耦合度低。

Description

一种可动态增加运动识别姿态的装置和方法
技术领域
本发明涉及运动姿态识别领域,具体涉及一种新型的实时识别并可动态增加运动识别姿态的装置和方法。
背景技术
目前,针对实时运动姿态的主要识别技术主要是运用视频图像、加速度传感器等的识别方法,且几乎都是对固定动作的识别。
《基于GMM的人体运动姿态的追踪与识别》文献中采用改进的混合高斯背景模型(GMM)算法对视频每帧图像进行前景提取,利用Shi-tomasi算法提取图像特征点并进行追踪,获取运动目标轮廓并绘制出边缘,经过SVM(Support Vector Machine)训练实现对人体运动姿态的实时追踪和识别。
《视频中关键人体姿态的识别》文献中提出一种识别视频关键帧中人体姿态的方法.首先通过计算视频中帧间的覆盖率和失真率,提取关键帧;然后抽取关键帧中人体姿态轮廓的多种特征,建立多特征融合的姿态描述算子;在自采集和公用数据上构建标准姿态的特征库,用于训练基于支持向量机的多类分类器,以实现人体姿态的识别.
智能电子设备作为现代社会中人们日常生活中必不可少的通讯设备,其不断提升的计算、存储能力,以及丰富的传感器带来的感知能力,吸引了许多研究者的关注,以智能手机为平台的人体日常运动行为识别也成为了热点。
《基于手机传感器的人体运动姿态识别研究》文献中利用智能手机内置传感器获取用户运动时产生的加速度信息以及相同时刻的重力加速度,遵从数据采集、数据预处理、特征提取与特征选择、分类模型训练与评估这一流程对人体运动姿态识别。
《基于九轴传感器的人体运动姿态识别系统及方法》文献中一种基于九轴传感器的人体运动姿态识别系统及方法。该系统包括信号采集模块、数据处理模块以及人机交互模块,能够较佳地对人体运行姿态进行连续识别。
通过视频图像进行识别,需要相机等工具,成本较高,设备复杂,智能手机中识别也只能识别固定姿态的运动姿态,不能动态添加。《一种基于电荷感应的运动姿态识别装置及方法》(专利号201910798833.X,2019.8.23)提到使用采集卡和KNN进行识别,但无法实时运行和动态新增姿态,故需要一种操作简单,几乎自动化、一体化的实时运动姿态识别并且可以动态增加运动姿态的装置和方法。
发明内容
本发明的目的在于克服上述现有技术中存在的不足,提出一种可动态增加运动识别姿态的装置和方法。
为实现上述发明目的,本发明提出的技术方案为:一种可动态增加运动识别姿态的装置,如附图1所示,包括硬件采集电路、上位机、服务器,其特征在于,所述硬件采集电路,包括探测电极、电荷传感器、放大滤波电路、单片机,用于采集人体运动姿态信号,并通过单片机串口连接上位机;所述上位机,设有串口设置区来设置串口信息,包括采集、识别、上传三种工作模式,采集模式下将新增运动姿态数据存储在本地,同时显示运动姿态波形,识别模式下应用BP神经网络算法实时识别运动姿态并给出识别结果,同时显示运动姿态波形,上传模式下将本地存储的新增运动姿态数据通过网络传送至服务器;所述服务器,应用BP神经网络算法对新上传的运动姿态数据进行姿态训练并给出对应的训练权重文件返回上位机。
进一步地,所述的一种可动态增加运动识别姿态的装置,其特征在于,硬件采集电路的探测电极为金属或其他导电材质,由三个组成,且按照等腰三角形在同一水平平面布放,三角形的边长范围为10cm-1m。
进一步地,所述的一种可动态增加运动识别姿态的装置,其特征在于,上位机用QT软件编写,运用“信号和槽”技术关联串口数据变化和数据处理。
进一步地,所述的一种可动态增加运动识别姿态的装置,其特征在于,BP神经网络采用三层结构,即输入层、一层隐藏层、输出层。输入层节点为硬件采集电路输出信号处理的数据段,隐藏层节点数与输入层相当,输出层节点数与输入样本的种类一致,且随着服务器数据库样本种类的动态增加而扩展。
进一步地,所述的一种可动态增加运动识别姿态的装置,其特征在于,服务器用Java语言编写,使用Springboot框架搭建web环境。
进一步地,所述的一种可动态增加运动识别姿态的装置,其特征在于,输入层节点的数据段由电极1的数据与电极2数据之差的结果,与电极3的数据相间排列而得到。
一种可动态增加运动识别姿态的方法,其特征在于,包括如下步骤:
(1)搭建硬件采集电路:按照等腰三角形并在同一水平平面摆放电极,三角形的边长范围为10cm-1m,并开启硬件采集电路;
(2)上位机初始化:打开上位机后,设置好串口信息;
(3)模式选择:可以选择“采集模式”、“识别模式”、“上传模式”;
(4)采集模式:根据上位机提示,重复在电极平面20cm-50cm范围处做一种运动姿态至少100组,并将相应的文件保存在本地,同时实时显示运动姿态波形;
(5)上传模式:点击上传按钮进入提交页面,填入采集模式下运动姿态名称和选择相应的文件后即可提交至服务器,服务器应用BP神经网络算法对新上传的运动姿态数据进行姿态训练并给出对应的训练权重返回上位机,完成该新运动姿态的训练;
(6)识别模式:选择“识别模式”,在电极平面20cm-50cm范围处做装置已训练运动姿态,装置会将识别结果输出在上位机界面,同时实时显示运动姿态波形。
进一步地,所述一种可动态增加运动识别姿态的方法,其特征在于,不同运动姿态信号具有明显信号特征。
进一步地,所述一种可动态增加运动识别姿态的方法,其特征在于,每个运动姿态的每次采集时间为固定时间4s。
进一步地,所述一种可动态增加运动识别姿态的方法,其特征在于,“识别模式”下进行实时识别运动姿态不需要网络环境。
进一步地,所述一种可动态增加运动识别姿态的方法,其特征在于,“上传模式”下新增运动姿态需要处于网络环境下,需连接服务器。
本发明方法的显著特征在于:装置应用BP神经网络实时识别运动姿态;装置可动态增加运动姿态,增加的运动姿态可以是新的运动姿态,也可以是装置已有的运动姿态,用于对已有运动姿态训练库进行扩充;装置采用模块化设计,各模块可以独立工作,耦合度非常低,上位机“采集模式”下不依赖网络,即对服务器不依赖,服务器在其他两个模块不工作时,也可以继续处理数据。
附图说明
图1为可动态增加运动识别姿态的装置结构图。
图2为上位机页面设计图。
图3为探测目标做“翻炒”动作的波形图。
图4为探测目标做“翻锅”动作的波形图。
图5为探测目标做“右手边拿东西”动作的波形图。
具体实施方式
为进一步详细表述本发明的效果和优势,下面将结合附图对本发明识别“翻炒”、“翻锅”、“右手边拿东西”等运动姿态进行详细描述。
本实施例的一种可动态增加运动识别姿态的装置,包括硬件采集电路、上位机、服务器,其特征在于,所述硬件采集电路,包括三个直径为6cm的圆形表面镀锡电极、输入阻抗大于100GΩ电荷传感器、增益10倍,带宽0.5-20Hz放大滤波电路、STM32单片机,用于采集人体运动姿态信号,并通过单片机串口连接上位机;所述上位机如附图2所示,设有串口设置区来设置串口信息,包括采集、识别、上传三种工作模式,采集模式下将新增运动姿态数据存储在本地,同时在界面右侧实时显示运动姿态波形,识别模式下应用BP神经网络算法实时识别运动姿态并给出识别结果,同时在界面右侧实时显示运动姿态波形,上传模式下将本地存储的新增运动姿态数据通过网络传送至服务器;所述服务器,应用BP神经网络算法对新上传的运动姿态数据进行姿态训练并给出对应的训练权重文件返回上位机。
系统中已经存在样本数据913组,其中“翻炒”姿态300组,“翻锅”姿态311组,“右手边拿东西”姿态302组,可以继续填加已有运动姿态对该姿态已有训练库进行扩充,也可以增加新的运动姿态对数据库样本种类进行扩充,并在“识别模式”下进行结果验证。本实例继续填加已有运动姿态对该姿态已有训练库进行扩充。
一种可动态增加运动识别姿态的方法,包括如下步骤:
(1)搭建硬件采集电路:按照等腰三角形并在同一水平平面摆放3个电极,等腰三角形腰长约30cm,底边长约为40cm,并开启硬件采集电路;
(2)上位机初始化:打开上位机后,设置串口信息;
(3)模式选择:依次选择“采集模式”、“上传模式”和“识别模式”;
(4)采集模式:根据上位机提示采集包括“翻炒2”、“翻锅2”两种填加的运动姿态数据,分别在电极平面20cm-50cm范围处做“翻炒2”姿态100组和“翻锅2”姿态100组,共计200组数据;
(5)上传模式:点击上传按钮进入提交页面,填入采集模式下运动姿态名称和选择相应的文件后即可提交至服务器,服务器应用BP神经网络算法对新上传的运动姿态数据进行姿态训练并给出对应的训练权重返回上位机,上位机将文件解压缩后放入上位机文件夹;
(6)识别模式:根据上位机的提示,在电极平面20cm-50cm范围处做装置已训练运动姿态,包括“翻炒”、“翻锅”、“右手边拿东西”三种运动姿态;采集一组数据,上位机使用BP神经网络算法将采集到的数据与上述文件中的权重文件进行矩阵运算,识别运动姿态,装置会将识别结果输出在上位机界面,同时实时显示运动姿态波形,重复步骤(6)75次,正确识别运动姿态69组,识别准确率92.0%;
上述实施例表明,本发明所提的可动态增加运动识别姿态装置和方法具有有效性。
需要说明的是上述实施例,并非用来限定本发明的保护范围,在上述技术方案的基础上所做出的同等变换或替换及以此为基础扩充为实时运动姿态识别和动态填加可识别运动姿态等若干改进均落入本发明权利要求所保护的范围。

Claims (11)

1.一种可动态增加运动识别姿态的装置,包括硬件采集电路、上位机、服务器,其特征在于,所述硬件采集电路,包括探测电极、电荷传感器、放大滤波电路、单片机,用于采集人体运动姿态信号,并通过单片机串口连接上位机;所述上位机,设有串口设置区来设置串口信息,包括采集、识别、上传三种工作模式,采集模式下将新增运动姿态数据存储在本地,同时显示运动姿态波形,识别模式下应用BP神经网络算法实时识别运动姿态并给出识别结果,同时显示运动姿态波形,上传模式下将本地存储的新增运动姿态数据通过网络传送至服务器;所述服务器,应用BP神经网络算法对新上传的运动姿态数据进行姿态训练并给出对应的训练权重文件返回上位机。
2.根据权利要求1所述的一种可动态增加运动识别姿态的装置,其特征在于,硬件采集电路的探测电极为金属或其他导电材质,由三个组成,且按照等腰三角形在同一水平平面布放,三角形的边长范围为10cm-1m。
3.根据权利要求1所述的一种可动态增加运动识别姿态的装置,其特征在于,上位机用QT软件编写,运用“信号和槽”技术关联串口数据变化和数据处理。
4.根据权利要求1所述的一种可动态增加运动识别姿态的装置,其特征在于,BP神经网络采用三层结构,即输入层、一层隐藏层、输出层。输入层节点为硬件采集电路输出信号处理的数据段,隐藏层节点数与输入层相当,输出层节点数与输入样本的种类一致,且随着服务器数据库样本种类的动态增加而扩展。
5.根据权利要求1所述的一种可动态增加运动识别姿态的装置,其特征在于,服务器用Java语言编写,使用Springboot框架搭建web环境。
6.根据权利要求4所述的一种可动态增加运动识别姿态的装置,其特征在于,输入层节点的数据段由电极1的数据与电极2数据之差的结果,与电极3的数据相间排列而得到。
7.一种可动态增加运动识别姿态的方法,其特征在于,包括如下步骤:
(1)搭建硬件采集电路:按照等腰三角形并在同一水平平面摆放电极,三角形的边长范围为10cm-1m,并开启硬件采集电路;
(2)上位机初始化:打开上位机后,设置串口信息;
(3)模式选择:可以选择“采集模式”、“识别模式”、“上传模式”;
(4)采集模式:根据上位机提示,重复在电极平面20cm-50cm范围处做一种运动姿态至少100组,并将相应的文件保存在本地,同时实时显示运动姿态波形;
(5)上传模式:点击上传按钮进入提交页面,填入采集模式下运动姿态名称和选择相应的文件后即可提交至服务器,服务器应用BP神经网络算法对新上传的运动姿态数据进行姿态训练并给出对应的训练权重返回上位机,完成该新运动姿态的训练;
(6)识别模式:选择“识别模式”,在电极平面20cm-50cm范围处做装置已训练运动姿态,装置会将识别结果输出在上位机界面,同时实时显示运动姿态波形。
8.根据权利要求7所述的一种可动态增加运动识别姿态的方法,其特征在于,不同运动姿态信号具有明显信号特征。
9.根据权利要求7所述的一种可动态增加运动识别姿态的方法,其特征在于,每个运动姿态的每次采集时间为固定时间4s。
10.根据权利要求7所述的一种可动态增加运动识别姿态的方法,其特征在于,“识别模式”下进行实时识别运动姿态不需要网络环境。
11.根据权利要求7所述的一种可动态增加运动识别姿态的方法,其特征在于,“上传模式”下新增运动姿态需要处于网络环境下,需连接服务器。
CN202011167355.1A 2020-10-27 2020-10-27 一种可动态增加运动识别姿态的装置和方法 Pending CN112287810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011167355.1A CN112287810A (zh) 2020-10-27 2020-10-27 一种可动态增加运动识别姿态的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011167355.1A CN112287810A (zh) 2020-10-27 2020-10-27 一种可动态增加运动识别姿态的装置和方法

Publications (1)

Publication Number Publication Date
CN112287810A true CN112287810A (zh) 2021-01-29

Family

ID=74372585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011167355.1A Pending CN112287810A (zh) 2020-10-27 2020-10-27 一种可动态增加运动识别姿态的装置和方法

Country Status (1)

Country Link
CN (1) CN112287810A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205436A (zh) * 2014-06-03 2015-12-30 北京创思博德科技有限公司 一种基于前臂生物电多传感器的手势识别系统
CN107345927A (zh) * 2017-01-21 2017-11-14 北京理工大学 一种用于机器人自主环境感知的介质材料识别装置
CN108062170A (zh) * 2017-12-15 2018-05-22 南京师范大学 基于卷积神经网络和智能终端的多类别人体姿态识别方法
CN108236469A (zh) * 2017-01-21 2018-07-03 北京理工大学 一种可用于区别人体运动状态的装置
CN108703760A (zh) * 2018-06-15 2018-10-26 安徽中科智链信息科技有限公司 基于九轴传感器的人体运动姿态识别系统及方法
CN111582108A (zh) * 2020-04-28 2020-08-25 河北工业大学 一种步态识别及意图感知的方法
CN111580640A (zh) * 2019-02-18 2020-08-25 张丽敏 一种基于电荷感应的两方向手势追踪装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205436A (zh) * 2014-06-03 2015-12-30 北京创思博德科技有限公司 一种基于前臂生物电多传感器的手势识别系统
CN107345927A (zh) * 2017-01-21 2017-11-14 北京理工大学 一种用于机器人自主环境感知的介质材料识别装置
CN108236469A (zh) * 2017-01-21 2018-07-03 北京理工大学 一种可用于区别人体运动状态的装置
CN108062170A (zh) * 2017-12-15 2018-05-22 南京师范大学 基于卷积神经网络和智能终端的多类别人体姿态识别方法
CN108703760A (zh) * 2018-06-15 2018-10-26 安徽中科智链信息科技有限公司 基于九轴传感器的人体运动姿态识别系统及方法
CN111580640A (zh) * 2019-02-18 2020-08-25 张丽敏 一种基于电荷感应的两方向手势追踪装置及方法
CN111582108A (zh) * 2020-04-28 2020-08-25 河北工业大学 一种步态识别及意图感知的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUFAN WANG等: "A Recognition Method for Hand Motion Direction Based on Charge Induction", 《IEEE SENSORS JOURNAL》, vol. 20, no. 1, pages 415 - 424, XP011764065, DOI: 10.1109/JSEN.2019.2940250 *
张丽敏 等: "基于运放开环频率特性的放大器幅频特性分析", 《电子测量技术》, vol. 32, no. 6, pages 37 - 39 *

Similar Documents

Publication Publication Date Title
CN108764050B (zh) 基于角度无关性的骨架行为识别方法、系统及设备
CN109086706B (zh) 应用于人机协作中的基于分割人体模型的动作识别方法
US10061389B2 (en) Gesture recognition system and gesture recognition method
CN107992792A (zh) 一种基于加速度传感器的空中手写汉字识别系统及方法
Elforaici et al. Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN105205436A (zh) 一种基于前臂生物电多传感器的手势识别系统
CN210402266U (zh) 一种手语翻译系统和手语翻译手套
CN110674875A (zh) 一种基于深度混合模型的行人运动模式识别方法
CN109919085B (zh) 基于轻量型卷积神经网络的人人交互行为识别方法
CN102867190B (zh) 一种利用移动设备内置传感器进行行为识别的方法
CN105117708A (zh) 人脸表情识别的方法和装置
CN104951793A (zh) 一种基于stdf特征的人体行为识别算法
CN113705445B (zh) 一种基于事件相机的人体姿态识别的方法及设备
Fang et al. Dynamic gesture recognition using inertial sensors-based data gloves
CN111444488A (zh) 一种基于动态手势的身份认证方法
Ahmad et al. Multidomain multimodal fusion for human action recognition using inertial sensors
CN109711324A (zh) 基于傅里叶变换和卷积神经网络的人体姿态识别方法
CN114419732A (zh) 基于注意力机制优化的HRNet人体姿态识别方法
CN111753683A (zh) 一种基于多专家卷积神经网络的人体姿态识别方法
CN111291804A (zh) 基于注意力机制的多传感器时间序列分析模型
CN111597869A (zh) 一种基于分组残差联合空间学习的人体活动识别方法
CN111797849A (zh) 用户活动识别方法、装置、存储介质及电子设备
CN112287810A (zh) 一种可动态增加运动识别姿态的装置和方法
CN112257559A (zh) 一种基于生物个体步态信息的身份识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination