CN108345873A - 一种基于多层卷积神经网络的多自由度人体运动信息解析方法 - Google Patents

一种基于多层卷积神经网络的多自由度人体运动信息解析方法 Download PDF

Info

Publication number
CN108345873A
CN108345873A CN201810241608.1A CN201810241608A CN108345873A CN 108345873 A CN108345873 A CN 108345873A CN 201810241608 A CN201810241608 A CN 201810241608A CN 108345873 A CN108345873 A CN 108345873A
Authority
CN
China
Prior art keywords
multiple degrees
body motion
motion information
freedom
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810241608.1A
Other languages
English (en)
Inventor
杨大鹏
杨威
顾义坤
赵京东
姜力
刘宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201810241608.1A priority Critical patent/CN108345873A/zh
Publication of CN108345873A publication Critical patent/CN108345873A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多层卷积神经网络的多自由度人体运动信息解析方法，本发明涉及基于多层卷积神经网络的多自由度人体运动信息解析方法。本发明为了解决当前模型对肌电信号中的信息使用效率较低，以及获取的运动信息不够丰富的问题。本发明包括：一：采集原始肌电信号以及对应的实际动作信息；二：基于一维卷积神经网络模型设计解析多自由度人体运动信息的模型；三：以步骤一采集的原始肌电信号作为输入，以对应的实际动作信息作为输出，对解析多自由度人体运动信息的模型进行训练，得到训练后的解析多自由度人体运动信息的模型；四：采集原始肌电信号，输入训练后的解析多自由度人体运动信息的模型，预测当前的动作信息。本发明用于运动信息检测领域。

Description

一种基于多层卷积神经网络的多自由度人体运动信息解析 方法
技术领域
本发明涉及运动信息检测领域，具体涉及基于多层卷积神经网络的解析多自由度人体运动信息的方法。
背景技术
肌电信号解析方法是一种通过解析肌电电极采集获取的肌电信号，实现对使用者当前控制意图的检测方法。目前这一技术在肌肉病变检测，动作分析，外骨骼控制以及假肢控制等领域得到了广泛的运用，同时也出现了例如Myo手环这类商业化产品。
由于肌电信号的数据量大，同时信号强度低，容易湮没在各种噪声之中，并且容易受到各种外界因素的影响。目前在对肌电信号的利用上通常是使用模式识别方法，通过人工设计的特征从原始肌电信号中提取信息，同时实现对数据的降维，之后建立分类模型实现对使用者手势的分类。由于手势动作信息是一种状态信息，它的数据是离散化并且是由人为规定的，不存在其他的手势间的状态，并且一个手势信息就包含了多个关节的运动状况，这要求使用者需要通过练习，提高做出同一种动作时，关节运动状况的相似性。这导致对使用者的经验要求比较高，对于未经训练的使用者往往达不到很理想的效果。
由于手势信息只有几种状态值，从中能够得到的信息数目有限，难以满足对复杂的控制目标的需求。如果能够从原始肌电信号中解码各关节(各自由度)神经驱动信息，这些驱动信息能够直接作为控制系统的输入，实现对多自由度系统的控制，在神经学以及机器人学都有较为广泛的应用。
发明内容
本发明的目的是为了解决当前模型对肌电信号中的信息使用效率较低，以及获取的运动信息不够丰富的缺点，而提出一种基于多层卷积神经网络(多层一维卷积神经网络)的解析多自由度人体运动信息的方法。
一种基于多层卷积神经网络的解析多自由度人体运动信息的方法包括以下步骤：
步骤一：采集原始肌电信号以及对应的实际动作信息；
步骤二：基于一维卷积神经网络模型(1D-CNN网络)设计解析多自由度人体运动信息的模型；
步骤三：以步骤一采集的原始肌电信号作为输入，以对应的实际动作信息作为输出，对步骤二设计的解析多自由度人体运动信息的模型进行训练，得到训练后的解析多自由度人体运动信息的模型；
步骤四：采集原始肌电信号，输入训练后的解析多自由度人体运动信息的模型，预测当前的动作信息。
本发明的有益效果为：能够直接对任意通道的原始肌电信号进行处理，无需人工设计特征提取信息，能够提高对肌电信号中有效信息的利用率；池化层在对数据降采样，减少数据长度的同时还能够增强检测结果对肌电信号采集时间偏移的抗干扰能力；本方法能够直接提取多自由度连续同步的运动信息，也能同时实现手势分类，网络的结构可以根据具体情况扩展，满足不同自由度数目以及不同任务的具体需要。
本发明所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法，能够直接对任意通道的原始肌电信号进行处理，无需人工设计特征提取信息，能够提高对肌电信号中有效信息的利用率。在训练环节时指定肌电信号与动作信息的时刻对应关系，在预测环节中便能够从原始肌电信号中解析相应时刻的动作信息。池化层在对数据降采样，减少数据长度的同时还能够增强检测结果对肌电信号采集时间偏移的抗干扰能力，从而实现截取原始肌电信号的时间偏差不会对结果产生明显影响。本方法能够直接提取多自由度连续同步的运动信息，也能同时实现模式分类，网络的结构可以根据具体情况扩展，满足不同自由度数目以及不同任务的具体需要。因此，本发明所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法能够实现从使用者的原始肌电信号中解析获取多自由度的运动信息。
附图说明
图1为本发明设计解析多自由度人体运动信息的模型原理示意图；
图2为解析多自由度人体运动信息的多层一维卷积神经网络的效果示意图，对输入的Ci通道、长度为Li的信号进行分析处理，得到Ci+1通道、长度为Li+1的输出结果；
图3为本发明设计解析多自由度人体运动信息的模型具体实施实例。
具体实施方式
具体实施方式一：一种基于深度学习网络结构的解析多自由度人体运动信息的方法包括以下步骤：
步骤一：采集原始肌电信号以及对应的实际动作信息；
步骤二：基于一维卷积神经网络模型(1D-CNN网络)设计解析多自由度人体运动信息的模型；
步骤三：以步骤一采集的原始肌电信号作为输入，以对应的实际动作信息作为输出，对步骤二设计的解析多自由度人体运动信息的模型进行训练，得到训练后的解析多自由度人体运动信息的模型；
步骤四：采集原始肌电信号，输入训练后的解析多自由度人体运动信息的模型，预测当前的动作信息。
本发明设计解析多自由度人体运动信息的模型原理示意图如图1所示，解析多自由度人体运动信息的多层一维卷积神经网络的效果示意图如图2所示。
多自由度人体运动信息表示的是关节自由度的作用力或者运动幅度，以及描述能够同时描述复数自由度状态信息的动作或手势，这一类描述人体运动情况的信息。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中基于一维卷积神经网络模型设计解析多自由度人体运动信息的模型的具体过程为：
首先对步骤一采集的原始肌电信号采用窗口截取作为解析多自由度人体运动信息的模型的输入，经过N个卷积层与池化层后，在第N+1个为卷积层中，卷积层中卷积后的输出长度为1，通过全连接层后，经过回归层输出多个自由度的人体运动信息或经过分类层输出手势动作信息(即为描述相应所有自由度的人体运动状态信息)。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述N的取值为大于等于1。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：每个卷积层与池化层之间为激励函数层。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述第N+1个卷积层与全连接层之间为激励函数层。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述原始肌电信号为多通道原始肌电信号。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述训练的过程中，初始的模型学习速率为0.01，并在训练过程中逐渐降低，最终为1e-5，选取的动量参数为0.9，批次计算的尺寸为100。
其它步骤及参数与具体实施方式一至六之一相同。
采用以下实施例验证本发明的有益效果：
实施例一：
在本发明中，设计解析多自由度人体运动信息的模型如图3所示，采用了两个网络上公开的数据集用于验证模型的效果，模型参数见表1所示。
表1测试模型所采用的数据集参数信息
并且在本实施例中，还将对上述两个数据集的识别效果与现有论文中的，采用基于图像处理的深度学习网络结构的识别效果进行比较。瞬时肌电图像方法将瞬时的多通道原始肌电信号转换为一张灰度图片，之后使用基于图像处理的深度学习网络结构训练模型并预测；特征图像方法将200ms长度的肌电信号均方根特征当做像素点，将多通道的均方根特征组合成特征图像，之后使用基于图像处理的深度学习网络结构训练模型并预测。在划分用于训练模型与用于验证识别效果数据的方式上，本实例采用的方式和用于比较的两个检测模型中的数据划分方式相同。
本实施例中，作为输入的原始肌电信号长度为256，通道数与数据集中的电极通道数相同；第一层卷积层具有128个隐藏单元，卷积核长度为23，第一层池化层的尺寸为6；第二层卷积层具有192个隐藏单元，卷积核长度为13，第二层池化层的尺寸为3；第三层的卷积核具有256个隐藏单元，卷积核长度为11,；全连接层长度为256，激励函数为ReLU。训练过程中，初始的模型学习速率为0.01，并在训练过程中逐渐降低，最终为1e-5，选取的动量参数为0.9，批次计算的尺寸为100。
本实施例中，对上述两个网络公开数据集的预测效果与其余两个方法的比较结果如表2所示，对于本发明设计的1D-CNN模型，对于CapgMyo-DBa数据集，预测正确率能够达到91.7％，对于NinaPro-DB2数据集，指定的8种和CapgMyo-Dba相同手势的预测正确率为78.5％，对于全部的50种手势，预测正确率能够达到73.5％，优于其他研究者采用的方法的识别效果。
表2提出的1D-CNN模型和其他论文中将肌电信号转化成图片的模型效果比较
在本发明中，提出了一种新型的1D-CNN模型，该模型直接作用于一段时间的原始肌电信号，并预测对应的手势动作。与其他研究者所采用的方法进行比较，在相同的数据集上得到了更高的正确率。本模型能够处理任意通道的肌电信号数据，而其他基于图像识别的方法中则需要对模型参数进行更改以适应电极通道的变化。除此之外，通过适当调整各卷积层的隐藏层数目便能针对数据进行模型的优化。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于多层卷积神经网络的多自由度人体运动信息解析方法，其特征在于：所述基于多层卷积神经网络的多自由度人体运动信息解析方法包括以下步骤：
步骤一：采集原始肌电信号以及对应的实际动作信息；
步骤二：基于一维卷积神经网络模型设计解析多自由度人体运动信息的模型；
步骤三：以步骤一采集的原始肌电信号作为输入，以对应的实际动作信息作为输出，对步骤二设计的解析多自由度人体运动信息的模型进行训练，得到训练后的解析多自由度人体运动信息的模型；
步骤四：采集原始肌电信号，输入训练后的解析多自由度人体运动信息的模型，预测当前的动作信息。
2.根据权利要求1所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法，其特征在于：所述步骤二中基于一维卷积神经网络模型设计解析多自由度人体运动信息的模型的具体过程为：
首先对步骤一采集的原始肌电信号采用窗口截取作为解析多自由度人体运动信息的模型的输入，经过N个卷积层与池化层后，第N+1个为卷积层，卷积层中卷积后的输出长度为1，通过全连接层后，经过回归层输出多个自由度的人体运动信息或经过分类层输出手势动作信息。
3.根据权利要求2所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法，其特征在于：所述N的取值为大于等于1。
4.根据权利要求3所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法，其特征在于：每个卷积层与池化层之间为激励函数层。
5.根据权利要求4所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法，其特征在于：所述第N+1个卷积层与全连接层之间为激励函数层。
6.根据权利要求5所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法，其特征在于：所述原始肌电信号为多通道原始肌电信号。
7.根据权利要求6所述的一种基于多层卷积神经网络的多自由度人体运动信息解析方法，其特征在于：所述训练的过程中，初始的模型学习速率为0.01，并在训练过程中逐渐降低，最终为1e-5，选取的动量参数为0.9，批次计算的尺寸为100。
CN201810241608.1A 2018-03-22 2018-03-22 一种基于多层卷积神经网络的多自由度人体运动信息解析方法 Pending CN108345873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810241608.1A CN108345873A (zh) 2018-03-22 2018-03-22 一种基于多层卷积神经网络的多自由度人体运动信息解析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810241608.1A CN108345873A (zh) 2018-03-22 2018-03-22 一种基于多层卷积神经网络的多自由度人体运动信息解析方法

Publications (1)

Publication Number Publication Date
CN108345873A true CN108345873A (zh) 2018-07-31

Family

ID=62957853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810241608.1A Pending CN108345873A (zh) 2018-03-22 2018-03-22 一种基于多层卷积神经网络的多自由度人体运动信息解析方法

Country Status (1)

Country Link
CN (1) CN108345873A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109645996A (zh) * 2019-02-21 2019-04-19 广州爱听贝科技有限公司 一种子宫收缩乏力监测方法、系统、智能终端和存储介质
CN109662710A (zh) * 2018-12-06 2019-04-23 杭州电子科技大学 一种基于卷积神经网络的肌电信号特征提取方法
CN109840511A (zh) * 2018-12-29 2019-06-04 深兰科技（上海）有限公司 一种信号分类方法、终端及存储介质
CN115468541A (zh) * 2022-11-01 2022-12-13 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 一种岩溶塌陷四维监测的信息系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799937A (zh) * 2012-06-26 2012-11-28 天津大学 肌电信号与关节角度信息融合的下肢运动轨迹预测方法
CN105608432A (zh) * 2015-12-21 2016-05-25 浙江大学 一种基于瞬时肌电图像的手势识别方法
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN106326873A (zh) * 2016-08-29 2017-01-11 吉林大学 Cacc驾驶员肢体肌电信号表征的操纵意图预测方法
CN107038450A (zh) * 2016-10-13 2017-08-11 南京邮电大学 基于深度学习的无人机警察系统
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN207008541U (zh) * 2017-07-06 2018-02-13 王娜娜 一种vr/ar交互头盔的控制臂环
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799937A (zh) * 2012-06-26 2012-11-28 天津大学 肌电信号与关节角度信息融合的下肢运动轨迹预测方法
CN105608432A (zh) * 2015-12-21 2016-05-25 浙江大学 一种基于瞬时肌电图像的手势识别方法
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN107589782A (zh) * 2016-07-06 2018-01-16 可穿戴设备有限公司 用于可穿戴设备的姿势控制接口的方法和装置
CN106326873A (zh) * 2016-08-29 2017-01-11 吉林大学 Cacc驾驶员肢体肌电信号表征的操纵意图预测方法
CN107038450A (zh) * 2016-10-13 2017-08-11 南京邮电大学 基于深度学习的无人机警察系统
CN207008541U (zh) * 2017-07-06 2018-02-13 王娜娜 一种vr/ar交互头盔的控制臂环
CN107799165A (zh) * 2017-09-18 2018-03-13 华南理工大学 一种基于虚拟现实技术的心理评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨晶晶: "基于肌电信号的人体上肢动作辨识与轨迹预测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
桂奇政: "多自由度肌电假肢的比例同步控制研究", 《中国优秀硕士学位全文数据库-医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109662710A (zh) * 2018-12-06 2019-04-23 杭州电子科技大学 一种基于卷积神经网络的肌电信号特征提取方法
CN109840511A (zh) * 2018-12-29 2019-06-04 深兰科技（上海）有限公司 一种信号分类方法、终端及存储介质
CN109645996A (zh) * 2019-02-21 2019-04-19 广州爱听贝科技有限公司 一种子宫收缩乏力监测方法、系统、智能终端和存储介质
CN115468541A (zh) * 2022-11-01 2022-12-13 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 一种岩溶塌陷四维监测的信息系统

Similar Documents

Publication Publication Date Title
Savur et al. Real-time american sign language recognition system using surface emg signal
CN108345873A (zh) 一种基于多层卷积神经网络的多自由度人体运动信息解析方法
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN105654037B (zh) 一种基于深度学习和特征图像的肌电信号手势识别方法
CN105608432B (zh) 一种基于瞬时肌电图像的手势识别方法
CN104636757B (zh) 一种基于深度学习的食物图像识别方法
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
CN110516536A (zh) 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN108921042A (zh) 一种基于深度学习的人脸序列表情识别方法
CN110659573B (zh) 一种人脸识别方法、装置、电子设备及存储介质
CN106650693A (zh) 一种用于人脸比对的多特征融合识别算法
CN108921037B (zh) 一种基于BN-inception双流网络的情绪识别方法
CN107423727B (zh) 基于神经网络的人脸复杂表情识别方法
CN107122050B (zh) 基于csfl-gdbn的稳态运动视觉诱发电位脑-机接口方法
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
Paul et al. Extraction of facial feature points using cumulative histogram
CN104834909B (zh) 一种基于Gabor综合特征的图像特征描述方法
CN109685071A (zh) 基于共同空间模式特征宽度学习的脑电分类方法
Khan et al. A vision based approach for Pakistan sign language alphabets recognition
CN110428841A (zh) 一种基于不定长均值的声纹动态特征提取方法
CN109662710A (zh) 一种基于卷积神经网络的肌电信号特征提取方法
CN109034070A (zh) 一种置换混叠图像盲分离方法及装置
Tariq et al. Sign language localization: Learning to eliminate language dialects
Chaikaew An applied holistic landmark with deep learning for Thai sign language recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination