CN113534960A - 基于imu和表面肌电信号的上臂假肢控制方法及系统 - Google Patents

基于imu和表面肌电信号的上臂假肢控制方法及系统 Download PDF

Info

Publication number
CN113534960A
CN113534960A CN202110865508.8A CN202110865508A CN113534960A CN 113534960 A CN113534960 A CN 113534960A CN 202110865508 A CN202110865508 A CN 202110865508A CN 113534960 A CN113534960 A CN 113534960A
Authority
CN
China
Prior art keywords
imu
signal
wavelet packet
layer
movement intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110865508.8A
Other languages
English (en)
Other versions
CN113534960B (zh
Inventor
李智军
孟庆昇
李国欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110865508.8A priority Critical patent/CN113534960B/zh
Publication of CN113534960A publication Critical patent/CN113534960A/zh
Application granted granted Critical
Publication of CN113534960B publication Critical patent/CN113534960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于IMU和表面肌电信号的上臂假肢控制方法及系统，涉及医疗器械和康复辅助器具技术领域，该方法包括：IMU运动意图识别步骤：采集IMU数据，根据对实时的IMU数据进行运算识别，得出穿戴者运动意图；肌电信号运动意图识别步骤：获取sEMG信号并设计分类器，对sEMG信号进行消噪处理，最终通过设计好的分类器进行分类和运动意图判断；控制指令步骤：结合IMU运动意图识别步骤以及肌电信号运动意图识别步骤的预设模式判断结果发出肌电控制指令。本发明能够实现假肢多自由度的同步连续运动控制，实现假肢运动的灵活自然性以及使用的方便高效性。

Description

基于IMU和表面肌电信号的上臂假肢控制方法及系统
技术领域
本发明涉及医疗器械和康复辅助器具技术领域，具体地，涉及一种基于IMU和表面肌电信号的上臂假肢控制方法及系统。
背景技术
sEMG是被人类认知的最早的生物电信号，肌电信号很微弱，但其内部蕴含大量的生物信息，通过对信息的分析与处理，可以对人体行为做出预测。因此，sEMG被广泛应用于假肢控制、康复医疗、体育运动等领域的研究。
惯性测量单元(简称IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置。IMU的主要元件是陀螺仪及加速度计，一般情况，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。所以可以通过对测得数据进行系统的归类划分便可以根据新的数据判断出穿戴者的运动意图。
公开号为CN104000675A的中国发明专利，公开了一种假肢控制系统，包括：语音采集终端、按钮控制终端、假肢控制信号采集模块、假肢控制模块以及假肢执行机构；所述语音采集终端以及所述按钮控制终端的输出端分别与所述假肢控制信号采集模块的输入端相连；所述假肢控制信号采集模块的输出端与所述假肢控制模块的输入端相连；所述假肢控制模块的输出端与所述假肢执行机构相连。
现有技术当中的假肢控制系统难以实现假肢多自由度的同步连续运动控制，在使用过程中缺少灵活自然性性，且使用的方便高效性欠佳。
发明内容
针对现有技术中的缺陷，本发明提供一种基于IMU和表面肌电信号的上臂假肢控制方法及系统。
根据本发明提供的一种基于IMU和表面肌电信号的上臂假肢控制方法及系统，所述方案如下：
第一方面，提供了一种基于IMU和表面肌电信号的上臂假肢控制方法，所述方法包括：
IMU运动意图识别步骤：采集IMU数据，根据对实时的IMU数据进行运算识别，得出穿戴者运动意图；
肌电信号运动意图识别步骤：获取sEMG信号并设计分类器，对sEMG信号进行消噪处理，最终通过设计好的分类器进行分类和运动意图判断；
控制指令步骤：结合IMU运动意图识别步骤以及肌电信号运动意图识别步骤的预设模式判断结果发出肌电控制指令。
优选的，所述IMU运动意图识别步骤包括：
步骤S1.1：对采集的IMU数据进行预处理；
步骤S1.2：基于IMU数据的数据集，对CNN-LSTM神经网络进行训练；
步骤S1.3：通过实验对CNN-LSTM神经网络进行测试，通过对比分析选择最优权重参数组；
步骤S1.4：对实时的IMU数据进行运算识别得出穿戴者运动意图。
优选的，所述对采集到的IMU数据进行预处理包括归一化或独热处理在内的方式。
优选的，所述肌电信号运动意图识别步骤包括：
步骤S2.1：通过sEMG采集器件获取sEMG信号；
步骤S2.2：设计分类器；
步骤S2.3：通过小波包分析方法对sEMG信号进行消噪处理；
步骤S2.4：用小波包变换提取相应的特征；
步骤S2.5：通过设计好的分类器进行分类和运动意图判断。
优选的，所述步骤S2.3中的消噪处理包括：将每一层的频带分为两部分，以此类推，在每一层都选取合适的阈值来处理小波包系数，去除无用的噪声，留下有用的部分；
再对小波包进行重构，从而达到消噪的目的。
优选的，所述步骤S2.4中的特征提取包括：利用小波包变换对sEMG进行多层分解，得到多个频带的成分系数；
对目标肌群进行信号采集，每个动作分为多个子频带成分系数，输出层代表不同的运动模式。
优选的，含噪的肌电信号模型如下所示：
s(t)＝f(t)+e(t)，t＝0，1，...，n-1；
其中，s(t)为含噪肌电信号；f(t)为有用肌电信号；e(t)是噪声信号；
在多分辨分析过程中，能够得到每一层的信号分解系数，小波包分解算法为：
Figure BDA0003187179990000031
小波包重构算法：
Figure BDA0003187179990000032
其中，
Figure BDA0003187179990000033
和
Figure BDA0003187179990000034
分别为信号f(t)在子空间
Figure BDA0003187179990000035
和
Figure BDA0003187179990000036
上的分解系数；k表示频率为k；n表示该小波包所在的分解级数；j表示该小波包在其级里的位置；l表示频率为l；h表示低通滤波器；∑lez()表示求和，g表示高通滤波器。
优选的，小波包对肌电信号的消噪步骤如下：
信号的小波包分解步骤：选择一个能和信号匹配的小波基函数，信号的分解层次为N，再对原始信号s作N层小波包分解；
确定小波包最优基步骤：对于一个给定的熵标准计算最佳树，将其定义为：
Figure BDA0003187179990000037
Si表示第i级小包的熵，
Figure BDA0003187179990000038
表示总的熵，∑i求和到i；lg()指常用对数
通过阈值量化小波包分解系数，选取合适的阈值法对每一个小波包分解系数进行阈值量化处理；
小波包重构步骤：逐层向上重构量化后的小波包最优基系数，最终重构的信号即是消噪处理后的信号。
第二方面，提供了一种基于IMU和表面肌电信号的上臂假肢控制系统，所述系统包括：
IMU运动意图识别模块：采集IMU数据，根据对实时的IMU数据进行运算识别，得出穿戴者运动意图；
肌电信号运动意图识别模块：获取sEMG信号并设计分类器，对sEMG信号进行消噪处理，最终通过设计好的分类器进行分类和运动意图判断；
控制指令模块：结合IMU运动意图识别步骤以及肌电信号运动意图识别步骤的预设模式判断结果发出肌电控制指令。
优选的，所述IMU运动意图识别模块包括：
模块M1.1：对采集的IMU数据进行预处理；
模块M1.2：基于IMU数据的数据集，对CNN-LSTM神经网络进行训练；
模块M1.3：通过实验对CNN-LSTM神经网络进行测试，通过对比分析选择最优权重参数组；
模块M1.4：对实时的IMU数据进行运算识别得出穿戴者运动意图。
与现有技术相比，本发明具有如下的有益效果：
1、本发明结合IMU运动意图识别步骤以及肌电信号运动意图识别步骤两种方案，从肌肉协同基本理论出发，构建协同激活模型以及上肢多关节同步比例肌电控制系统，实现假肢多自由度的同步连续运动控制，使假肢能自然流畅的运行；
2、本发明整体控制简单，且在使用过程中具有较高的稳定性，实现了假肢运动的灵活自然性以及使用的方便高效性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为肌电信号运动意图识别系统的工作流程图；
图2为IMU运动意图识别系统CNN-LSTM神经网络结构图。
附图标记：1、肌电传感器；2、IMU。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于IMU和表面肌电信号的上臂假肢控制方法，参照图1和图2所示，该方法包括IMU运动意图识别步骤以及肌电信号运动意图识别步骤。
IMU是测量物体三轴姿态角(或角速率)以及加速度的装置。IMU的主要元件是陀螺仪及加速度计，一般情况，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。所以可以通过对测得数据进行系统的归类划分便可以根据新的数据判断出穿戴者的运动意图，而神经网络技术十分适合对大量的数据进行归类划分。
卷积神经网络是深度学习的代表算法之一，能够比较好的处理图像类的信息，便于对大量的图像数据进行特征提取处理，卷积神经网络是一类包含着卷积计算并且具有着深度结构的前馈神经网络，卷积神经网络同样是由输入层、隐含层、输出层构成的，但是它的隐含层和之前的多层感知机(Multi-Layer Perceptron)是完全不同的，多层感知机的隐含层是全连接层，而卷积神经网络(Convolutional Neural Networks)的隐含层一般是由卷积层、池化层和全连接层构成的。长短期记忆网络是循环神经网络(Recurrent NeuralNetworks)的一种,能够有效的解决长序列训练过程中的梯度消失和梯度爆炸的问题，和普通的循环神经网络相比，具有两个传输状态，能够在传输的过程中，选择需要长时间记忆的特征，忘记不重要的特征，从而能够有效的处理带有时间序列信息的数据。
xt和状态记忆单元St-1、中间输出ht-1决定上一个状态记忆单元的遗忘部分。xt分别经过sigmoid和tanh函数变化后得到的it和gt共同决定状态记忆单元中的保留向量，更新后的St和Ot共同决定中间输出ht。计算公式如下：
ft＝σ(Wfxxt+Wfhht-1+bf)
it＝σ(Wixxt+Wihht-1+bi)
gt＝φ(Wgxxt+Wghht-1+bg)
Ot＝σ(Woxxt+Wohht-1+bo)
Figure BDA0003187179990000051
Figure BDA0003187179990000052
其中，ft，it，gt，Ot，ht和St分别为遗忘门、输出门、输入节点、输出门、中间输出和状态单元的状态；Wfx，Wfh，Wix，Wih，Wgx，Wgh，Wox和Woh分别为相应门与输入xt和中间输出ht-1相乘的矩阵权重；bf，bi，bg，bo分别为相应门的偏置项；σ表示sigmoid激活函数；ф表示tanh激活函数。
卷积神经网络-长短期记忆神经网络则是将卷积神经网络和长短期记忆神经网络结合起来，由卷积神经网络提取空间特征、由长短期记忆神经网络提取时间序列信息。
为了避免各类别数据过于集中导致训练出来的模型泛化能力差、过拟合，使用sample函数打乱所有数据顺序。为了获得比较好的泛化能力和较高的准确率，通过sklearn库对X、Y、Z三轴方向上的加速度信息进行[-1,1]的归一化处理，为了将不同的动作的数学等级统一化，对所有的标签进行独热编码处理。
接着构建(但不限于)如下的的卷积神经网络-长短期记忆神经网络模型结构：3层Conv1D卷积层、1层池化层、3层Dropout层、一层LSTM、一层Dense层、一层输出层。优化器采取是Adam优化器，损失函数采取的是交叉熵损失函数，3层二维卷积层的卷积核分别是32个、32个、64个，采取的激活函数是ReLu激活函数，池化层的过滤器大小设定为2，输出层采取的激活函数是Softmax激活函数。
利用数据集对建立的CNN-LSTM神经网络进行训练和测试，选择最优权重参数组，之后利用实时的IMU数据进行运算，判断对应预设模式，并输出判断结果。
肌电信号的采集选用双导肌肉电传感器，同时完成两个通道的肌电信号采集。根据对应关节相关骨骼肌运动，选取了对应肌群作为研究对象，让受试者分别完成两组功能动作，分别进行采集。
由于表面肌电信号很容易受到环境因素影响，想要进行肌电信号数据的应用，首先要对原始信号进行预处理，消除噪声，然后提取出有用的信号，便于特征提取。采用小波包分析方法，其核心思想是将每一层的频带分为两部分，以此类推，在每一层都选取合适的阈值来处理小波包系数，去除无用的噪声，留下有用的部分，然后对小波包进行重构，从而达到消噪的目的。
一般情况下，含噪的肌电信号模型如下所示：
s(t)＝f(t)+e(t),t＝0,1,...,n-1
其中，s(t)为含噪肌电信号；f(t)为有用肌电信号；e(t)是噪声信号；
在多分辨分析过程中，能够得到每一层的信号分解系数，小波包分解算法为：
Figure BDA0003187179990000061
小波包重构算法：
Figure BDA0003187179990000062
其中，
Figure BDA0003187179990000063
和
Figure BDA0003187179990000064
分别为信号f(t)在子空间
Figure BDA0003187179990000065
和
Figure BDA0003187179990000066
上的分解系数；k表示频率为k；n表示该小波包所在的分解级数；j表示该小波包在其级里的位置；l表示频率为l；h表示低通滤波器；∑lez()表示求和，g表示高通滤波器。
小波包对肌电信号的消噪步骤如下：
信号的小波包分解：选择一个能和信号匹配的小波基函数，信号的分解层次为N，然后对原始信号s作N层小波包分解。
确定小波包最优基：对于一个给定的熵标准计算最佳树，将其定义为：
Figure BDA0003187179990000067
其中，Si表示第i级小包的熵，
Figure BDA0003187179990000071
表示总的熵，∑i求和到i，lg()指常用对数；
通过阈值量化小波包分解系数：选取合适的阈值法对每一个小波包分解系数(尤其是低频分解系数)进行阈值量化处理。
小波包重构：逐层向上重构量化后的小波包最优基系数，最终重构的信号即是消噪处理后的信号。
接着对表面肌电信号特征进行提取，小波包变换是在小波变换的一种进阶的拓展形式。在做特征提取时，先利用小波包变换对sEMG进行多层分解，得到多个频带的成分系数。对目标肌群进行信号采集，每个动作分为多个子频带成分系数，输出层代表不同的运动模式。
常用的小波特征如下：
最大绝对值：
由于绝对值较大的小波系数含有较大的能量，对重构的影响也很大，因此将小波系数最大绝对值作为信号特征。公式如下：
Mj＝max|sj|＝max|dj|
sj为近似值的j级小波的熵，dj为细节值的j级小波的熵。
平均能量值：
由于人在运动过程中会产生生理信号，这些肌电信号所含能量很高，同时产生较强的动作电位，因此将小波系数的平均能量值作为信号特征。公式如下：
Figure BDA0003187179990000072
其中j＝1，2，3；i＝1，2，3，…，N；
sj为近似值的j级小波的熵；
奇异值：
奇异值分解时线性代数中的一种重要的矩阵分解，把它看成信号的特征；矩阵的奇异性具有很好的稳定性，在矩阵发生变化时，奇异值变化很微小，因此，通过矩阵的奇异值来进行研究。
公式如下：
令A∈Rm×n，则存在正交矩阵U＝[u1，...，um]∈，V＝[v1，...，vm]∈Rm×n，使得UTAV＝diag(σ1，...，σp)；
其中：p＝min(m，n)，σ1≥σ2≥...≥σp≥0，此处σi，i＝1，2，3，…，N；p称作矩阵A的奇异值。
通过Elman神经网络对表面肌电信号进行识别分类，Elman神经网络是一种典型的反馈型网络。它是由输入层、隐含层和输出层构成的。其中最大的特点就是隐含层，相当于一个反馈层，在信号经过输入层后，输出的信号传入输出层，而另一部分传到隐含层进行存储，使该系统具有记忆功能。而网络的动态特性可由内部信息直接提供，帮助系统进行训练。
令f()是隐含层神经元的传递函数，一般成为S函数，g()是输出的神经元的传递函数，一般为purelin函数。Elman神经网络的非线性空间状态表达式为：
y(k)＝g(ω3x(k)+b2)
x(k)＝f(ω1xc(k)+ω2xc(u(k-1)+b1))
xc(k)＝x(k-1)
其中，x是隐含层中n维节点的单元向量，y是m维输出结点向量，u是r维输入向量，xc是n维状态反馈向量。ω1、ω2、ω3分别为从i内涵曾到输出层、从输入层到隐含层以及从承接层到有隐含层之间的连接权值；b1和b2分别为输入层和隐含层的阈值。利用Elman神经网络进行分类识别时，每个动作对应多个子频带作为网络的输入向量和输出向量。对每类动作样本测多组数据，部分样本数据进行训练，剩下的做为测试样本。
接下来，对本发明进行更为具体的说明。
一种基于IMU和表面肌电信号的上臂假肢控制方法，该方法包括IMU运动意图识别步骤以及肌电信号运动意图识别步骤。
其中，IMU运动意图识别步骤对IMU数据进行归一化、独热处理等预处理，基于数据集，对CNN-LSTM神经网络进行训练，然后通过实验对神经网络进行测试，最后通过对比分析选择最优权重参数组对实时的IMU数据进行运算、判断对应预设模式，并输出判断结果。
肌电信号运动意图识别步骤通过sEMG采集器件获取sEMG信号，设计分类器，用小波包分析方法对sEMG信号进行消噪处理，将每一层的频带分为两部分，以此类推，在每一层都选取合适的阈值来处理小波包系数，去除无用的噪声，留下有用的部分，然后对小波包进行重构，从而达到消噪的目的。
一般情况下，含噪的肌电信号模型如下所示：
s(t)＝f(t)+e(t)，t＝0，1，...，n-1
其中，s(t)为含噪肌电信号；f(t)为有用肌电信号；e(t)是噪声信号；
在多分辨分析过程中，能够得到每一层的信号分解系数，小波包分解算法为：
Figure BDA0003187179990000091
小波包重构算法：
k表示频率为k；n表示该小波包所在的分解级数；j表示该小波包在其级里的位置；l表示频率为l；h表示低通滤波器；∑lez()表示求和，g表示高通滤波器；
小波包对肌电信号的消噪步骤如下：
信号的小波包分解：选择一个能和信号匹配的小波基函数，信号的分解层次为N，然后对原始信号s作N层小波包分解。
确定小波包最优基：对于一个给定的熵标准计算最佳树，将其定义为：
Figure BDA0003187179990000092
sj为近似值的j级小波的熵；
通过阈值量化小波包分解系数：选取合适的阈值法对每一个小波包分解系数(尤其是低频分解系数)进行阈值量化处理。
小波包重构：逐层向上重构量化后的小波包最优基系数，最终重构的信号即是消噪处理后的信号。
然后用小波包变换提取相应的特征，小波包变换是在小波变换的一种进阶的拓展形式。在做特征提取时，先利用小波包变换对sEMG进行多层分解，得到多个频带的成分系数。对目标肌群进行信号采集，每个动作分为多个子频带成分系数，输出层代表不同的运动模式。
常用的小波特征如下：
最大绝对值：
由于绝对值较大的小波系数含有较大的能量，对重构的影响也很大，因此将小波系数最大绝对值作为信号特征。公式如下：
Mj＝max|sj|＝max|dj|
sj为近似值的j级小波的熵，dj为细节值的j级小波的熵。
平均能量值：
由于人在运动过程中会产生生理信号，这些肌电信号所含能量很高，同时产生较强的动作电位，因此将小波系数的平均能量值作为信号特征。公式如下：
Figure BDA0003187179990000093
其中，j＝1，2，3；i＝1，2，3，…，N；
奇异值：
奇异值分解时线性代数中的一种重要的矩阵分解，把它看成信号的特征。矩阵的奇异性具有很好的稳定性，在矩阵发生变化时，奇异值变化很微小，因此，通过矩阵的奇异值来进行研究。
公式如下：
令A∈Rm×n，则存在正交矩阵U＝[u1，...，um]∈Rm×n，V＝[v1，...，vm]∈Rm×n，使得UTAV＝diag(σ1，...，σp)；
其中：p＝min(m，n)，σ1≥σ2≥...≥σp≥0，此处σi，i＝1，2，…，N；p称作矩阵A的奇异值。
进而通过设计好的分类器进行分类和运动意图判断，Elman神经网络是一种典型的反馈型网络。它是由输入层、隐含层和输出层构成的，其中最大的特点就是隐含层，相当于一个反馈层，在信号经过输入层后，输出的信号传入输出层，而另一部分传到隐含层进行存储，使该系统具有记忆功能。而网络的动态特性可由内部信息直接提供，帮助系统进行训练。
令f()是隐含层神经元的传递函数，一般成为S函数，g()是输出的神经元的传递函数，一般为purelin函数。Elman神经网络的非线性空间状态表达式为：
y(k)＝g(ω3x(k)+b2)
x(k)＝f(ω1xc(k)+ω2xc(u(k-1)+b1))
xc(k)＝x(k-1)
其中，x是隐含层中n维节点的单元向量，y是m维输出结点向量，u是r维输入向量，xc是n维状态反馈向量。ω1、ω2、ω3分别为从i内涵曾到输出层、从输入层到隐含层以及从承接层到有隐含层之间的连接权值。b1和b2分别为输入层和隐含层的阈值。利用Elman神经网络进行分类识别时，每个动作对应多个子频带作为网络的输入向量和输出向量。对每类动作样本测多组数据，部分样本数据进行训练，剩下的做为测试样本。
最终结合IMU运动意图识别步骤以及肌电信号运动意图识别步骤两个识别步骤中的预设模式判断结果发出肌电控制指令。
本发明实施例提供了一种基于IMU和表面肌电信号的上臂假肢控制方法，整体控制方式简单，且在使用过程中具有较高的稳定性；针对上肢截肢患者通过对IMU运动意图识别步骤与肌电信号运动意图识别步骤相结合，使假肢能自然流畅的运行。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，包括：
IMU运动意图识别步骤：采集IMU数据，根据对实时的IMU数据进行运算识别，得出穿戴者运动意图；
肌电信号运动意图识别步骤：获取sEMG信号并设计分类器，对sEMG信号进行消噪处理，最终通过设计好的分类器进行分类和运动意图判断；
控制指令步骤：结合IMU运动意图识别步骤以及肌电信号运动意图识别步骤的预设模式判断结果发出肌电控制指令。
2.根据权利要求1所述的基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，所述IMU运动意图识别步骤包括：
步骤S1.1：对采集的IMU数据进行预处理；
步骤S1.2：基于IMU数据的数据集，对CNN-LSTM神经网络进行训练；
步骤S1.3：通过实验对CNN-LSTM神经网络进行测试，通过对比分析选择最优权重参数组；
步骤S1.4：对实时的IMU数据进行运算识别得出穿戴者运动意图。
3.根据权利要求2所述的基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，所述对采集到的IMU数据进行预处理包括归一化或独热处理在内的方式。
4.根据权利要求1所述的基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，所述肌电信号运动意图识别步骤包括：
步骤S2.1：通过sEMG采集器件获取sEMG信号；
步骤S2.2：设计分类器；
步骤S2.3：通过小波包分析方法对sEMG信号进行消噪处理；
步骤S2.4：用小波包变换提取相应的特征；
步骤S2.5：通过设计好的分类器进行分类和运动意图判断。
5.根据权利要求4所述的基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，所述步骤S2.3中的消噪处理包括：将每一层的频带分为两部分，以此类推，在每一层都选取合适的阈值来处理小波包系数，去除无用的噪声，留下有用的部分；
再对小波包进行重构，从而达到消噪的目的。
6.根据权利要求4所述的基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，所述步骤S2.4中的特征提取包括：利用小波包变换对sEMG进行多层分解，得到多个频带的成分系数；
对目标肌群进行信号采集，每个动作分为多个子频带成分系数，输出层代表不同的运动模式。
7.根据权利要求5所述的基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，含噪的肌电信号模型如下所示：
s(t)＝f(t)+e(t),t＝0,1,...,n-1；
其中，s(t)为含噪肌电信号；f(t)为有用肌电信号；e(t)是噪声信号；
在多分辨分析过程中，能够得到每一层的信号分解系数，小波包分解算法为：
Figure FDA0003187179980000021
小波包重构算法：
Figure FDA0003187179980000022
其中，
Figure FDA0003187179980000023
和
Figure FDA0003187179980000024
分别为信号f(t)在子空间
Figure FDA0003187179980000025
和
Figure FDA0003187179980000026
上的分解系数；k表示频率为k；n表示该小波包所在的分解级数；j表示该小波包在其级里的位置；l表示频率为l；h表示低通滤波器；∑lez()表示求和，g表示高通滤波器。
8.根据权利要求5所述的基于IMU和表面肌电信号的上臂假肢控制方法，其特征在于，小波包对肌电信号的消噪步骤如下：
信号的小波包分解步骤：选择一个能和信号匹配的小波基函数，信号的分解层次为N，再对原始信号s作N层小波包分解；
确定小波包最优基步骤：对于一个给定的熵标准计算最佳树，将其定义为：
Figure FDA0003187179980000027
其中：Si表示第i级小包的熵，
Figure FDA0003187179980000028
表示总的熵，∑i求和到i；lg()指常用对数；
通过阈值量化小波包分解系数，选取合适的阈值法对每一个小波包分解系数进行阈值量化处理；
小波包重构步骤：逐层向上重构量化后的小波包最优基系数，最终重构的信号即是消噪处理后的信号。
9.一种基于IMU和表面肌电信号的上臂假肢控制系统，其特征在于，包括：
IMU运动意图识别模块：采集IMU数据，根据对实时的IMU数据进行运算识别，得出穿戴者运动意图；
肌电信号运动意图识别模块：获取sEMG信号并设计分类器，对sEMG信号进行消噪处理，最终通过设计好的分类器进行分类和运动意图判断；
控制指令模块：结合IMU运动意图识别步骤以及肌电信号运动意图识别步骤的预设模式判断结果发出肌电控制指令。
10.根据权利要求9所述的基于IMU和表面肌电信号的上臂假肢控制系统，其特征在于，所述IMU运动意图识别模块包括：
模块M1.1：对采集的IMU数据进行预处理；
模块M1.2：基于IMU数据的数据集，对CNN-LSTM神经网络进行训练；
模块M1.3：通过实验对CNN-LSTM神经网络进行测试，通过对比分析选择最优权重参数组；
模块M1.4：对实时的IMU数据进行运算识别得出穿戴者运动意图。
CN202110865508.8A 2021-07-29 2021-07-29 基于imu和表面肌电信号的上臂假肢控制方法及系统 Active CN113534960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110865508.8A CN113534960B (zh) 2021-07-29 2021-07-29 基于imu和表面肌电信号的上臂假肢控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110865508.8A CN113534960B (zh) 2021-07-29 2021-07-29 基于imu和表面肌电信号的上臂假肢控制方法及系统

Publications (2)

Publication Number Publication Date
CN113534960A true CN113534960A (zh) 2021-10-22
CN113534960B CN113534960B (zh) 2024-05-28

Family

ID=78089695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110865508.8A Active CN113534960B (zh) 2021-07-29 2021-07-29 基于imu和表面肌电信号的上臂假肢控制方法及系统

Country Status (1)

Country Link
CN (1) CN113534960B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897012A (zh) * 2022-04-29 2022-08-12 中国科学院沈阳自动化研究所 一种基于生机接口的智能假肢手臂控制方法
CN115281902A (zh) * 2022-07-05 2022-11-04 北京工业大学 一种基于融合网络的肌电假肢控制方法
CN115859697A (zh) * 2023-03-01 2023-03-28 国家康复辅具研究中心 一种基于上肢假肢与用户智能协同的控制系统及方法
CN115985463A (zh) * 2023-03-17 2023-04-18 山东大学齐鲁医院 一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统
CN117562561A (zh) * 2024-01-17 2024-02-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 表面肌电信号去噪方法、系统、设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180086547A (ko) * 2017-01-22 2018-08-01 계명대학교 산학협력단 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법
CN109549821A (zh) * 2018-12-30 2019-04-02 南京航空航天大学 基于肌电信号和惯导信号融合的外骨骼机器人助力控制系统及方法
CN110745136A (zh) * 2019-09-20 2020-02-04 中国科学技术大学 一种驾驶自适应控制方法
CN111506190A (zh) * 2020-03-31 2020-08-07 哈尔滨工业大学 一种基于肌电的人体运动意图实时连续预测方法
CN112405539A (zh) * 2020-11-11 2021-02-26 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法
WO2021068454A1 (zh) * 2019-10-12 2021-04-15 联合微电子中心有限责任公司 一种基于bp神经网络的微能源器件能量识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180086547A (ko) * 2017-01-22 2018-08-01 계명대학교 산학협력단 동작 인식 및 제어를 위한 웨어러블 장치 및 이를 이용한 동작 인식 제어 방법
CN109549821A (zh) * 2018-12-30 2019-04-02 南京航空航天大学 基于肌电信号和惯导信号融合的外骨骼机器人助力控制系统及方法
CN110745136A (zh) * 2019-09-20 2020-02-04 中国科学技术大学 一种驾驶自适应控制方法
WO2021068454A1 (zh) * 2019-10-12 2021-04-15 联合微电子中心有限责任公司 一种基于bp神经网络的微能源器件能量识别方法
CN111506190A (zh) * 2020-03-31 2020-08-07 哈尔滨工业大学 一种基于肌电的人体运动意图实时连续预测方法
CN112405539A (zh) * 2020-11-11 2021-02-26 东南大学 一种基于肌电信号和脑电错误电位的机器人自然控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897012A (zh) * 2022-04-29 2022-08-12 中国科学院沈阳自动化研究所 一种基于生机接口的智能假肢手臂控制方法
CN115281902A (zh) * 2022-07-05 2022-11-04 北京工业大学 一种基于融合网络的肌电假肢控制方法
CN115859697A (zh) * 2023-03-01 2023-03-28 国家康复辅具研究中心 一种基于上肢假肢与用户智能协同的控制系统及方法
CN115985463A (zh) * 2023-03-17 2023-04-18 山东大学齐鲁医院 一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统
CN117562561A (zh) * 2024-01-17 2024-02-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 表面肌电信号去噪方法、系统、设备及计算机存储介质
CN117562561B (zh) * 2024-01-17 2024-04-26 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 表面肌电信号去噪方法、系统、设备及计算机存储介质

Also Published As

Publication number Publication date
CN113534960B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN113534960B (zh) 基于imu和表面肌电信号的上臂假肢控制方法及系统
Karnam et al. EMGHandNet: A hybrid CNN and Bi-LSTM architecture for hand activity classification using surface EMG signals
Yang et al. Dynamic gesture recognition using surface EMG signals based on multi-stream residual network
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
Shen et al. Movements classification of multi-channel sEMG based on CNN and stacking ensemble learning
Sikder et al. Human activity recognition using multichannel convolutional neural network
CN108319928B (zh) 一种基于多目标微粒群算法优化的深度学习方法及系统
Fang et al. Gait neural network for human-exoskeleton interaction
Behrenbeck et al. Classification and regression of spatio-temporal signals using NeuCube and its realization on SpiNNaker neuromorphic hardware
CN111870242A (zh) 一种基于肌电信号的智能手势动作生成方法
Wojtczak et al. Hand movement recognition based on biosignal analysis
Sun et al. Continuous estimation of human knee joint angles by fusing kinematic and myoelectric signals
CN111178288A (zh) 基于局部误差逐层训练的人体姿态识别方法和装置
CN115238796A (zh) 基于并行damscn-lstm的运动想象脑电信号分类方法
Suri et al. Transfer learning for semg-based hand gesture classification using deep learning in a master-slave architecture
Jo et al. Real-time hand gesture classification using crnn with scale average wavelet transform
Rahimian et al. Trustworthy adaptation with few-shot learning for hand gesture recognition
Al Jeroudi et al. Online sequential extreme learning machine algorithm based human activity recognition using inertial data
Xiong et al. A Global and Local Feature fused CNN architecture for the sEMG-based hand gesture recognition
Lin et al. A normalisation approach improves the performance of inter-subject sEMG-based hand gesture recognition with a ConvNet
Lotfi et al. Classification of gait patterns in the time domain using accelerometer signal
Chu et al. A real-time EMG pattern recognition based on linear-nonlinear feature projection for multifunction myoelectric hand
CN111950460A (zh) 一种自适应肌力的卒中患者手部康复训练动作识别方法
CN117150292A (zh) 一种基于增量学习对手势识别模型训练的方法
Zhen et al. Human Motion Mode Recognition Based on Multi-parameter Fusion of Wearable Inertial Module Unit and Flexible Pressure Sensor.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant