CN114159080A - 上肢康复机器人运动意图识别模型训练、识别方法及装置 - Google Patents

上肢康复机器人运动意图识别模型训练、识别方法及装置 Download PDF

Info

Publication number
CN114159080A
CN114159080A CN202111486917.3A CN202111486917A CN114159080A CN 114159080 A CN114159080 A CN 114159080A CN 202111486917 A CN202111486917 A CN 202111486917A CN 114159080 A CN114159080 A CN 114159080A
Authority
CN
China
Prior art keywords
data
processed
digital signal
feature vector
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111486917.3A
Other languages
English (en)
Other versions
CN114159080B (zh
Inventor
李醒
朱宇轩
王建辉
马宏伟
孙悦超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN202111486917.3A priority Critical patent/CN114159080B/zh
Publication of CN114159080A publication Critical patent/CN114159080A/zh
Application granted granted Critical
Publication of CN114159080B publication Critical patent/CN114159080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本公开涉及一种上肢康复机器人运动意图识别模型训练、识别方法及装置，其中，该方法包括：接收多个表面肌肉信号，通过编码器进行编码等处理得到多个数据数字信号，对每个数据数字信号进行预处理，得到多个目标数据数字信号样本，将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取、拼接、评估得到第一、二评估数据特征向量，然后输入全连接网络进行处理，生成上肢康复机器人运动意图识别模型，本公开采用多流时域卷积网络TCN结构对数据进行分类，并对不同通道特征进行重要性评估，有效利用模型学习到的早期特征与晚期特征，提升了分类效果，极大的提高了患者的主动参与性及上肢康复训练的效果。

Description

上肢康复机器人运动意图识别模型训练、识别方法及装置
技术领域
本公开涉及机器人运动意图识别技术领域，尤其涉及一种上肢康复机器人运动意图识别模型训练、识别方法及装置。
背景技术
目前，康复机器人技术已发展成为诸多领域的研究热点，已广泛应用到康复护理、假肢和康复治疗等方面。
相关技术中，常见的CNN（Convolutional Neural Network，卷积神经网络）模型在进行康复机器人训练时，不能有效利用多通道表面肌电信号的时域特征，对患者的运动意图掌握不够准确，影响患者的参与度，降低训练兴趣。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种上肢康复机器人运动意图识别模型训练、识别方法及装置。
第一方面，本公开实施例提供了一种基于深度学习的上肢康复机器人运动意图识别模型训练方法，包括：
接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个数据光信号进行信号转换，得到多个数据数字信号；
对每个数据数字信号进行预处理，得到多个候选数据数字信号样本，并对多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本；
将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN（TemporalConvolutional Network）进行特征提取，得到多个数据特征向量，并对多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对第一总数据特征向量进行特征评估，得到第一评估数据特征向量；
在将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个目标数据数字信号样本对应的中间特征向量，并对中间特征向量进行拼接处理，得到第二总数据特征向量，以及对第二总数据特征向量进行特征评估，得到第二评估数据特征向量；
将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型。
第二方面，本公开实施例提供了一种上肢康复机器人运动意图识别方法，包括：
接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个待处理数据光信号进行信号转换，得到多个待处理数据数字信号；
对每个待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号；
将多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果。
第三方面，本公开实施例提供了一种基于深度学习的上肢康复机器人运动意图识别模型训练装置，包括：
第一接收模块，接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个数据光信号进行信号转换，得到多个数据数字信号；
第一处理模块，对每个数据数字信号进行预处理，得到多个候选数据数字信号样本，并对多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本；
第一提取模块，将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个数据特征向量，并对多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对第一总数据特征向量进行特征评估，得到第一评估数据特征向量；
第二提取模块，在将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个目标数据数字信号样本对应的中间特征向量，并对中间特征向量进行拼接处理，得到第二总数据特征向量，以及对第二总数据特征向量进行特征评估，得到第二评估数据特征向量；
第二处理模块，将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型。
第四方面，本公开实施例提供了一种上肢康复机器人运动意图识别装置，包括：
第二接收模块，接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个待处理数据光信号进行信号转换，得到多个待处理数据数字信号；
第三处理模块，对每个待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号；
第四处理模块，将多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例中，接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个数据光信号进行信号转换，得到多个数据数字信号，对每个数据数字信号进行预处理，得到多个候选数据数字信号样本，并对多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本，将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个数据特征向量，并对多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对第一总数据特征向量进行特征评估，得到第一评估数据特征向量，在将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个目标数据数字信号样本对应的中间特征向量，并对中间特征向量进行拼接处理，得到第二总数据特征向量，以及对第二总数据特征向量进行特征评估，得到第二评估数据特征向量，将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型，本公开采用多流时域卷积网络TCN结构对数据进行分类，采用SE（ SqueezeExcitation，压缩激励）模块对不同通道特征进行重要性评估，采用混合融合策略有效利用模型学习到的早期特征与晚期特征，提升分类效果从而达到提高患者参与度、提升康复效果的目的。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的技术路线示意图；
图2为本公开实施例提供的一种上肢康复机器人运动意图识别模型训练方法示意图；
图3为本公开实施例提供的一种表面机电信号采集过程流程图；
图4为本公开实施例提供的多流时域卷积网络TCN网络结构示意图；
图5为SE模块工作原理结构示意图；
图6为本公开实施例提供的另一种上肢康复机器人运动意图识别模型训练方法示意图；
图7为本公开实施例提供的滤波前后功率谱对比图；
图8为本公开实施例提供的一种上肢康复机器人运动意图识别方法示意图；
图9为本公开实施例提供的另一种上肢康复机器人运动意图识别方法示意图；
图10为本公开实施例提供的一种上肢康复系统运动意识识别流程图；
图11为本公开实施例提供的一种人机交互系统界面设计图；
图12为本公开实施例提供一种基于深度学习的上肢康复机器人运动意图识别模型训练装置结构示意图；
图13为本公开实施例提供了一种上肢康复机器人运动意图识别装置结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
具体地，基于sEMG（Surface Electromyography，表面肌电信号）信号进行意图识别的方法主要分为基于机器学习的方法与基于深度学习的方法。采用机器学习方法进行意图识别，常用的分类器有SVM（Support Vector Machine）、LDA（Linear DiscriminantAnalysis,）、随机森林（Random Forest）等，采用机器学习方法时通常需要进行特征选择、特征降维等复杂预处理，而采用深度学习方法能够避免复杂的特性选择与特征降维过程，常见的深度学习模型有CNN，CNN模型对于时序特征的利用效果较差，采用CNN结构进行特征提取时，不能有效利用sEMG信号内部的时域特征间的依赖关系，现有的深度学习模型大多通过傅里叶变换、小波变换等方法，获得时频图，将意图识别问题转为图片分类问题，在变换的过程中会造成特征丢失。
另外，针对基于深度学习的意图识别方法没有考虑不同通道特征，对于多通道的肌电信号，不同通道的特征对于意图识别具有不同的重要性，仅仅采用简单融合操作如拼接、相加等，不能有效利用多通道特征的表达能力，本公开对多通道sEMG数据进行多流表征，采用多流时域卷积网络TCN结构对数据进行分类，并采用SE模块对不同通道特征的重要性进行评估，通过混合融合策略有效利用模型学习到的早期特征与晚期特征，提升分类效果，同时基于MATLAB搭建上肢运动意图识别系统，对所提出的算法进行检验，能够通过上肢运动意图识别系统准确反映患者运动意图，指导康复训练，具体技术路线如图1所示，首先进行动作设计与信号的采集，如康复动作设计、采集肌肉选择，其次对数据进行预处理，如滤波器设计、样本生成，再次对模型进行训练，如模型设计、模型搭建、参数调优，最后搭建上肢运动意识识别系统，如界面设计、系统搭建、在线测试。
图2为本公开实施例提供的一种上肢康复机器人运动意图识别模型训练方法，包括：
步骤201、接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个数据光信号进行信号转换，得到多个数据数字信号。
其中，本公开实施例中表面肌电信号的采集设备主要包括编码器、数据传输接口（TT-USB）光纤信号适配器、表面肌电信号传感器三个设备。
在一些实施例中，如图3所示，表面肌电信号传感器通过信号传输线与编码器连接，通过信号传输线将表面肌电信号传输至编码器，进而通过信号传输光缆至TT-USB信号转换器最终得到多个数据数字信号；在另一些实施例中，首先通过表面肌电信号传感器采集上肢不同动作类别的表面肌电信号，其中，上肢动作的采集需要充分理解表面肌电信号的形成机理及人体上肢肌骨解剖结构，具体地，针对机器人的机械结构设计不同的康复训练任务，结合机器人机械结构以及上肢肌骨解剖结构获取上肢动作类别，然后通过编码器进行编码处理，得到多个数据数字信号；在另一些实施例中，在执行每个康复动作的过程中，接收设置在三角肌位置的第一表面肌电信号传感器发送的第一表面肌肉信号，在执行每个康复动作的过程中，接收设置在肱二头肌位置的第二表面肌电信号传感器发送的第二表面肌肉信号，在执行每个康复动作的过程中，接收设置在肱三头肌位置的第三表面肌电信号传感器发送的第三表面肌肉信号，在执行每个康复动作的过程中，接收设置在肱桡肌位置的第四表面肌电信号传感器发送的第四表面肌肉信号，最终得到多个数据数字信号。
步骤202、对每个数据数字信号进行预处理，得到多个候选数据数字信号样本，并对多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本。
由于数据数字信号易收到干扰，因此在输入时域卷积网络TCN多通道之前需要进行预处理，具体地，数据数字信号的干扰主要为生物电信号噪声、市电工频噪声、运动伪迹噪声及信道串扰。由于本公开选取的设置表面肌电信号传感器的位置可以为三角肌、肱二头肌、肱三头肌和肱桡肌，各个采集的位置距离较远，肌肉之间的相互影响可以忽略不计，所以生物电信号噪声以及信道串扰可以忽略不计，市电工频干扰通过陷波滤波器已经去除，因此本公开信号干扰主要为运动伪迹噪声。
具体地，运动伪迹噪声干扰是指在进行康复运动如肢体旋转、大幅度摆动时，表面电极会随着皮肤移动，其与底层肌肉的相对位置也会跟随之移动，同时也可能发生电极与皮肤粘贴松动等问题，最终导致采集到的信号包含低频噪声。
在一些实施例中，通过对每个数据数字信号运动伪迹噪声进行处理，得到相应的候选数据数字信号样本并对其进行采样，得到多个目标数据数字信号样本；在另一些实施例中，基于通带衰减频率、阻带截止频率、通带截止频率的归一化频率和阻带截止频率的归一化频率计算滤波阶数，基于滤波阶数，获取目标传递函数，每个数据数字信号与目标传递函数进行相乘后进行双线性变换，得到多个候选数据数字信号样本。
步骤203、将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN网络进行特征提取，得到多个数据特征向量，并对多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对第一总数据特征向量进行特征评估，得到第一评估数据特征向量。
其中，时域卷积网络TCN是一种特殊的卷积神经网络，可以通过增加层数、改变膨胀系数和滤波器的大小改变感受，历史信息长短上更加灵活，且避免了RNN（RecurrentNeural Network，循环神经网络）中的梯度弥散和梯度爆炸的问题，由于时域卷积网络TCN可以大规模并行处理数据，训练时占用的内存更少，尤其是对于长序列，因此在训练和验证时网络的速度都会更快，将其用于上肢康复系统中，在训练阶段与在线识别阶段都可加速运算过程，能够降低上肢康复器人获取患者运动意图的时延，使患者与上肢康复机器人交互更加自然。
在一些实施例中，比如将经过预处理的数据数字信号采用时间窗进行分割，对于同一动作原始肌电信号，例如通道数M=4，N为时间窗内样本点数，通过时间窗，将数据分割为n个样本，本公开中比如采样频率为2048HZ，生成的每个样本包含200个样本点。
按照通道进行多流表征，输入为多维数字信号
Figure 359310DEST_PATH_IMAGE001
，4为通道数，200为样本点数，按通道将样本划分为
Figure 994560DEST_PATH_IMAGE002
。
将经过多流表征后的数字信号作为四个时域卷积网络TCN网络分支的输入，如图4所示，多流时域卷积网络TCN网络共包括4个分支，分支1、分支2、分支3及分支4，每个分支由四层时域卷积网络TCN网络构成，卷积核个数依次设置为32，32，64，64，卷积大小依次为5、5、3、3，膨胀尺度为1、2、4、8，每个分支经过多层时域卷积网络TCN网络进行特征提取，得到的特征向量为
Figure 446401DEST_PATH_IMAGE003
，表示第j个支路学习到的第k个特征向量。
通过将四个支路学习到的多个数据特征向量在通道维度进行拼接，得到模型学习到的晚期特征
Figure 310452DEST_PATH_IMAGE004
，即第一数据特征向量。
Figure 353187DEST_PATH_IMAGE005
其中，
Figure 644491DEST_PATH_IMAGE006
由每个通道的64个特征向量在通道维度拼接得到，晚期特征
Figure 380366DEST_PATH_IMAGE007
，
Figure 48108DEST_PATH_IMAGE008
代表第C个通道的特征向量，然后对第一总数据特征向量按通道进行平均池化，得到多个第一平均池化压缩向量，将多个第一平均池化压缩向量输入全连接网络进行处理，得到多个第一通道权重，将多个第一通道权重分别与第一总数据特征向量进行通道级别相乘，得到第一评估数据特征向量。
步骤204、在将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个目标数据数字信号样本对应的中间特征向量，并对中间特征向量进行拼接处理，得到第二总数据特征向量，以及对第二总数据特征向量进行特征评估，得到第二评估数据特征向量。
其中，第二总数据特征向量与第一总数据特征向量获取相同，本公开不再赘述。
具体地，对第二总数据特征向量按通道进行平均池化，得到多个第二平均池化压缩向量，将多个第二平均池化压缩向量输入全连接网络进行处理，得到多个第二通道权重，将多个第二通道权重分别与第二总数据特征向量进行通道级别相乘，得到第二评估数据特征向量。
步骤205、将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型。
在一些实施例中，通过SE模块，将得到评估后的第一评估数据特征向量
Figure 435095DEST_PATH_IMAGE009
，送入单层全连接网络得到特征向量
Figure 897301DEST_PATH_IMAGE010
，将得到评估后的第二评估数据特征向量
Figure 120472DEST_PATH_IMAGE011
，送入单层全连接网络得到特征向量
Figure 326325DEST_PATH_IMAGE012
，将
Figure 334864DEST_PATH_IMAGE010
、
Figure 233549DEST_PATH_IMAGE013
拼接得到特征向量V。
Figure 944017DEST_PATH_IMAGE014
在特征融合阶段，采用了混合融合的方式，有效利用模型学习到的第一总数据特征向量和第二总数据特征向量。
具体地，SE模块工作原理如图5所示，SE模块主要包含压缩（Squeeze）和激励（Excitation）两部分。W，H表示特征图宽，高。C表示通道数，输入特征图大小为W×H×C，将特征向量输入到SE模块，首先经过压缩操作即全局平均池化、经过压缩操作后特征图被压缩为1×1×C向量，然后进行激励操作输出1×1×C向量，最后是模块（Scale）操作，在得到1×1×C向量之后，对原来的特征图进行模块操作。即通道权重相乘，原有特征向量为W×H×C，将SE模块计算出来的各通道权重值分别与原特征图对应通道的二维矩阵相乘，得出的结果输出。
可选地，将特征向量v送入三层全连接网络，比如三层全连接网络对应的神经元个数为512，1024，128，得到分类结果，模型搭建完成后，采用Adam优化算法对模型参数进行优化，具体地，学习率可设置为0.0001，训练次数可设置为50，最后生成上肢康复机器人运动意图识别模型。
本公开实施例提供的上肢康复机器人运动意图识别模型训练方案，接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个数据光信号进行信号转换，得到多个数据数字信号，对每个数据数字信号进行预处理，得到多个候选数据数字信号样本，并对多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本，将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个数据特征向量，并对多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对第一总数据特征向量进行特征评估，得到第一评估数据特征向量，在将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个目标数据数字信号样本对应的中间特征向量，并对中间特征向量进行拼接处理，得到第二总数据特征向量，以及对第二总数据特征向量进行特征评估，得到第二评估数据特征向量，将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型，采用上述技术方案，采用SE模块对不同通道特征进行重要性评估，采用混合融合策略有效利用模型学习到的早期特征与晚期特征，提升分类效果，能够降低上肢康复机器人获取患者运动意图的时延，使患者上肢康复机器人交互更加自然，从而达到提高患者参与度、提升康复效果的目的。
图6为本公开实施例提供的另一种上肢康复机器人运动意图识别模型训练方法，包括：
步骤601、在执行每个康复动作的过程中，接收设置在三角肌、肱二头肌、肱三头肌及肱桡肌位置的电信号传感器发送的表面肌肉信号。
具体地，三角肌位于肩部，呈三角形，起自锁骨的外侧段、肩峰和肩胛冈，肌束逐渐向外下方集中，止于肱骨三角肌粗隆；肱二头肌位于上臂前侧，整肌呈梭形，肱二头肌有长、短二头，长头起于肩胛骨盂上粗隆，短头起于肩胛骨喙突.长，短二头于肱骨中部汇合为肌腹，下行至肱骨下端，集成肌腱止于桡骨粗隆和前臂筋腱膜；肱三头肌在上臂后面延伸，可伸直或伸展该臂，它有三个头，一个附着在肩胛骨上，另两个附着在肱骨上；肱桡肌位于前臂肌的最外侧皮下，呈长扁形，起于肱骨外上髁上缘的近端1/3，外侧肌间隔，止于桡骨茎突的底部外侧。
本公开选取了与上肢运动紧密相关的四块肌肉进行表面肌电信号采集，结合康复医学，设计了十二种康复常用的动作，包括肘关节屈曲、肘关节伸展、肩部内收、肩部前伸等，每个动作重复六次，具体地，在执行每个康复动作的过程中，接收设置在三角肌位置的第一表面肌电信号传感器发送的第一表面肌肉信号，接收设置在肱二头肌位置的第二表面肌电信号传感器发送的第二表面肌肉信号，接收设置在肱三头肌位置的第三表面肌电信号传感器发送的第三表面肌肉信号，接收设置在肱桡肌位置的第四表面肌电信号传感器发送的第四表面肌肉信号。
步骤602、基于通带衰减频率、阻带截止频率、通带截止频率的归一化频率和阻带截止频率的归一化频率计算滤波阶数，基于滤波阶数，获取目标传递函数，对每个数据数字信号与目标传递函数进行相乘后进行双线性变换，得到多个候选数据数字信号样本。
可选的，本公开采用巴特沃斯滤波器进行高通滤波去除运动伪迹干扰，N阶巴特斯沃的滤波器的传递函如下，N为滤波器的阶数。
Figure 422402DEST_PATH_IMAGE015
其中，H(s)的各个极点为：
Figure 783982DEST_PATH_IMAGE016
巴特斯沃滤波器的传递函数为
Figure 384728DEST_PATH_IMAGE017
其中
Figure 582491DEST_PATH_IMAGE018
，为分母多项式的系数，n=1,…n-1；
本公开选择32HZ的阻带截止频率，高通滤波器的其他参数通带衰减频率αp=1db，阻带衰减αr=15db，通带截止频率为fp=25HZ，
Figure 130147DEST_PATH_IMAGE019
，
Figure 96966DEST_PATH_IMAGE020
，其中
Figure 85257DEST_PATH_IMAGE021
为角频率，
Figure 239158DEST_PATH_IMAGE022
为频率，
Figure 590505DEST_PATH_IMAGE023
为数字滤波器的通带截止频率的归一化值，
Figure 411831DEST_PATH_IMAGE024
为数字滤波器阻带截止频率的归一化值。
再由双边变换
Figure 72488DEST_PATH_IMAGE025
得
Figure 979264DEST_PATH_IMAGE026
。
Figure 868723DEST_PATH_IMAGE027
为模拟滤波器的通带截止频率，
Figure 606872DEST_PATH_IMAGE028
为模拟滤波器阻带截止频率，T为采样周期。
Figure 189163DEST_PATH_IMAGE029
Figure 333967DEST_PATH_IMAGE030
分别为通带截止频率的归一化频率、截止频率的归一化频率、阻带截止频率的归一化频率。
滤波器阶次N为
Figure 699221DEST_PATH_IMAGE031
可得到其传递函数：
Figure 478827DEST_PATH_IMAGE032
同时利用变换公式
Figure 232019DEST_PATH_IMAGE033
得到目标传递函数H(s)，采用双线性变换
Figure 113387DEST_PATH_IMAGE034
，得到目标传递函数H(z)，由H(z)求解系统的差分方程，最终得到候选数据数字信号样本。
Figure 406965DEST_PATH_IMAGE035
Figure 57390DEST_PATH_IMAGE036
为滤波前的信号序列，
Figure 198128DEST_PATH_IMAGE037
为滤波后的信号序列，
Figure 566792DEST_PATH_IMAGE038
为H(z)系统函数分母与分子的系统数组，经过迭代即可求出滤波后的信号序列
Figure 601744DEST_PATH_IMAGE037
的所有值。
滤波后信号的功率谱如图7所示，经过去运动伪迹噪声干扰，滤波后的信号在低频时对应的功率明显下降。
步骤603、对第一总数据特征向量按通道进行平均池化，得到多个第一平均池化压缩向量，将其输入全连接网络进行处理，得到多个第一通道权重，然后与第一总数据特征向量进行通道级别相乘，得到第一评估数据特征向量。
具体地，采用SE模块对第一总数据特征向量进行评估，得到第一评估数据特征向量，SE模块运算过程如下。
Figure 168992DEST_PATH_IMAGE039
Figure 998407DEST_PATH_IMAGE040
代表对第一总数据特征向量
Figure 838056DEST_PATH_IMAGE041
按通道进行平均池化，压缩为1×1×256的向量
Figure 676699DEST_PATH_IMAGE042
，
Figure 36137DEST_PATH_IMAGE043
代表第C个通道的特征向量平均池化后得到的数值，
Figure 98770DEST_PATH_IMAGE044
代表第C个特征向量i位置上的数值。
将
Figure 176448DEST_PATH_IMAGE045
送入两层全连接网络，得到权重
Figure 303935DEST_PATH_IMAGE046
，
Figure 783458DEST_PATH_IMAGE047
代表第C个通道对应的权重，
Figure 16993DEST_PATH_IMAGE048
代表Relu激活函数，
Figure 581967DEST_PATH_IMAGE049
表示Sigmoid函数，
Figure 762412DEST_PATH_IMAGE050
、
Figure 80130DEST_PATH_IMAGE051
分别代表两个全连接层的参数矩阵。
Figure 687829DEST_PATH_IMAGE052
代表标量
Figure 740099DEST_PATH_IMAGE053
和特征图
Figure 458656DEST_PATH_IMAGE054
通道级别的乘法。将每个通道的权重
Figure 709509DEST_PATH_IMAGE055
与第一总数据特征向量
Figure 235911DEST_PATH_IMAGE056
进行通道级别相乘，通过SE模块得到第一评估数据特征向量
Figure 775477DEST_PATH_IMAGE057
，
Figure 32146DEST_PATH_IMAGE058
代表经过评估后的第C个特征向量。
步骤604、对第二总数据特征向量按通道进行平均池化，得到多个第二平均池化压缩向量，将多个第二平均池化压缩向量输入全连接网络进行处理，得到多个第二通道权重，然后将其余第二总数据特征向量进行通道级别相乘，得到第二评估数据特征向量。
需要说明的是，步骤604获取第二评估数据特征向量的方式与上述步骤603获取第一评估数据特征向量的方式相同，具体参见对步骤603的描述，此处不再详述。
步骤605、将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型
需要说明的是，步骤605与上述步骤205相同，具体参见对步骤205的描述，此处不再详述。
本公开实施例提供的上肢康复机器人运动意图识别模型训练方案，在执行每个康复动作的过程中，接收设置在三角肌、肱二头肌、肱三头肌及肱桡肌位置的电信号传感器发送的表面肌肉信号，基于通带衰减频率、阻带截止频率、通带截止频率的归一化频率和阻带截止频率的归一化频率计算滤波阶数，基于滤波阶数，获取目标传递函数，对每个数据数字信号与目标传递函数进行相乘后进行双线性变换，得到多个候选数据数字信号样本，对第一总数据特征向量按通道进行平均池化，得到多个第一平均池化压缩向量，将其输入全连接网络进行处理，得到多个第一通道权重，然后与第一总数据特征向量进行通道级别相乘，得到第一评估数据特征向量，对第二总数据特征向量按通道进行平均池化，得到多个第二平均池化压缩向量，将多个第二平均池化压缩向量输入全连接网络进行处理，得到多个第二通道权重，然后将其余第二总数据特征向量进行通道级别相乘，得到第二评估数据特征向量，将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型，采用上述技术方案，降低了肌肉之间的相互影响及运动伪迹噪声，使获得的特征向量更加准确，同时，采用SE模块对时域卷积网络TCN获得的特征向量进行评估，起到抑制无用特征、增强有用特征的效果，采用混合融合策略，有效利用了模型获取到的早期特征与晚期特征，通过SE模块与有效特征融合方式有效利用多通道特征的表达能力。
图8为本公开实施例提供的一种上肢康复机器人运动意图识别方法，包括：
步骤801、接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个待处理数据光信号进行信号转换，得到多个待处理数据数字信号。
步骤802、对每个待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号。
需要说明的是，步骤801-802与上述步骤201-202相同，具体参见对步骤201-202的描述，此处不再详述。
步骤803、将多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果。
本公开实施例提供的一种上肢康复机器人运动意图识别方案，接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个待处理数据光信号进行信号转换，得到多个待处理数据数字信号，对每个待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号，将多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果，采用上述技术方案，避免了复杂特征的提取过程，降低了特征丢失率。
图9为本公开实施例提供的另一种上肢康复机器人运动意图识别方法，包括：
步骤901、接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个待处理数据光信号进行信号转换，得到多个待处理数据数字信号。
步骤902、对每个待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号。
需要说明的是，步骤901-902与上述步骤201-202相同，具体参见对步骤201-202的描述，此处不再详述。
步骤903、将每个待处理目标数据数字信号输入时域卷积网络TCN进行特征提取得到第一评估待处理数据特征向量和第二评估待处理向量，然后将其输入全连接网络进行处理，得到实时分类结果。
需要说明的是，步骤903与上述步骤203-204相同，具体参见对步骤203-204的描述，此处不再详述。
步骤904、基于实时分类结果输出实时动作类别，并通过虚拟现实技术基于实时动作类别执行动作。
本公开实施例提供的另一种上肢康复机器人运动意图识别方案，接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个待处理数据光信号进行信号转换，得到多个待处理数据数字信号，对每个待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号，将每个待处理目标数据数字信号输入时域卷积网络TCN进行特征提取得到第一评估待处理数据特征向量和第二评估待处理向量，然后将其输入全连接网络进行处理，得到实时分类结果，基于实时分类结果输出实时动作类别，并通过虚拟现实技术基于实时动作类别执行动作，采用上述技术方案，采用时域卷积网络TCN结构进行特征提取，有效利用sEMG信号的时间特征，提升了分类效果。
为了更清晰地描述本公开，图10为本公开实施例提供的一种上肢康复系统运动意识识别流程图，其实现过程为信号采集-信号预处理-分类模型-输出分类结果，本公开利用人体上肢表面肌电信号进行康复动作识别，根据肌电信号形成机理与传导过程，利用现代检测技术，采集信号并提取信号特征，设计动作识别分类器，实现上肢运动识别，最终实现以患者为中心，科学、有效的人机交互方式。
图11为本公开实施例提供的一种人机交互系统界面设计图，包括sEMG信号显示模块、sEMG信号分析模块、控制台模块、分类结果输出模块、机器人运动状态显示模块，sEMG信号显示模型用于将采集到的sEMG信号显示在交互界面上，sEMG信号分析模块用于对常见的时间特征、频域特征等进行分析，分类结果输出模型用于根据模型计算出的分类结果输出动作类别，通过虚拟显示技术复现患者正在执行的动作，通过视觉反馈刺激患者，能够提高康复效果，机器人运动状态模块用于检测技术获取机器人的运动状态并进行显示。
图12为本公开实施例提供一种基于深度学习的上肢康复机器人运动意图识别模型训练装置结构示意图，该装置包括第一接收模块1201、第一处理模块1202、第一提取模块1203、第二提取模块1204、第二处理模块1205，其中，
第一接收模块1201，用于接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个数据光信号进行信号转换，得到多个数据数字信号，
第一处理模块1202，用于对每个数据数字信号进行预处理，得到多个候选数据数字信号样本，并对多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本，
第一提取模块1203，用于将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个数据特征向量，并对多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对第一总数据特征向量进行特征评估，得到第一评估数据特征向量，
第二提取模块1204，在将每个目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个目标数据数字信号样本对应的中间特征向量，并对中间特征向量进行拼接处理，得到第二总数据特征向量，以及对第二总数据特征向量进行特征评估，得到第二评估数据特征向量，
第二处理模块1205，用于将第一评估数据特征向量和第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型。
可选地，所述第一接收模块1201，具体用于：
在执行每个康复动作的过程中，接收设置在三角肌位置的第一表面肌电信号传感器发送的第一表面肌肉信号；
在执行每个康复动作的过程中，接收设置在肱二头肌位置的第二表面肌电信号传感器发送的第二表面肌肉信号；
在执行每个康复动作的过程中，接收设置在肱三头肌位置的第三表面肌电信号传感器发送的第三表面肌肉信号；
在执行每个康复动作的过程中，接收设置在肱桡肌位置的第四表面肌电信号传感器发送的第四表面肌肉信号。
可选地，所述第一处理模块1202，具体用于：
基于通带衰减频率、阻带截止频率、通带截止频率的归一化频率和阻带截止频率的归一化频率计算滤波阶数；
基于滤波阶数，获取目标传递函数；
每个数据数字信号与目标传递函数进行相乘后进行双线性变换，得到多个候选数据数字信号样本。
可选地，所述第一提取模块1203，具体用于：
对第一总数据特征向量按通道进行平均池化，得到多个第一平均池化压缩向量；
将多个第一平均池化压缩向量输入全连接网络进行处理，得到多个第一通道权重；
将多个第一通道权重分别与第一总数据特征向量进行通道级别相乘，得到所述第一评估数据特征向量。
可选地，所述第一提取模块1204，具体用于：
对第二总数据特征向量按通道进行平均池化，得到多个第二平均池化压缩向量；
将多个第二平均池化压缩向量输入全连接网络进行处理，得到多个第二通道权重；
将多个第二通道权重分别与第二总数据特征向量进行通道级别相乘，得到第二评估数据特征向量。
图13 为本公开实施例提供了一种上肢康复机器人运动意图识别装置结构示意图，该装置包括第二接收模块1301，第三处理模块1302，第四处理模块1303，其中，
第二接收模块1301，用于接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个待处理数据光信号进行信号转换，得到多个待处理数据数字信号；
第三处理模块1302，用于对每个待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号；
第四处理模块1303，用于将多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果。
可选地，所述第四处理模块1303，具体用于：
将每个待处理目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个待处理数据特征向量，并对多个待处理数据特征向量进行拼接处理，得到第一总待处理数据特征向量，以及对第一总待处理数据特征向量进行特征评估，得到第一评估待处理数据特征向量；
在将每个待处理目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个待处理目标数据数字信号样本对应的待处理中间特征向量，并对待处理中间特征向量进行拼接处理，得到第二总待处理数据特征向量，以及对第二总待处理数据特征向量进行特征评估，得到第二评估待处理数据特征向量；
将第一评估待处理数据特征向量和第二评估待处理数据特征向量输入全连接网络进行处理，得到实时分类结果。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度学习的上肢康复机器人运动意图识别模型训练方法，其特征在于，包括：
接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个所述表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个所述数据光信号进行信号转换，得到多个数据数字信号；
对每个所述数据数字信号进行预处理，得到多个候选数据数字信号样本，并对所述多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本；
将每个所述目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个数据特征向量，并对所述多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对所述第一总数据特征向量进行特征评估，得到第一评估数据特征向量；
在所述将每个所述目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个所述目标数据数字信号样本对应的中间特征向量，并对所述中间特征向量进行拼接处理，得到第二总数据特征向量，以及对所述第二总数据特征向量进行特征评估，得到第二评估数据特征向量；
将所述第一评估数据特征向量和所述第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于所述分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型。
2.根据权利要求1所述的基于深度学习的上肢康复机器人运动意图识别模型训练方法，其特征在于，所述接收多个表面肌电信号传感器发送的多个表面肌肉信号，包括：
在执行每个康复动作的过程中，接收设置在三角肌位置的第一表面肌电信号传感器发送的第一表面肌肉信号；
在执行每个所述康复动作的过程中，接收设置在肱二头肌位置的第二表面肌电信号传感器发送的第二表面肌肉信号；
在执行每个所述康复动作的过程中，接收设置在肱三头肌位置的第三表面肌电信号传感器发送的第三表面肌肉信号；
在执行每个所述康复动作的过程中，接收设置在肱桡肌位置的第四表面肌电信号传感器发送的第四表面肌肉信号。
3.根据权利要求1所述的基于深度学习的上肢康复机器人运动意图识别模型训练方法，其特征在于，所述对每个所述数据数字信号进行预处理，得到多个候选数据数字信号样本，包括：
基于通带衰减频率、阻带截止频率、通带截止频率的归一化频率和阻带截止频率的归一化频率计算滤波阶数；
基于所述滤波阶数，获取目标传递函数；
每个所述数据数字信号与所述目标传递函数进行相乘后进行双线性变换，得到所述多个候选数据数字信号样本。
4.根据权利要求1所述的基于深度学习的上肢康复机器人运动意图识别模型训练方法，其特征在于，所述对所述第一总数据特征向量进行特征评估，得到第一评估数据特征向量，包括：
对所述第一总数据特征向量按通道进行平均池化，得到多个第一平均池化压缩向量；
将所述多个第一平均池化压缩向量输入全连接网络进行处理，得到多个第一通道权重；
将所述多个第一通道权重分别与所述第一总数据特征向量进行通道级别相乘，得到所述第一评估数据特征向量。
5.根据权利要求1所述的基于深度学习的上肢康复机器人运动意图识别模型训练方法，其特征在于，所述对所述第二总数据特征向量进行特征评估，得到第二评估数据特征向量，包括：
对所述第二总数据特征向量按通道进行平均池化，得到多个第二平均池化压缩向量；
将所述多个第二平均池化压缩向量输入全连接网络进行处理，得到多个第二通道权重；
将所述多个第二通道权重分别与所述第二总数据特征向量进行通道级别相乘，得到所述第二评估数据特征向量。
6.一种上肢康复机器人运动意图识别方法，其特征在于，基于权利要求1-5任一项所述的上肢康复机器人运动意图识别模型，所述方法包括：
接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个所述待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个所述待处理数据光信号进行信号转换，得到多个待处理数据数字信号；
对每个所述待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对所述多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号；
将所述多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果。
7.根据权利要求6所述的上肢康复机器人运动意图识别方法，其特征在于，还包括：
基于所述实时分类结果输出实时动作类别，并通过虚拟现实技术基于所述实时动作类别执行动作。
8.根据权利要求6所述的上肢康复机器人运动意图识别方法，其特征在于，所述将所述多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果，包括：
将每个所述待处理目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个待处理数据特征向量，并对所述多个待处理数据特征向量进行拼接处理，得到第一总待处理数据特征向量，以及对所述第一总待处理数据特征向量进行特征评估，得到第一评估待处理数据特征向量；
在所述将每个所述待处理目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个所述待处理目标数据数字信号样本对应的待处理中间特征向量，并对所述待处理中间特征向量进行拼接处理，得到第二总待处理数据特征向量，以及对所述第二总待处理数据特征向量进行特征评估，得到第二评估待处理数据特征向量；
将所述第一评估待处理数据特征向量和所述第二评估待处理数据特征向量输入全连接网络进行处理，得到实时分类结果。
9.一种基于深度学习的上肢康复机器人运动意图识别模型训练装置，其特征在于，包括：
第一接收模块，接收多个表面肌电信号传感器发送的多个表面肌肉信号，通过编码器对每个所述表面肌肉信号进行编码处理，得到多个数据光信号，以及通过数据转换器对每个所述数据光信号进行信号转换，得到多个数据数字信号；
第一处理模块，对每个所述数据数字信号进行预处理，得到多个候选数据数字信号样本，并对所述多个候选数据数字信号样本进行采样，得到多个目标数据数字信号样本；
第一提取模块，将每个所述目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取，得到多个数据特征向量，并对所述多个数据特征向量进行拼接处理，得到第一总数据特征向量，以及对所述第一总数据特征向量进行特征评估，得到第一评估数据特征向量；
第二提取模块，在所述将每个所述目标数据数字信号样本输入一一对应的时域卷积网络TCN进行特征提取的过程中，获取每个所述目标数据数字信号样本对应的中间特征向量，并对所述中间特征向量进行拼接处理，得到第二总数据特征向量，以及对所述第二总数据特征向量进行特征评估，得到第二评估数据特征向量；
第二处理模块，将所述第一评估数据特征向量和所述第二评估数据特征向量输入全连接网络进行处理，得到分类结果，基于所述分类结果和预期结果调整网络参数，生成上肢康复机器人运动意图识别模型。
10.一种上肢康复机器人运动意图识别装置，其特征在于，包括：
第二接收模块，接收多个表面肌电信号传感器发送的多个待处理表面肌肉信号，通过编码器对每个所述待处理表面肌肉信号进行编码处理，得到多个待处理数据光信号，以及通过数据转换器对每个所述待处理数据光信号进行信号转换，得到多个待处理数据数字信号；
第三处理模块，对每个所述待处理数据数字信号进行预处理，得到多个候选待处理数据数字信号，并对所述多个候选待处理数据数字信号进行采样，得到多个目标待处理数据数字信号；
第四处理模块，将所述多个目标待处理数据数字信号输入上肢康复机器人运动意图识别模型进行处理，得到实时分类结果。
CN202111486917.3A 2021-12-07 2021-12-07 上肢康复机器人运动意图识别模型训练、识别方法及装置 Active CN114159080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111486917.3A CN114159080B (zh) 2021-12-07 2021-12-07 上肢康复机器人运动意图识别模型训练、识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111486917.3A CN114159080B (zh) 2021-12-07 2021-12-07 上肢康复机器人运动意图识别模型训练、识别方法及装置

Publications (2)

Publication Number Publication Date
CN114159080A true CN114159080A (zh) 2022-03-11
CN114159080B CN114159080B (zh) 2022-06-24

Family

ID=80484000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111486917.3A Active CN114159080B (zh) 2021-12-07 2021-12-07 上肢康复机器人运动意图识别模型训练、识别方法及装置

Country Status (1)

Country Link
CN (1) CN114159080B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240096483A1 (en) * 2022-06-14 2024-03-21 Southeast University ADAPTIVE CONTROL METHOD AND SYSTEM FOR UPPER LIMB REHABILITATION ROBOT BASED ON GAME THEORY AND SURFACE ELECTROMYOGRAPHY (sEMG)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204192596U (zh) * 2014-11-03 2015-03-11 东莞理工学院城市学院 智能健康监护仪
WO2017106469A1 (en) * 2015-12-15 2017-06-22 The Regents Of The University Of California Systems and methods for analyzing perfusion-weighted medical imaging using deep neural networks
CN109568083A (zh) * 2018-12-15 2019-04-05 华南理工大学 一种多模态交互的上肢康复机器人训练系统
CN110151176A (zh) * 2019-04-10 2019-08-23 杭州电子科技大学 一种基于肌电信号的上肢肘关节连续运动估计方法
CN110537922A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 基于深度学习的人体行走过程下肢运动识别方法及系统
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
US20200160535A1 (en) * 2018-11-15 2020-05-21 Qualcomm Incorporated Predicting subject body poses and subject movement intent using probabilistic generative models
CN111631705A (zh) * 2020-05-29 2020-09-08 广州视源电子科技股份有限公司 心电异常检测方法、模型训练方法、装置、设备及介质
WO2020190026A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for biometric authentication using face radar signal
CN111860410A (zh) * 2020-07-29 2020-10-30 南京邮电大学 基于多特征融合cnn的肌电手势识别方法
US20210325509A1 (en) * 2020-04-20 2021-10-21 Infineon Technologies Ag Radar-Based Vital Sign Estimation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204192596U (zh) * 2014-11-03 2015-03-11 东莞理工学院城市学院 智能健康监护仪
WO2017106469A1 (en) * 2015-12-15 2017-06-22 The Regents Of The University Of California Systems and methods for analyzing perfusion-weighted medical imaging using deep neural networks
US20200160535A1 (en) * 2018-11-15 2020-05-21 Qualcomm Incorporated Predicting subject body poses and subject movement intent using probabilistic generative models
CN109568083A (zh) * 2018-12-15 2019-04-05 华南理工大学 一种多模态交互的上肢康复机器人训练系统
WO2020190026A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for biometric authentication using face radar signal
CN110151176A (zh) * 2019-04-10 2019-08-23 杭州电子科技大学 一种基于肌电信号的上肢肘关节连续运动估计方法
CN110537922A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 基于深度学习的人体行走过程下肢运动识别方法及系统
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
US20210325509A1 (en) * 2020-04-20 2021-10-21 Infineon Technologies Ag Radar-Based Vital Sign Estimation
CN111631705A (zh) * 2020-05-29 2020-09-08 广州视源电子科技股份有限公司 心电异常检测方法、模型训练方法、装置、设备及介质
CN111860410A (zh) * 2020-07-29 2020-10-30 南京邮电大学 基于多特征融合cnn的肌电手势识别方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
JIA, JG; ZHOU, YF 等: "Two-Stream Temporal Convolutional Networks for Skeleton-Based Human Action Recognition", 《JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》 *
JIA, JG; ZHOU, YF 等: "Two-Stream Temporal Convolutional Networks for Skeleton-Based Human Action Recognition", 《JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》, 31 May 2020 (2020-05-31), pages 538 - 550, XP037160509, DOI: 10.1007/s11390-020-0405-6 *
WANG, JHDU, ZYWANG, YH: "ATROUS TEMPORAL CONVOLUTIONAL NETWORK FOR VIDEO ACTION SEGMENTATION", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
WANG, JHDU, ZYWANG, YH: "ATROUS TEMPORAL CONVOLUTIONAL NETWORK FOR VIDEO ACTION SEGMENTATION", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》, 31 December 2019 (2019-12-31), pages 1585 - 1589 *
李沿宏, 江茜, 邹可,等: "融合注意力机制的多流卷积肌电手势识别网络", 《计算机应用研究》 *
李沿宏, 江茜, 邹可,等: "融合注意力机制的多流卷积肌电手势识别网络", 《计算机应用研究》, 30 November 2021 (2021-11-30) *
李醒,王晓峰,丁进良: "上肢康复机器人鲁棒重复控制方法的研究", 《第25届中国过程控制会议论文集》 *
李醒,王晓峰,丁进良: "上肢康复机器人鲁棒重复控制方法的研究", 《第25届中国过程控制会议论文集》, 31 December 2014 (2014-12-31), pages 1151 - 1156 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240096483A1 (en) * 2022-06-14 2024-03-21 Southeast University ADAPTIVE CONTROL METHOD AND SYSTEM FOR UPPER LIMB REHABILITATION ROBOT BASED ON GAME THEORY AND SURFACE ELECTROMYOGRAPHY (sEMG)

Also Published As

Publication number Publication date
CN114159080B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN110238863B (zh) 基于脑电-肌电信号的下肢康复机器人控制方法及系统
CN105326500B (zh) 基于表面肌电信号的动作识别方法和设备
CN108433722A (zh) 便携式脑电采集设备及其在ssvep和运动想象中的应用
CN106980367A (zh) 一种基于肌电地形图的手势识别方法
CN112043473B (zh) 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN106073702A (zh) 基于小波‑传递熵的多时频尺度间脑肌电耦合分析方法
CN109620651A (zh) 基于同步脑肌电的智能辅助康复设备
CN107822629B (zh) 四肢表面肌电轴的检测方法
CN102930284A (zh) 基于经验模态分解和分形的表面肌电信号模式识别方法
CN102622605A (zh) 一种表面肌电信号的特征提取及动作模式识别方法
CN110974212A (zh) 一种融合心电和肌电特征的康复训练运动状态监测方法及系统
CN109674445B (zh) 一种结合非负矩阵分解和复杂网络的肌间耦合分析方法
CN111860410A (zh) 基于多特征融合cnn的肌电手势识别方法
CN107808166B (zh) 一种memd张量线性拉普拉斯判别的肌电特征提取方法
CN112541415B (zh) 基于符号传递熵和图论的脑肌功能网络运动疲劳检测方法
CN114159080B (zh) 上肢康复机器人运动意图识别模型训练、识别方法及装置
CN104571504A (zh) 一种基于想象动作的在线脑-机接口方法
CN110321856B (zh) 一种时频多尺度散度csp的脑机接口方法及装置
Yu et al. The research of sEMG movement pattern classification based on multiple fused wavelet function
Yang et al. ECG pattern recognition based on wavelet transform and BP neural network
Krishnapriya et al. Surface electromyography based hand gesture signal classification using 1d cnn
CN110604578A (zh) 基于semg的人手手内动作识别方法
CN114569143A (zh) 一种基于注意力机制与多特征融合的肌电手势识别方法
Souza et al. Netlab MLP-Performance Evaluation for Pattern Recognition in Myoletric Signal
CN113408712A (zh) 基于时延尺度长短期记忆网络与传递熵的脑肌耦合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant