CN112022619B - 一种上肢康复机器人多模态信息融合感知系统 - Google Patents

一种上肢康复机器人多模态信息融合感知系统 Download PDF

Info

Publication number
CN112022619B
CN112022619B CN202010926488.6A CN202010926488A CN112022619B CN 112022619 B CN112022619 B CN 112022619B CN 202010926488 A CN202010926488 A CN 202010926488A CN 112022619 B CN112022619 B CN 112022619B
Authority
CN
China
Prior art keywords
signal
acquisition
semg
patient
eeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010926488.6A
Other languages
English (en)
Other versions
CN112022619A (zh
Inventor
王文东
李翰豪
郭栋
张鹏
孔德智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010926488.6A priority Critical patent/CN112022619B/zh
Publication of CN112022619A publication Critical patent/CN112022619A/zh
Application granted granted Critical
Publication of CN112022619B publication Critical patent/CN112022619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0218—Drawing-out devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0277—Elbow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0281—Shoulder
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • A61H1/02—Stretching or bending or torsioning apparatus for exercising
    • A61H1/0274—Stretching or bending or torsioning apparatus for exercising for the upper limbs
    • A61H1/0285—Hand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1657—Movement of interface, i.e. force application means
    • A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/04—Heartbeat characteristics, e.g. E.G.C., blood pressure modulation
    • A61H2230/06—Heartbeat rate
    • A61H2230/065—Heartbeat rate used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/08—Other bio-electrical signals
    • A61H2230/10—Electroencephalographic signals
    • A61H2230/105—Electroencephalographic signals used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2230/00—Measuring physical parameters of the user
    • A61H2230/62—Posture
    • A61H2230/625—Posture used as a control parameter for the apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pain & Pain Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种上肢康复机器人多模态信息融合感知系统，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块。该系统的整体流程为四个模块循环进行，通过对感知系统进行初始化操作，然后基于信号采集电路所得到的运动信号特征信息完成sEMG、EEG、ECG信号的数学模型建立、信号滤波处理以及信号特征表征，再通过建立M‑C‑E融合模型实现运动意图感知融合，从而进入卷积神经网络进行识别分类，最后通过预测模型对驱动单元发出操作指令，以完成患者的上肢康复训练。本发明系统成熟高效，可满足上肢康复机器人的人机交互和运动康复等功能，具有广泛的应用范围和良好的经济效益。

Description

一种上肢康复机器人多模态信息融合感知系统
技术领域
本发明属于智能信息处理领域，具体涉及一种信息融合感知系统。
背景技术
在当今社会老龄化严重的情况下，中风是老年疾病中造成人体残疾并失去生活自理能力的主要因素。人体临床研究表明，运动训练可以诱导皮质层变化和重组。这意味着发生中风后，患者可以基于脑组织的自我恢复以及对受损功能的重新学习与补偿并通过上肢康复机器人进行康复训练。上肢康复机器人作为一种仿生辅助装备，为实现人机耦合的运动控制效果，其关键点是准确感知人体运动意图。因此，准确感知人体运动意图是实现人机耦合的基础，也是实现机器人柔顺控制的难点。目前，基于人体生物电信号的方法运用广泛，多模态信息融合感知是指利用人体产生的脑电信号(EEG)和表面肌电信号(sEMG)以及心电(ECG)等信号解析其中所包含的人体运动信息。开发上肢康复机器人运动意图感知系统的目的是完善人体生物电信号的信号感知处理体系。最大程度地提高运动意图感知准确性成为实现人机耦合的关键。
发明专利CN104013513A公开了“康复机器人感知系统机器方法”，所述康复机器人感知系统包括以下模块：初始化模块，用于对感知系统进行初始化并启动；环境感知模块，用于对康复机器人进行分析判断并选择合适的行走模式；运动意图感知模块，用于通过传感器采集传感数据，并生成患者的运动意图指令；动作执行模块，用于控制所述康复机器人执行康复训练动作。发明专利CN109953761A公开了一种“下肢康复机器人感知系统及运动意图推理方法”能够有效地对分布式异构步态数据源从采集、处理、分析进行组织和管理，利用信息融合、学习推理的方式完成对运动模态的判别、步态子相的分类和补偿力矩值的预测，推理出人体运动意图。
但是，现有技术与方法在以下几个方面还有不足：
1.缺少生物电信号sEMG-ECG-EEG的多模态信息融合，意图感知分类方法集中在如SVM、BPNN、KNN等单一的识别精度与深度尚浅的分类方法中，缺少多类神经网络协同分类的模式；
2.生物电信号采集过程较为简单，导致信号跟随性、实时性较差，单一硬件电路的设计服务于某一特定模态信息中，不具有良好的通用性。
发明内容
为了克服现有技术的不足，本发明提供了一种上肢康复机器人多模态信息融合感知系统，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块。该系统的整体流程为四个模块循环进行，通过对感知系统进行初始化操作，然后基于信号采集电路所得到的运动信号特征信息完成sEMG、EEG、ECG信号的数学模型建立、信号滤波处理以及信号特征表征，再通过建立M-C-E融合模型实现运动意图感知融合，从而进入卷积神经网络进行识别分类，最后通过预测模型对驱动单元发出操作指令，以完成患者的上肢康复训练。本发明系统成熟高效，可满足上肢康复机器人的人机交互和运动康复等功能，具有广泛的应用范围和良好的经济效益。
本发明解决其技术问题所采用的技术方案如下：
一种上肢康复机器人多模态信息融合感知系统，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块；
所述初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作及按照预设值设定系统参数；
所述信息采集识别模块包括M-C-E信号采集电路和信号滤波单元；
所述M-C-E信号采集电路包括sEMG采集单元、EEG采集单元、ECG采集单元、LDO线性稳压电路、嵌入式控制器、通信电平转换单元和上位机控制单元；
所述sEMG采集单元包括多个姿态传感器、多个压力传感器、光电编码器、多个sEMG采集电极和ADC转换电路；所述多个姿态传感器分别放置于患者手心与小臂位置，所述多个压力传感器分别放置于患者小臂周围，所述光电编码器放置于患者肘关节的侧边，所述多个sEMG电极按照等间隔同方向形式分别放置于患者的三角肌不同位置；姿态传感器、压力传感器、光电编码器和sEMG采集电极采集患者身体运动信号，将患者身体运动信号送入嵌入式控制器；
所述EEG采集单元包括脑电采集帽、显示器和采集标准检验软件；通过采集标准检验软件设定脑电采集帽的电极与头皮之间的阻抗允许区间，当脑电采集帽的电极与头皮之间的阻抗处于设定的阻抗允许区间内时，将脑电采集帽采集的数据送入嵌入式控制器，并在EEG采集单元的显示器上显示；
所述ECG采集单元包括心率IR红外检测装置和心率信号模拟转脉冲电路；所述心率IR红外检测装置采用光电容积传感器，使用时固定在患者指尖位置，采集患者心率模拟信号，将患者心率模拟信号送入心率信号模拟转脉冲信号电路；所述心率信号模拟转脉冲信号电路将接收到的患者心率模拟信号转变为脉冲信号送入所述上位机控制单元，上位机控制单元通过外部中断读取脉冲信号上升沿，并记录两次上升沿的间隔时间，计算出心率的大小；
所述LDO线性稳压电路为M-C-E信号采集电路供电；
所述嵌入式控制器采用单片机为主控芯片，接收sEMG采集单元和EEG采集单元输入的信号，再将sEMG采集单元和EEG采集单元输入的信号转换为TTL电平信号输出到通信电平转换单元，通信电平转换单元将接收到TTL电平信号转换为USB信号输入到上位机控制单元；
所述上位机控制单元接收M-C-E信号采集电路采集的信号，通过信号滤波单元对M-C-E信号采集电路采集的信号进行滤波，然后执行意图融合感知模块，对患者运动意图进行分类及预测，驱动运动反馈执行模块控制上肢康复机器人运行；
所述信号滤波单元采用限幅滤波与卡尔曼滤波相结合对M-C-E信号采集电路采集的信号进行组合滤波，包括以下步骤：
步骤1-1：设定误差阈值；若当前时刻sEMG采集单元的姿态传感器采样电压值与上一时刻采样电压值的差未超过误差阈值，则判定信号有效并输出信号；否则将下一时刻sEMG采集单元的姿态传感器采样电压值与当前采样电压值做差，若差值超过误差阈值判定为噪声信号，将当前时刻sEMG采集单元的姿态传感器采样电压值用上一时刻和下一时刻的采样电压平均值代替；若差值未超过误差阈值则输出信号；
步骤1-2：对步骤1-1输出的信号采用带修正因子的自适应卡尔曼滤波算法进行滤波；
步骤1-3：重复步骤1-1和步骤1-2对M-C-E信号采集电路采集的信号进行滤波，消除噪声误差信号；
所述意图融合感知模块，包括数据预处理、CNN局部特征提取、GRU-CNN时序特征提取与多模态信息融合、分类结果与康复决策输出四个步骤；具体如下：
步骤2-1：建立总体融合损失函数模型为：
Figure GDA0003781429030000041
式中：G(x,y,z)为相似度估计函数，即任意三个向量x,y,z的点乘；e,c,m分别为EEG、ECG、sEMG的输入向量，
Figure GDA0003781429030000042
为EEG与ECG、sEMG信息不匹配的嵌入向量，
Figure GDA0003781429030000043
为ECG与EEG、sEMG信息不匹配的嵌入向量，
Figure GDA0003781429030000044
为sEMG与EEG、ECG信息不匹配的嵌入向量，α是softmax函数间隔参数，β是损失阈值，v是神经网络中所有待学习参数已确定的条件，L(α,β)表示在所有待学习参数确定下的最小总体融合损失函数；
步骤2-2：数据预处理；
采用希尔伯特变换得到sEMG采集单元采集信号的瞬时频率，通过经验模态分解法将sEMG采集单元采集信号分解为多个固有模态函数的和，然后得到所有IMF分量；根据不同运动模式下的sEMG采集单元采集信号的能量谱，确定固有模态函数频域特征；再用IMF分量和固有模态函数频域特征构建sEMG信号特征矩阵；
将EEG采集单元采集信号和ECG采集单元采集信号进行多尺度小波系数分解，将每一级的小波系数的均方值、奇异值和频谱密度作为特征值，选取小波系数的低频段作为有效信号段；再将各特征值进行z-score标准化，构建EEG信号特征矩阵和ECG信号特征矩阵；
步骤2-3：将经过预处理的sEMG信号特征矩阵、EEG信号特征矩阵和ECG信号特征矩阵三种信号特征矩阵输入到CNN局部特征提取网络中，采用一维卷积核对三种信号特征矩阵数据进行处理，提取局部特征；
步骤2-4：采用GRU-CNN构建网络，共包含7层；分别为输入层、第一卷积层、池化层、GRU层、第二卷积层、全连接层和输出层；输入层的输入为步骤2-3输出的局部特征矩阵；输出层由多个RBF单元组成，每一个RBF单元的输出类别为一种运动模式，分为肩关节屈伸、大臂内外旋、肘关节屈伸、腕关节屈伸、双手抓握和无效运动六种运动模式；
步骤2-5：分类结果与康复决策输出；
建立一种患者康复能力参考指标，通过步骤2-4的分类结果进行康复训练行为强度规划，设定三种强度，分别为：轻灵活度、中灵活度、高灵活度；
设定各运动模式样本数量分布为：肩关节屈伸-SFE、大臂内外旋-AIER、肘关节屈伸-EFE、腕关节屈伸-WFE、双手抓握-BHG、无效运动-IA；
总样本数：s＝SFE+AIER+EFE+WFE+BHG+IA
Figure GDA0003781429030000051
式中：Lt、Mt、Ht分别为轻灵活度、中灵活度、高灵活度强度占比；
所述运动反馈执行模块根据意图融合感知模块的输出结果发出操作指令驱动上肢康复机器人协助患者运行，完成患者的上肢康复训练。
进一步地，初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作包括一种陀螺仪初始调零方法，具体如下：
在静止状态下，使用微处理器连续采样在室温下的陀螺仪零位值，将记录的零位值按照最小二乘法进行曲线拟合，实现离散值拟合连续零位曲线，拟合公式为：
Figure GDA0003781429030000052
式中：Q为中间变量，n为采样次数，m为拟合曲线多项式的次数，aj为待求解基函数拟合系数，xi为连续采样的温度值序列，yi为相对零位值采样序列，i＝1,2,…,n；j＝0,1,2,…,m；y(x)为陀螺仪相对零位值因变量，x为温度值自变量；由式(3)中前两个公式求解aj，式(3)中第3个公式为最终拟合连续零位曲线；
根据拟合的连续零位曲线和当前室内温度值，实现实时温度误差补偿。
本发明具有以下有益效果：
1、与现有技术相比，本发明基于sEMG采集电极、EEG脑电采集帽、心率IR红外检测装置所检测的多模态信息，有效解决了复杂环境中识别上肢运动意图信号特征繁多、评价指标单一的问题。
2、采用CNN-GRU-CNN架构进行神经网络训练，提高了算法对不同环境条件的适应性，相比与传统分类方式以及BP神经网络有不同幅度的提高。
3、建立了一种患者康复能力参考指标体系，通过每种运动模式占比分布规划相应的运动康复策略，为康复医师进一步了解病人康复情况提供良好的数据与理论支撑。
4、此系统成熟高效，可满足上肢康复机器人的人机交互和运动康复等功能，具有广泛的应用范围和良好的经济效益。
附图说明
图1为本发明的系统整体框图。
图2为本发明的M-C-E信号采集电路示意图。
图3为本发明的心率信号模拟转脉冲电路图。
图4为本发明的信号滤波单元算法流程图。
图5为本发明的意图融合感知模块结构示意图。
图6为本发明的上位机控制单元工作流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，一种上肢康复机器人多模态信息融合感知系统，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块；
所述初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作及按照预设值设定系统参数；
所述信息采集识别模块包括M-C-E信号采集电路和信号滤波单元；
所述M-C-E信号采集电路包括sEMG采集单元、EEG采集单元、ECG采集单元、LDO线性稳压电路、嵌入式控制器、通信电平转换单元和上位机控制单元；
所述sEMG采集单元包括多个姿态传感器、多个压力传感器、光电编码器、多个sEMG采集电极和ADC转换电路；所述多个姿态传感器分别放置于患者手心与小臂位置，所述多个压力传感器分别放置于患者小臂周围，所述光电编码器放置于患者肘关节的侧边，所述多个sEMG电极按照等间隔同方向形式分别放置于患者的三角肌不同位置；姿态传感器、压力传感器、光电编码器和sEMG采集电极采集患者身体运动信号，将患者身体运动信号送入嵌入式控制器；
所述EEG采集单元包括脑电采集帽、显示器和采集标准检验软件；通过采集标准检验软件设定脑电采集帽的电极与头皮之间的阻抗允许区间，当脑电采集帽的电极与头皮之间的阻抗处于设定的阻抗允许区间内时，将脑电采集帽采集的数据送入嵌入式控制器，并在EEG采集单元的显示器上显示；
所述ECG采集单元包括心率IR红外检测装置和心率信号模拟转脉冲电路；所述心率IR红外检测装置采用光电容积传感器，使用时固定在患者指尖位置，采集患者心率模拟信号，将患者心率模拟信号送入心率信号模拟转脉冲信号电路；所述心率信号模拟转脉冲信号电路将接收到的患者心率模拟信号转变为脉冲信号送入所述上位机控制单元，上位机控制单元通过外部中断读取脉冲信号上升沿，并记录两次上升沿的间隔时间，计算出心率的大小；
所述LDO线性稳压电路为M-C-E信号采集电路供电；
所述嵌入式控制器采用单片机为主控芯片，接收sEMG采集单元和EEG采集单元输入的信号，再将sEMG采集单元和EEG采集单元输入的信号转换为TTL电平信号输出到通信电平转换单元，通信电平转换单元将接收到TTL电平信号转换为USB信号输入到上位机控制单元；
所述上位机控制单元接收M-C-E信号采集电路采集的信号，通过信号滤波单元对M-C-E信号采集电路采集的信号进行滤波，然后执行意图融合感知模块，对患者运动意图进行分类及预测，驱动运动反馈执行模块控制上肢康复机器人运行；
所述信号滤波单元采用限幅滤波与卡尔曼滤波相结合对M-C-E信号采集电路采集的信号进行组合滤波，包括以下步骤：
步骤1-1：设定误差阈值；若当前时刻sEMG采集单元的姿态传感器采样电压值与上一时刻采样电压值的差未超过误差阈值，则判定信号有效并输出信号；否则将下一时刻sEMG采集单元的姿态传感器采样电压值与当前采样电压值做差，若差值超过误差阈值判定为噪声信号，将当前时刻sEMG采集单元的姿态传感器采样电压值用上一时刻时刻和下一时刻的采样电压平均值代替；若差值未超过误差阈值则输出信号；
步骤1-2：对步骤1-1输出的信号采用带修正因子的自适应卡尔曼滤波算法进行滤波；
步骤1-3：重复步骤1-1和步骤1-2对M-C-E信号采集电路采集的信号进行滤波，消除噪声误差信号；
所述意图融合感知模块，包括数据预处理、CNN局部特征提取、GRU-CNN时序特征提取与多模态信息融合、分类结果与康复决策输出四个步骤；具体如下：
步骤2-1：建立总体融合损失函数模型为：
Figure GDA0003781429030000081
式中：G(x,y,z)为相似度估计函数，即任意三个向量x,y,z的点乘；e,c,m分别为EEG、ECG、sEMG的输入向量，
Figure GDA0003781429030000082
为EEG与ECG、sEMG信息不匹配的嵌入向量，
Figure GDA0003781429030000083
为ECG与EEG、sEMG信息不匹配的嵌入向量，
Figure GDA0003781429030000084
为sEMG与EEG、ECG信息不匹配的嵌入向量，α是softmax函数间隔参数，β是损失阈值，v是神经网络中所有待学习参数已确定的条件，L(α,β)表示在所有待学习参数确定下的最小总体融合损失函数；
步骤2-2：数据预处理；
采用希尔伯特变换得到sEMG采集单元采集信号的瞬时频率，通过经验模态分解法将sEMG采集单元采集信号分解为多个固有模态函数的和，然后得到所有IMF分量；根据不同运动模式下的sEMG采集单元采集信号的能量谱，确定固有模态函数频域特征；再用IMF分量和固有模态函数频域特征构建sEMG信号特征矩阵；
将EEG采集单元采集信号和ECG采集单元采集信号进行多尺度小波系数分解，将每一级的小波系数的均方值、奇异值和频谱密度作为特征值，选取小波系数的低频段作为有效信号段；再将各特征值进行z-score标准化，构建EEG信号特征矩阵和ECG信号特征矩阵；
步骤2-3：将经过预处理的sEMG信号特征矩阵、EEG信号特征矩阵和ECG信号特征矩阵三种信号特征矩阵输入到CNN局部特征提取网络中，采用一维卷积核对三种信号特征矩阵数据进行处理，提取局部特征；
步骤2-4：采用GRU-CNN构建网络，共包含7层；分别为输入层、第一卷积层、池化层、GRU层、第二卷积层、全连接层和输出层；输入层的输入为步骤2-3输出的局部特征矩阵；输出层由多个RBF单元组成，每一个RBF单元的输出类别为一种运动模式，分为肩关节屈伸、大臂内外旋、肘关节屈伸、腕关节屈伸、双手抓握和无效运动六种运动模式；
步骤2-5：分类结果与康复决策输出；
建立一种患者康复能力参考指标，通过步骤2-4的分类结果进行康复训练行为强度规划，设定三种强度，分别为：轻灵活度、中灵活度、高灵活度；
设定各运动模式样本数量分布为：肩关节屈伸-SFE、大臂内外旋-AIER、肘关节屈伸-EFE、腕关节屈伸-WFE、双手抓握-BHG、无效运动-IA；
总样本数：s＝SFE+AIER+EFE+WFE+BHG+IA
Figure GDA0003781429030000091
式中：Lt、Mt、Ht分别为轻灵活度、中灵活度、高灵活度强度占比；
所述运动反馈执行模块根据意图融合感知模块的输出结果发出操作指令驱动上肢康复机器人协助患者运行，完成患者的上肢康复训练。
进一步地，初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作包括一种陀螺仪初始调零方法，具体如下：
在静止状态下，使用微处理器连续采样在室温下的陀螺仪零位值，将记录的零位值按照最小二乘法进行曲线拟合，实现离散值拟合连续零位曲线，拟合公式为：
Figure GDA0003781429030000092
式中：Q为中间变量，n为采样次数，m为拟合曲线多项式的次数，aj为待求解基函数拟合系数，xi为连续采样的温度值序列，yi为相对零位值采样序列，i＝1,2,…,n；j＝0,1,2,…,m；y(x)为陀螺仪相对零位值因变量，x为温度值自变量；由式(3)中前两个公式求解aj，式(3)中第3个公式为最终拟合连续零位曲线；
根据拟合的连续零位曲线和当前室内温度值，实现实时温度误差补偿。
具体实施例：
在初始状态检测模块中，使用的IMU陀螺仪具有较高的环境敏感误差，其中温度敏感漂移又是重要组成部分，为实现温度误差补偿，提出一种简便陀螺仪调零温度补偿方法，如式(3)所示。拟合后的曲线参考室内温度计中具体温度，得到参考角速度零点实现实时温度误差补偿；在此方法下陀螺仪所测角速度与真实角速度偏差减小，自动跟踪实时温度，保持IMU陀螺仪为较高的灵敏度。
M-C-E信号采集电路整体电路设计框图参见图2所示。
所述sEMG采集单元包括多个姿态传感器、多个压力传感器、光电编码器、多个sEMG采集电极和ADC转换电路；所述多个姿态传感器分别放置于患者手心与小臂位置，所述多个压力传感器分别放置于患者小臂周围，所述光电编码器放置于患者肘关节的侧边，所述多个sEMG电极按照等间隔同方向形式分别放置于患者的三角肌不同位置，放置前对三角肌处的皮肤表面去除死皮，以降低电极与皮肤间的阻抗从而使得采集的肌电信号完整。姿态传感器、压力传感器、光电编码器和sEMG采集电极采集患者身体运动信号，将患者身体运动信号通过ADC转换电路转换为数字量送入嵌入式控制器；
EEG采集单元包括脑电采集帽、显示器和采集标准检验软件系统，为使采集到的脑电信号不失真，本发明通过大量实验改进EEG采集标准，要求脑电采集帽的电极与头皮之间的阻抗处于1～3.6kΩ之间，当阻抗过大时EEG信号会失真，阻抗过小说明电极装置采集错误数据，并使用软件设定阻抗允许区间，达到检测标准后电极采集的数据才能进行下一步的数据处理。
ECG采集单元包括心率IR红外检测装置和心率信号模拟转脉冲电路。心率信号模拟转脉冲信号电路采用光电容积传感器，将传感器其固定在指尖位置，在光电容积脉搏描记法下读取传感器输出波形。心率信号提取之后，通过电压比较电路调整电位器并设定电压的比较值，使每次模拟信号显示的心跳转变为一个脉冲信号，具体心率信号模拟转脉冲电路设计参见图3所示。上位机通过外部中断读取脉冲上升沿，外设定时器记录两次上升沿的间隔时间，计算出心率的大小，将模拟信号转为脉冲信号之后输入嵌入式控制器，以节省资源，大大简化信号处理复杂程度。
LDO线性稳压电路为整个采集电路进行供电，采用线性电源晶体管工作在放大状态，其纹波和噪声比较小，电磁干扰也比较小，可以提高信号采集的信噪比。sEMG信号采集过程中，由于信号十分微弱，对电磁干扰、电源噪声和纹波比较敏感，采用线性电源对模块供电，设定线性稳压芯片输出为5V电压。
嵌入式控制器以STM32单片机为主控芯片，搭建单片机外围电路与通信电平转换电路等，基于单片机最小系统，进行与sEMG、EEG、ECG信号采集单元的硬件连接，最终完成单片机硬件系统的搭建以及与上位机的通信功能。
信号采集过程完毕，进入信号预处理阶段。针对信号可能存在的两种噪声：电磁干扰引起的突变性偶然干扰和杂乱的非平稳小幅度干扰，采用信号滤波单元进行滤波。如图4所示，本实施例采用一种组合滤波算法，由限幅滤波和卡尔曼滤波相结合生成的组合滤波处理方式：先对信号使用步骤1-1方法进行限幅滤波；再对限幅信号做滤波平滑处理，采用带修正因子的自适应卡尔曼滤波算法，进行滤波器初始化，更新状态预测协方差和测量噪声协方差，计算残差和修正因子，然后做下一状态最优估计：更新滤波增益矩阵、运动状态估计和状态估计方差。信号滤波能够消除偶然粗大型误差和小幅度噪声误差信号，并且信号在静态条件合突变的动态条件下能够及时跟原始信号变化。
为发挥多模态信息EEG、ECG、sEMG的协同作用以及保持在一定约束条件线之下的单模态信息的特有属性即特异性，采用协同框架中的基于交叉模态相关性方法，利用中间函数建立总体损失函数模型，减小相关特征值向量的欧氏距离，使得多模态信息既可以单独运行，又可以融合相关特征，总体函数损失如式(1)。
在信息采集识别预处理之后，进入核心部分多模态信息融合意图感知模块，意图融合感知模型由GRU与卷积神经网络分类单元构成，所述M-C-E多模态信息融合神经网络模型由数据预处理→CNN局部特征提取网络→GRU时序特征提取网络→CNN多模态信息融合网络→分类结果与康复决策输出几个部分所构成，整体框架如图5所示，包括如下步骤：
1、信号数据预处理，以100ms为一个采样数据的局部周期，将数据库收集80个周期内16通道三个模态(sEMG、ECG、EEG)的原始信号各1000例。综合考虑频率、时间的sEMG能量特征，采用希尔伯特变换得到sEMG的瞬时频率，通过经验模态分解法将sEMG信号分解为一系列固有模态函数的和，然后得到每个IMF分量，根据不同运动模式下的sEMG信号能量谱大小不同，确定本征模态函数分量隐含的运动信号的频域特征。再用IMF分量和固有模态函数频域特征构建sEMG信号特征矩阵。对EEG和ECG特征值提取时，将采集到的两种信号进行多尺度的小波系数分解，每一级的小波系数的均方值、奇异值、频谱密度作为特征值，选取小波系数的低频段作为有效信号段。由于采样频率及各参数的量纲不同，将融合矩阵各特征值进行z-score标准化，构建EEG信号特征矩阵和ECG信号特征矩阵，使用这种方法具有很好的降维效果。
2、采用交叉验证法，把所采集的样本数据随机分为10组，每一组为100例数据。每一个模态数据集按一定比例选10组作为训练集，1组作为测试集，再平均验证10次的结果作为识别率。将训练集和测试集均进行归一化处理，然后送入神经网络运行。经过预处理的三种信号特征矩阵输入到CNN局部特征提取网络模型中，对于在80个周期内采集的16通道时间序列数据，采用一维卷积核对时间序列数据进行操作，提取局部特征；由GRU-CNN构建的网络一共包含7层；分别为输入层、第一卷积层、池化层、GRU层、第二卷积层、全连接层、输出层。卷积神经的输入矩阵采用融合特征矩阵M×N,M＝16为通道数，N＝5为特征量。第一卷积层使用一维卷积运算，有助于提取特征向量相邻元素值之间的重要局部特征，也使得卷积运算后的特征中不会有混杂的两种信息，只包含特征量本身。对于一位时序数据集，前一时刻的信号波动极大影响着后一时刻的信号走势，利用GRU可以很好地解决梯度消失和梯度爆炸的问题。第二卷积层实现多模态信息的特征融合，具体矩阵维度如图5所示，全连接层设置240个神经元，全连接到卷积层。输出层是由一些120个RBF单元组成，每一个RBF单元类别的输出代表一种运动模式，分为肩关节屈伸(SFE)、大臂内外旋(AIER)、肘关节屈伸(EFE)、腕关节屈伸(WFE)、双手抓握(BHG)和无效运动(IA)六种运动模式。本实施例融合神经网络的分类准确度，相比与传统分类方式以及BP神经网络有不同幅度的提高。
3、建立患者康复能力参考指标，通过神经网络判断出的分类结果进行康复训练行为强度规划，各运动样本数量分布为:肩关节屈伸(SFE)、大臂内外旋(AIER)、肘关节屈伸(EFE)、腕关节屈伸(WFE)、双手抓握(BHG)、无效运动(IA)，以上符号所指的均是各子样本数在总样本中的占比。通过占比分布规划相应的运动康复策略，为康复医师进一步了解病人康复情况提供良好的数据与理论支撑。
上位机的控制在整个系统中也处于重要的位置，参照图6所示，首先A/D转换接口将数据通过PC串口初始化，建立线程以等待程序执行。对于传输数据通道的数量进行判断，先判断数据是否读取成功，再判断数据读取值是否有效；若为错误数据则通道关闭，向用户发出警示以停止程序，若为有效数据则向主线程发送有效数据。
在单信号线程中，将执行以下判别步骤:首先判断是否为有效数据发送；其次对采集数据进行信号类型判别；最后，若数据为有效数据则将数据存入对应信号处理程序。
在多信号线程中，首先判断数据有效性，进而将多模态信号的特征值融合，接下来执行运动意图融合感知模块的工作，最终分类预测模型，驱动电机控制外骨骼系统运行，并将反馈数据发送至本地数据库储存。

Claims (2)

1.一种上肢康复机器人多模态信息融合感知系统，其特征在于，包括初始状态检验模块、信息采集识别模块、意图融合感知模块和运动反馈执行模块；
所述初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作及按照预设值设定系统参数；
所述信息采集识别模块包括M-C-E信号采集电路和信号滤波单元；
所述M-C-E信号采集电路包括sEMG采集单元、EEG采集单元、ECG采集单元、LDO线性稳压电路、嵌入式控制器、通信电平转换单元和上位机控制单元；
所述sEMG采集单元包括多个姿态传感器、多个压力传感器、光电编码器、多个sEMG采集电极和ADC转换电路；所述多个姿态传感器分别放置于患者手心与小臂位置，所述多个压力传感器分别放置于患者小臂周围，所述光电编码器放置于患者肘关节的侧边，所述多个sEMG采集电极按照等间隔同方向形式分别放置于患者的三角肌不同位置；姿态传感器、压力传感器、光电编码器和sEMG采集电极采集患者身体运动信号，将患者身体运动信号送入嵌入式控制器；
所述EEG采集单元包括脑电采集帽、显示器和采集标准检验软件；通过采集标准检验软件设定脑电采集帽的电极与头皮之间的阻抗允许区间，当脑电采集帽的电极与头皮之间的阻抗处于设定的阻抗允许区间内时，将脑电采集帽采集的数据送入嵌入式控制器，并在EEG采集单元的显示器上显示；
所述ECG采集单元包括心率IR红外检测装置和心率信号模拟转脉冲电路；所述心率IR红外检测装置采用光电容积传感器，使用时固定在患者指尖位置，采集患者心率模拟信号，将患者心率模拟信号送入心率信号模拟转脉冲信号电路；所述心率信号模拟转脉冲信号电路将接收到的患者心率模拟信号转变为脉冲信号送入所述上位机控制单元，上位机控制单元通过外部中断读取脉冲信号上升沿，并记录两次上升沿的间隔时间，计算出心率的大小；
所述LDO线性稳压电路为M-C-E信号采集电路供电；
所述嵌入式控制器采用单片机为主控芯片，接收sEMG采集单元和EEG采集单元输入的信号，再将sEMG采集单元和EEG采集单元输入的信号转换为TTL电平信号输出到通信电平转换单元，通信电平转换单元将接收到TTL电平信号转换为USB信号输入到上位机控制单元；
所述上位机控制单元接收M-C-E信号采集电路采集的信号，通过信号滤波单元对M-C-E信号采集电路采集的信号进行滤波，然后执行意图融合感知模块，对患者运动意图进行分类及预测，驱动运动反馈执行模块控制上肢康复机器人运行；
所述信号滤波单元采用限幅滤波与卡尔曼滤波相结合对M-C-E信号采集电路采集的信号进行组合滤波，包括以下步骤：
步骤1-1：设定误差阈值；若当前时刻sEMG采集单元的姿态传感器采样电压值与上一时刻采样电压值的差未超过误差阈值，则判定信号有效并输出信号；否则将下一时刻sEMG采集单元的姿态传感器采样电压值与当前采样电压值做差，若差值超过误差阈值判定为噪声信号，将当前时刻sEMG采集单元的姿态传感器采样电压值用上一时刻和下一时刻的采样电压平均值代替；若差值未超过误差阈值则输出信号；
步骤1-2：对步骤1-1输出的信号采用带修正因子的自适应卡尔曼滤波算法进行滤波；
步骤1-3：重复步骤1-1和步骤1-2对M-C-E信号采集电路采集的信号进行滤波，消除噪声误差信号；
所述意图融合感知模块，包括数据预处理、CNN局部特征提取、GRU-CNN时序特征提取与多模态信息融合、分类结果与康复决策输出四个步骤；具体如下：
步骤2-1：建立总体融合损失函数模型为：
Figure FDA0003781429020000021
式中：G(x,y,z)为相似度估计函数，即任意三个向量x,y,z的点乘；e,c,m分别为EEG、ECG、sEMG的输入向量，
Figure FDA0003781429020000022
为EEG与ECG、sEMG信息不匹配的嵌入向量，
Figure FDA0003781429020000023
为ECG与EEG、sEMG信息不匹配的嵌入向量，
Figure FDA0003781429020000024
为sEMG与EEG、ECG信息不匹配的嵌入向量，α是softmax函数间隔参数，β是损失阈值，v是神经网络中所有待学习参数已确定的条件，L(α,β)表示在所有待学习参数确定下的最小总体融合损失函数；
步骤2-2：数据预处理；
采用希尔伯特变换得到sEMG采集单元采集信号的瞬时频率，通过经验模态分解法将sEMG采集单元采集信号分解为多个固有模态函数的和，然后得到所有IMF分量；根据不同运动模式下的sEMG采集单元采集信号的能量谱，确定固有模态函数频域特征；再用IMF分量和固有模态函数频域特征构建sEMG信号特征矩阵；
将EEG采集单元采集信号和ECG采集单元采集信号进行多尺度小波系数分解，将每一级的小波系数的均方值、奇异值和频谱密度作为特征值，选取小波系数的低频段作为有效信号段；再将各特征值进行z-score标准化，构建EEG信号特征矩阵和ECG信号特征矩阵；
步骤2-3：将经过预处理的sEMG信号特征矩阵、EEG信号特征矩阵和ECG信号特征矩阵三种信号特征矩阵输入到CNN局部特征提取网络中，采用一维卷积核对三种信号特征矩阵数据进行处理，提取局部特征；
步骤2-4：采用GRU-CNN构建网络，共包含7层；分别为输入层、第一卷积层、池化层、GRU层、第二卷积层、全连接层和输出层；输入层的输入为步骤2-3输出的局部特征矩阵；输出层由多个RBF单元组成，每一个RBF单元的输出类别为一种运动模式，分为肩关节屈伸、大臂内外旋、肘关节屈伸、腕关节屈伸、双手抓握和无效运动六种运动模式；
步骤2-5：分类结果与康复决策输出；
建立一种患者康复能力参考指标，通过步骤2-4的分类结果进行康复训练行为强度规划，设定三种强度，分别为：轻灵活度、中灵活度、高灵活度；
设定各运动模式样本数量分布为：肩关节屈伸-SFE、大臂内外旋-AIER、肘关节屈伸-EFE、腕关节屈伸-WFE、双手抓握-BHG、无效运动-IA；
总样本数：s＝SFE+AIER+EFE+WFE+BHG+IA
Figure FDA0003781429020000031
式中：Lt、Mt、Ht分别为轻灵活度、中灵活度、高灵活度强度占比；
所述运动反馈执行模块根据意图融合感知模块的输出结果发出操作指令驱动上肢康复机器人协助患者运行，完成患者的上肢康复训练。
2.根据权利要求1所述的一种上肢康复机器人多模态信息融合感知系统，其特征在于，初始状态检验模块完成上肢康复机器人中信号采集器件的初始化工作包括一种陀螺仪初始调零方法，具体如下：
在静止状态下，使用微处理器连续采样在室温下的陀螺仪零位值，将记录的零位值按照最小二乘法进行曲线拟合，实现离散值拟合连续零位曲线，拟合公式为：
Figure FDA0003781429020000041
式中：Q为中间变量，n为采样次数，m为拟合曲线多项式的次数，aj为待求解基函数拟合系数，xi为连续采样的温度值序列，yi为相对零位值采样序列，i＝1,2,…,n；j＝0,1,2,…,m；y(x)为陀螺仪相对零位值因变量，x为温度值自变量；由式(3)中前两个公式求解aj，式(3)中第3个公式为最终拟合连续零位曲线；
根据拟合的连续零位曲线和当前室内温度值，实现实时温度误差补偿。
CN202010926488.6A 2020-09-07 2020-09-07 一种上肢康复机器人多模态信息融合感知系统 Active CN112022619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010926488.6A CN112022619B (zh) 2020-09-07 2020-09-07 一种上肢康复机器人多模态信息融合感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010926488.6A CN112022619B (zh) 2020-09-07 2020-09-07 一种上肢康复机器人多模态信息融合感知系统

Publications (2)

Publication Number Publication Date
CN112022619A CN112022619A (zh) 2020-12-04
CN112022619B true CN112022619B (zh) 2022-11-25

Family

ID=73585461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010926488.6A Active CN112022619B (zh) 2020-09-07 2020-09-07 一种上肢康复机器人多模态信息融合感知系统

Country Status (1)

Country Link
CN (1) CN112022619B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112603763A (zh) * 2020-12-30 2021-04-06 西北工业大学 一种多自由度康复上肢外骨骼训练控制系统
CN113081703A (zh) * 2021-03-10 2021-07-09 上海理工大学 一种助行器使用者方向意图判别方法及装置
CN113101130A (zh) * 2021-03-18 2021-07-13 山东建筑大学 基于上肢康复的多自由度机器人
CN113177482A (zh) * 2021-04-30 2021-07-27 中国科学技术大学 一种基于最小类别混淆的跨个体脑电信号分类方法
CN113545750A (zh) * 2021-07-19 2021-10-26 江苏科技大学 一种上肢康复及评估的可穿戴装置
CN114366559A (zh) * 2021-12-31 2022-04-19 华南理工大学 一种用于下肢康复机器人的多模态感知系统
CN116458852B (zh) * 2023-06-16 2023-09-01 山东协和学院 基于云平台及下肢康复机器人的康复训练系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107397649B (zh) * 2017-08-10 2020-08-14 燕山大学 一种基于径向基神经网络上肢外骨骼运动意图识别方法
CN108392795B (zh) * 2018-02-05 2019-11-01 哈尔滨工程大学 一种基于多信息融合的康复机器人多模态控制方法
CN110236876A (zh) * 2019-05-31 2019-09-17 西北工业大学 一种上肢外骨骼机械臂及康复训练的控制方法

Also Published As

Publication number Publication date
CN112022619A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112022619B (zh) 一种上肢康复机器人多模态信息融合感知系统
Bao et al. A CNN-LSTM hybrid model for wrist kinematics estimation using surface electromyography
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
RU2635632C1 (ru) Способ и система управления интеллектуальной бионической конечностью
CN111317600B (zh) 一种假肢控制方法、装置、系统、设备和存储介质
Al-Faiz et al. A k-nearest neighbor based algorithm for human arm movements recognition using EMG signals
CN110826625B (zh) 一种基于表面肌电信号的手指手势分类方法
JP5252432B2 (ja) 指関節角度推定装置
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
Xue et al. SEMG-based human in-hand motion recognition using nonlinear time series analysis and random forest
CN113871028A (zh) 一种基于肌电智能穿戴的交互式康复系统
Yu et al. Wrist torque estimation via electromyographic motor unit decomposition and image reconstruction
Xiong et al. An user-independent gesture recognition method based on sEMG decomposition
Zhao et al. Decoding finger movement patterns from microscopic neural drive information based on deep learning
Tosin et al. SEMG-based upper limb movement classifier: Current scenario and upcoming challenges
KR100994408B1 (ko) 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
Wang et al. Lower limb motion recognition based on surface electromyography signals and its experimental verification on a novel multi-posture lower limb rehabilitation robots☆
Li et al. Joint torque closed-loop estimation using NARX neural network based on sEMG signals
Choudhary et al. A machine learning approach to aid paralysis patients using EMG signals
CN116831874A (zh) 一种基于肌电信号的下肢康复器控制方法
Zanghieri sEMG-based Hand gesture recognition with deep learning
Kakoty et al. Electromyographic grasp recognition for a five fingered robotic hand
Guo et al. A novel fuzzy neural network-based rehabilitation stage classifying method for the upper limb rehabilitation robotic system
Sikder et al. Heterogeneous hand guise classification based on surface electromyographic signals using multichannel convolutional neural network
Lin et al. DSDAN: Dual-Step Domain Adaptation Network Based on Bidirectional Knowledge Distillation for Cross-User Myoelectric Pattern Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant