CN112951360B - 一种双侧手指协同运动控制方法与系统 - Google Patents

一种双侧手指协同运动控制方法与系统 Download PDF

Info

Publication number
CN112951360B
CN112951360B CN202110332885.5A CN202110332885A CN112951360B CN 112951360 B CN112951360 B CN 112951360B CN 202110332885 A CN202110332885 A CN 202110332885A CN 112951360 B CN112951360 B CN 112951360B
Authority
CN
China
Prior art keywords
information
finger
myoelectricity
movement
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110332885.5A
Other languages
English (en)
Other versions
CN112951360A (zh
Inventor
但果
肖伟
李维犇
陈凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110332885.5A priority Critical patent/CN112951360B/zh
Publication of CN112951360A publication Critical patent/CN112951360A/zh
Application granted granted Critical
Publication of CN112951360B publication Critical patent/CN112951360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种双侧手指协同运动控制方法与系统，方法包括：采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；根据健侧肌电信息和健侧手指姿态信息，得到健侧运动预测信息；根据健侧手指姿态信息、患侧手指姿态信息和健侧运动预测信息，控制患侧手指运动。本发明通过健侧的表面肌电信息和弯曲角度信息作为驱动信号，控制患侧手部运动；引入视觉反馈信号，辅助患者进行作业训练，提高主动康复疗效，并采用运动肌电信息、健侧手指运动姿态信息、患侧手指姿态信息以及视觉反馈信号作为反馈回路，通过分析肌电信息与手指姿态信息，建立运动预测模型，用于预测下一时刻的运动状态从而控制患侧的运动角度，解决镜像运动协同性的延时问题。

Description

一种双侧手指协同运动控制方法与系统
技术领域
本发明涉及手功能康复与医疗器械技术领域，尤其涉及的是一种双侧手指协同运动控制方法与系统。
背景技术
偏瘫，又称为半身不遂，是指同一侧上下肢、面肌、舌肌下部的运动障碍。手功能障碍是偏瘫患者的主要问题之一。由于手的动作精细，功能恢复难度大，对手功能障碍的预防和治疗正确与否直接影响上肢功能与日常生活活动能力的恢复。
在临床康复中，通常使用运动疗法和作业疗法帮助患者进行康复训练。运动训练即康复师辅助患者进行重复性的运动增加关节活动范围和活动能力，抑制异常姿势；作业训练即设置一些个体化的作业活动，重点训练肢体功能以及日常生活能力。镜像运动疗法最早运用于受功能康复，是一种有效的治疗方法。基于镜像运动疗法原理，人们针对偏瘫患者的训练开发了对侧肢体协同运动系统，然而双侧同步运动的协同性是该系统的一大难题，目前没有有效的控制方法使之协同运动。
且当前主流的手功能康复器械都是刚体材料制成，该种器械重量大、结构复杂不便于穿戴；刚体结构易对患者造成二次伤害；刚体结构在患者进行康复训练过程中对手功能的束缚过大，不利于患者进行作业训练。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种双侧手指协同运动控制方法，旨在解决现有技术中没有有效的控制方法使偏瘫患者的双侧手指能协同运动，此外，手功能康复器械都是刚体材料制成，该种器械重量大、结构复杂不便于穿戴；刚体结构易对患者造成二次伤害；刚体结构在患者进行康复训练过程中对手功能的束缚过大，不利于患者进行作业训练的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种双侧手指协同运动控制方法，其中，所述方法包括：
采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；
根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息；
根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动。
在一种实现方式中，其中，所述根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息包括：
分别对所述健侧肌电信息和所述健侧手指姿态信息进行预处理，得到肌电信息片段和手指姿态信息片段；其中，所述预处理包括平滑滤波、分割和归一化；
根据所述肌电信息片段和所述手指姿态信息片段，得到健侧运动预测信息。
在一种实现方式中，其中，所述根据所述肌电信息片段和所述姿态信息片段，得到健侧运动预测信息包括：
根据所述肌电信息片段，确定手指运动模式；
根据所述姿态信息片段，得到健侧和患侧的姿态差异值；其中，所述姿态差异值用于表征健侧运动轨迹预测值与患侧运动轨迹反馈值的差；
根据所述姿态差异值，确定手指弯曲角度；
根据所述手指运动模式和所述手指弯曲角度，确定健侧运动预测信息。
在一种实现方式中，其中，所述根据所述肌电信息片段，确定手指运动模式包括：
将所述肌电信息片段输入到预设的第一预测模型，得到运动意图信息；
对所述运动意图信息进行识别，确定手指运动模式。
在一种实现方式中，其中，所述根据所述姿态信息片段，得到健侧和患侧的姿态差异值包括：
获取患侧运动轨迹反馈值；
将所述姿态信息片段输入到预设的第二预测模型，得到健侧运动轨迹预测值；
根据所述患侧运动轨迹反馈值和所述健侧运动轨迹预测值，得到健侧和患侧的姿态差异值。
在一种实现方式中，其中，所述根据所述姿态差异值，确定手指弯曲角度包括：
获取患侧手指弯曲度标定值；其中，患侧手指弯曲度标定值为机器手弯曲角度增量；
根据所述姿态差异值和所述患侧手指弯曲度标定值，确定手指弯曲角度。
第二方面，本发明实施例还提供一种双侧手指协同运动控制系统，其中，所述系统包括：视觉刺激平台，用于将健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息转换为视觉刺激界面，以使患者产生运动想象；
健侧表面肌电采集模块，用于采集健侧肌电信息；
健侧手指姿态采集模块，用于采集健侧手指姿态信息；
患侧手指姿态采集模块，用于采集患侧手指姿态信息；
信息预测模块，用于将所述健侧肌电信息和所述健侧手指姿态信息转换为健侧运动预测信息；
机器手，用于根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动。
在一种实现方式中，其中，所述机器手是采用柔性气动材料的穿戴式构件。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的双侧手指协同运动控制方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项双侧手指协同运动控制方法。
本发明的有益效果：本发明实施例首先采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；然后根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息；最后根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动；可见，本发明实施例通过健侧的表面肌电信息和弯曲角度信息作为驱动信号，控制患侧手部运动；引入视觉反馈信号，辅助患者进行作业训练，提高主动康复疗效，同时采用运动肌电信息、健侧手指运动姿态信息、患侧手指姿态信息以及视觉反馈信号作为反馈回路，通过分析肌电信息与手指姿态信息，建立运动预测模型，用于预测下一时刻的运动状态从而控制患侧的运动角度，解决镜像运动协同性的延时问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的双侧手指协同运动控制方法流程示意图。
图2为本发明实施例提供的双侧手指协同运动控制系统的原理框图。
图3为本发明实施例提供的视觉反馈结合运动控制训练方案示意图。
图4为本发明实施例提供的双侧手指协同控制流程图。
图5为本发明实施例提供的双侧手指协同运动控制系统系统硬件结构图。
图6为本发明实施例提供的肌电采集硬件结构图。
图7为本发明实施例提供的健侧和患侧姿态信息采集硬件结构图。
图8为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了一种双侧手指协同运动控制方法、系统、智能终端、存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，没有有效的控制方法使偏瘫患者的双侧手指能协同运动，此外，手功能康复器械都是刚体材料制成，该种器械重量大、结构复杂不便于穿戴；刚体结构易对患者造成二次伤害；刚体结构在患者进行康复训练过程中对手功能的束缚过大，不利于患者进行作业训练的问题。
为了解决现有技术的问题，本实施例提供了一种双侧手指协同运动控制方法，通过健侧的表面肌电信息和弯曲角度信息作为驱动信号，控制患侧手部运动；引入视觉反馈信号，辅助患者进行作业训练，提高主动康复疗效，同时采用运动肌电信息、健侧手指运动姿态信息、患侧手指姿态信息以及视觉反馈信号作为反馈回路，通过分析肌电信息与手指姿态信息，建立运动预测模型，用于预测下一时刻的运动状态从而控制患侧的运动角度，解决镜像运动协同性的延时问题。具体实施时，先采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；然后根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息；最后根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动。
举例说明，现有手功能康复器械及其控制策略。例如：一种被动式可穿戴康复训练机械手，该专利通过两只机械手被固定在箱体两侧，机械手中间安置镜子，一侧的运动由另一侧机械手通过多连杆和齿轮传递，以此完成康复训练；但是该专利中的康复器材，采用直接驱动的方式，未对左右手动作误差校正。一种双手跟踪式手指康复机器人系统，该专利采用三指结构，分为正常手与恢复手两部分，通过采集正常手的三维角度信息和EMG信息，通过对正常手的运动结果进行分析来控制恢复手的运动，以建立正常手与恢复手的对称联系，加快功能的恢复；但是该专利是以运动结果进行分析比较，存在一定误差需要矫正，并且该专利中所提到的康复机器人系统为三指结构，无法对整个手部进行康复训练，对未用到的手指来说易造成习得性废用，不适用于进行手指康复训练。一种基于Leap Motion的对称康复误差修正方法，该专利采集双手的动作数据，运用深度信念神经网络DBN对双手动作误差进行修正以解决双手对称动作的延时问题，但是该专利没有引入视觉反馈信息，无法起到主动康复疗效。此外，多数穿戴式手功能康复器械为刚体结构，主动康复训练时易对患者进行二次伤害，并限制患者手部运动，降低主动康复效果。
示例性方法
本实施例提供一种双侧手指协同运动控制方法，该方法可以应用于手功能康复医疗器械的智能终端。具体如图1所示，所述方法包括：
步骤S100、采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；
本发明提出的一种双侧手指协同运动控制方法，旨在帮助患者可自行、自主的进行手部运动训练和作业训练，并通过多信息反馈的控制方法提高系统的协同运动性能。如图2所示，患者首先经由视觉刺激平台1接收到手功能协同运动的视觉刺激，引发患者运动想象2。脑内产生健侧运动意图S1与患侧运动意图S2。健侧运动意图引导健侧手部运动，并通过健侧表面肌电采集模块3与健侧姿态采集模块4分别采集健侧肌电信号S3与健侧手指姿态信息S4，同时，患侧姿态采集模块5会采集患侧姿态信号S5。采集的健侧肌电信息一方面可以输入到预测模块，另一方面可以输入到视觉刺激平台，此外，还可以用来控制机器手，采集的健侧手指姿态信息可以输入到预测模块。采集的患侧手指姿态信息可以输入到机器手，作为反馈信号，提供更精确控制。
得到健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息后，就可以执行如图1所示的如下步骤：S200、根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息；
具体地，机器手的运动趋势是综合健侧的健侧运动预测信息和患侧的姿态信息来控制的，为了得到健侧的健侧运动预测信息，可以将所述健侧肌电信息和所述健侧手指姿态信息输入到神经网络模型，也可以通过一些算法将所述健侧肌电信息和所述健侧手指姿态信息进行转换，从而得到健侧运动预测信息。为了得到健侧运动预测信息，所述根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息包括如下步骤：
S201、分别对所述健侧肌电信息和所述健侧手指姿态信息进行预处理，得到肌电信息片段和手指姿态信息片段；其中，所述预处理包括平滑滤波、分割和归一化；
S202、根据所述肌电信息片段和所述手指姿态信息片段，得到健侧运动预测信息。
具体地，先将所述健侧肌电信息进行预处理，得到肌电信息片段；其中，所述预处理包括平滑滤波、分割和归一化；其中，平滑滤波是通过求平均值的办法来消除随机误差。分割指的是从肌电信息中提取表示运动意图和运动状态的关键帧。归一化是指将肌电信息的数据转换到0到1的范围内。根据相同的预处理方法，将所述健侧手指姿态信息进行预处理，得到手指姿态信息片段；最后根据所述肌电信息片段和所述手指姿态信息片段，得到健侧运动预测信息。相应的，为了得到健侧运动预测信息，所述根据所述肌电信息片段和所述姿态信息片段，得到健侧运动预测信息包括如下步骤：根据所述肌电信息片段，确定手指运动模式；根据所述姿态信息片段，得到健侧和患侧的姿态差异值；其中，所述姿态差异值用于表征健侧运动轨迹预测值与患侧运动轨迹反馈值的差；根据所述姿态差异值，确定手指弯曲角度；根据所述手指运动模式和所述手指弯曲角度，确定健侧运动预测信息。
为了得到手指运动模式，所述根据所述肌电信息片段，确定手指运动模式包括如下步骤：将所述肌电信息片段输入到预设的第一预测模型，得到运动意图信息；对所述运动意图信息进行识别，确定手指运动模式。
具体地，第一预测模型采用长短期记忆神经网络训练得来，用作预测患者手指的运动意图信息，然后对所述运动意图信息进行识别，确定手指运动模式。运动意图识别方法包括两种：基于生物力学信号和基于生物电学信号，基于生物力学信号，如关节角度、角速度、三轴加速度、电容信息，可通过传统的物理传感器如关节位置传感器、姿态传感器等检测，用逆运动学进行意图估计。基于生物电学信号，如肌电信号(EMG)等，可通过特制的传感器检测，利用数据建立预测模型进行意图估计，能够很好的平衡初始运动意图与信号可解释性之间的关系，具有响应快速的特点。
为了得到健侧和患侧的姿态差异值，所述根据所述姿态信息片段，得到健侧和患侧的姿态差异值包括如下步骤：获取患侧运动轨迹反馈值；将所述姿态信息片段输入到预设的第二预测模型，得到健侧运动轨迹预测值；根据所述患侧运动轨迹反馈值和所述健侧运动轨迹预测值，得到健侧和患侧的姿态差异值。
具体地，获取患侧运动轨迹反馈值Sf，将所述姿态信息片段输入到预设的第二预测模型，其中，所述第二预测模型采用长短期记忆神经网络训练得来，用于得到健侧运动轨迹预测值Sp，将所述健侧运动轨迹预测值Sp减去所述患侧运动轨迹反馈值Sf，就可以得到健侧和患侧的姿态差异值ΔS，ΔS＝Sp-Sf。为了确定手指弯曲角度，所述根据所述姿态差异值，确定手指弯曲角度包括如下步骤：获取患侧手指弯曲度标定值；其中，患侧手指弯曲度标定值为机器手弯曲角度增量；根据所述姿态差异值和所述患侧手指弯曲度标定值，确定手指弯曲角度。
具体地，由于机器手初始运作时有可能不是处在初始伸指状态，故在开启机器手时，会对机器手当前状态进行校正，并记录为患侧手指弯曲度标定值Scv，该值作为机器手弯曲角度增量，由此，得到机器手的弯曲角度ΔS'，ΔS'＝ΔS+Scv，以实现提高双侧手指运动的协同性。
得到健侧运动预测信息后，就可以实现如图1所示的如下步骤：S300、根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动。
具体的，通过将所述健侧手指姿态信息和所述健侧运动预测信息进行解析分析得到患者运动模式，用于控制机器手的控制模式，以实现抓握、拿捏等运动控制，并通过所述患侧手指姿态信息来修正患侧手指运动，以实现更加精确的控制。
示例性系统
本发明实施例提供了一种双侧手指协同运动控制系统，如图2所示，所述系统包括视觉刺激平台1，健侧表面肌电采集模块3，健侧手指姿态采集模块4，患侧手指姿态采集模块5，信息预测模块6，机器手7，其中：视觉刺激平台1，用于将健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息转换为视觉刺激界面，以使患者产生运动想象；实际中，患者从视觉刺激平台1接收到视觉刺激，该刺激以电子游戏方式给予，以虚拟人手建模、模型渲染；虚拟环境设计以及游戏训练内容构成，提高患者主动参与的积极性。如图3所示，视觉反馈结合康复训练方案示意图，采用3D建模技术、动画制作技术并设计康复训练内容完成虚拟游戏环境101建立，将视觉信息反馈通路中的视觉反馈信号，包括健侧肌电信号S3、健侧姿态信号S4、患侧姿态信号S5。通过动作重建102技术生成3D模型动作，通过人机交互界面103给予患者视觉反馈刺激。健侧表面肌电采集模块3，用于采集健侧肌电信息；健侧手指姿态采集模块4，用于采集健侧手指姿态信息；患侧手指姿态采集模块5，用于采集患侧手指姿态信息；信息预测模块6，用于将所述健侧肌电信息和所述健侧手指姿态信息转换为健侧运动预测信息；如图4所示，信息预测模块主要功能是对患者运动意图以及运动轨迹预测，并结合患侧姿态信息、标定值，共同作为机器手的输入信号，使得健患侧手指的镜像运动同步性更高。机器手7，用于根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动。所述机器手7是采用柔性气动材料的穿戴式构件，可以保护患者手指且最大限度的不限制患者手指的运动。如图5所示是本发明的系统硬件结构，由健侧表面肌电采集模块3(如图6所示)、健侧手指姿态采集模块4(如图7所示)、患侧手指姿态采集模块5(如图7所示)、机器手7、信息预测模块6与视觉刺激平台1构成。健侧手指姿态信息的采集采用5个弯曲传感器，以及5路AD转换器构成，该信息通过处理器处理后以蓝牙方式与患侧机器手采集部分进行信号传输。患侧的姿态采集模块将健侧信息、患侧信息打包以串口形式发送给机器手的控制系统与信息预测模型，该模型通过健、患侧姿态信息以及肌电信息分析患侧增量式预测值，根据由图4所示的控制流程计算手指弯曲角度，控制气泵以及比例阀使气动肌肉工作，带动患侧手指弯曲，形成双侧协同运动控制。同时患者可根据交互界面了解自身实时的运动状态，并通过游戏指引调整运动状态，完成视觉反馈训练。视觉刺激与反馈通路可以提高患者主动参与意识，有利于受损脑功能的神经重塑。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图8所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种双侧手指协同运动控制方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图8中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；
根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息；
根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种双侧手指协同运动控制方法、系统、智能终端、存储介质，所述方法包括：采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；根据健侧肌电信息和健侧手指姿态信息，得到健侧运动预测信息；根据患侧手指姿态信息和健侧运动预测信息，控制患侧手指运动。本发明实施例通过健侧的表面肌电信息和弯曲角度信息作为驱动信号，控制患侧手部运动；引入视觉反馈信号，辅助患者进行作业训练，提高主动康复疗效，同时采用运动肌电信息、健侧手指运动姿态信息、患侧手指姿态信息以及视觉反馈信号作为反馈回路，通过分析肌电信息与手指姿态信息，建立运动预测模型，用于预测下一时刻的运动状态从而控制患侧的运动角度，解决镜像运动协同性的延时问题。
基于上述实施例，本发明公开了一种双侧手指协同运动控制方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种双侧手指协同运动控制方法，其特征在于，所述方法包括：
采集健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息；
根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息；
根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动；
所述根据所述健侧肌电信息和所述健侧手指姿态信息，得到健侧运动预测信息包括：
分别对所述健侧肌电信息和所述健侧手指姿态信息进行预处理，得到肌电信息片段和手指姿态信息片段；其中，所述预处理包括平滑滤波、分割和归一化；
根据所述肌电信息片段和所述手指姿态信息片段，得到健侧运动预测信息；
所述平滑滤波是通过求平均值的办法来消除随机误差，所述分割指的是从肌电信息中提取表示运动意图和运动状态的关键帧，所述归一化是指将肌电信息的数据转换到0到1的范围内；
所述根据所述肌电信息片段和所述姿态信息片段，得到健侧运动预测信息包括：
根据所述肌电信息片段，确定手指运动模式；
根据所述姿态信息片段，得到健侧和患侧的姿态差异值；其中，所述姿态差异值用于表征健侧的运动轨迹预测值与患侧的运动轨迹反馈值的差；
根据所述姿态差异值，确定手指弯曲角度；
根据所述手指运动模式和所述手指弯曲角度，确定健侧运动预测信息。
2.根据权利要求1所述的双侧手指协同运动控制方法，其特征在于，所述根据所述肌电信息片段，确定手指运动模式包括：
将所述肌电信息片段输入到预设的第一预测模型，得到运动意图信息；
对所述运动意图信息进行识别，确定手指运动模式。
3.根据权利要求1所述的双侧手指协同运动控制方法，其特征在于，所述根据所述姿态信息片段，得到健侧和患侧的姿态差异值包括：
获取患侧运动轨迹反馈值；
将所述姿态信息片段输入到预设的第二预测模型，得到健侧运动轨迹预测值；
根据所述患侧运动轨迹反馈值和所述健侧运动轨迹预测值，得到健侧和患侧的姿态差异值。
4.根据权利要求3所述的双侧手指协同运动控制方法，其特征在于，所述根据所述姿态差异值，确定手指弯曲角度包括：
获取患侧手指弯曲度标定值；其中，患侧手指弯曲度标定值为机器手弯曲角度增量；
根据所述姿态差异值和所述患侧手指弯曲度标定值，确定手指弯曲角度。
5.一种双侧手指协同运动控制系统，其特征在于，所述系统包括：
视觉刺激平台，用于将健侧肌电信息、健侧手指姿态信息和患侧手指姿态信息转换为视觉刺激界面，以使患者产生运动想象；
健侧表面肌电采集模块，用于采集健侧肌电信息；
健侧手指姿态采集模块，用于采集健侧手指姿态信息；
患侧手指姿态采集模块，用于采集患侧手指姿态信息；
信息预测模块，用于将所述健侧肌电信息和所述健侧手指姿态信息转换为健侧运动预测信息；
机器手，用于根据所述健侧手指姿态信息、所述患侧手指姿态信息和所述健侧运动预测信息，控制患侧手指运动；
所述信息预测模块还用于：
分别对所述健侧肌电信息和所述健侧手指姿态信息进行预处理，得到肌电信息片段和手指姿态信息片段；其中，所述预处理包括平滑滤波、分割和归一化；
根据所述肌电信息片段和所述手指姿态信息片段，得到健侧运动预测信息；
所述平滑滤波是通过求平均值的办法来消除随机误差，所述分割指的是从肌电信息中提取表示运动意图和运动状态的关键帧，所述归一化是指将肌电信息的数据转换到0到1的范围内；
所述根据所述肌电信息片段和所述姿态信息片段，得到健侧运动预测信息包括：
根据所述肌电信息片段，确定手指运动模式；
根据所述姿态信息片段，得到健侧和患侧的姿态差异值；其中，所述姿态差异值用于表征健侧的运动轨迹预测值与患侧的运动轨迹反馈值的差；
根据所述姿态差异值，确定手指弯曲角度；
根据所述手指运动模式和所述手指弯曲角度，确定健侧运动预测信息。
6.根据权利要求5所述的双侧手指协同运动控制系统，其特征在于，所述机器手是采用柔性气动材料的穿戴式构件。
7.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-4中任意一项所述的方法。
8.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-4中任意一项所述的方法。
CN202110332885.5A 2021-03-29 2021-03-29 一种双侧手指协同运动控制方法与系统 Active CN112951360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110332885.5A CN112951360B (zh) 2021-03-29 2021-03-29 一种双侧手指协同运动控制方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110332885.5A CN112951360B (zh) 2021-03-29 2021-03-29 一种双侧手指协同运动控制方法与系统

Publications (2)

Publication Number Publication Date
CN112951360A CN112951360A (zh) 2021-06-11
CN112951360B true CN112951360B (zh) 2023-05-02

Family

ID=76227153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110332885.5A Active CN112951360B (zh) 2021-03-29 2021-03-29 一种双侧手指协同运动控制方法与系统

Country Status (1)

Country Link
CN (1) CN112951360B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117898710B (zh) * 2024-03-18 2024-05-17 华中科技大学 一种基于手指肌动信号的手部异常运动确定装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267254A (ja) * 2003-03-05 2004-09-30 Gifu Univ 上肢手指リハビリテーションシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110270057B (zh) * 2019-05-15 2021-01-12 深圳大学 一种用于偏瘫患者双侧肢体协同运动的主动康复训练方法
CN110675933B (zh) * 2019-09-06 2022-05-17 南京邮电大学 一种手指镜像康复训练系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004267254A (ja) * 2003-03-05 2004-09-30 Gifu Univ 上肢手指リハビリテーションシステム

Also Published As

Publication number Publication date
CN112951360A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN109394476B (zh) 脑肌信息自动意图识别与上肢智能控制方法及系统
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
CN109549821B (zh) 基于肌电和惯导信号融合的外骨骼机器人助力控制系统及方法
Sartori et al. Neural data-driven musculoskeletal modeling for personalized neurorehabilitation technologies
Kleissen et al. Electromyography in the biomechanical analysis of human movement and its clinical application
US10004455B2 (en) Realtime biofeedback mechanism and data presentation for knee injury rehabilitation monitoring and a soft real time intelligent system thereof
Foroutannia et al. A deep learning strategy for EMG-based joint position prediction in hip exoskeleton assistive robots
Sethi et al. Advances in motion and electromyography based wearable technology for upper extremity function rehabilitation: A review
Scano et al. Robotic assistance for upper limbs may induce slight changes in motor modules compared with free movements in stroke survivors: a cluster-based muscle synergy analysis
Sartori et al. Closing the loop between wearable technology and human biology: a new paradigm for steering neuromuscular form and function
CN112951360B (zh) 一种双侧手指协同运动控制方法与系统
Buongiorno et al. A neuromusculoskeletal model of the human upper limb for a myoelectric exoskeleton control using a reduced number of muscles
Liang et al. Gaussian process autoregression for joint angle prediction based on sEMG signals
Li et al. Subject-independent continuous estimation of sEMG-based joint angles using both multisource domain adaptation and BP neural network
Li et al. Joint torque closed-loop estimation using NARX neural network based on sEMG signals
WO2024011958A1 (zh) 一种控制康复训练的方法、控制装置及控制系统
Kakkos et al. Human–machine interfaces for motor rehabilitation
Li et al. Inter-subject variability evaluation of continuous elbow angle from sEMG using BPNN
Lakineni et al. Development of an Instrumented Glove for the Characterization of Human Wrist Tremor
Zhang Ultrasound imaging and surface electromyography-based voluntary effort prediction and control strategies for ankle assistance
Seáñez et al. Correction to: Spinal cord stimulation to enable leg motor control and walking in people with spinal cord injury
CN113520413B (zh) 一种基于表面肌电信号的下肢多关节角度估计方法
Durandau Towards the next Generation in Human-machine-interfacing: Controlling Wearable Robots via Neuromusculoskeletal Modelling
Choudhury Subject specific HD-EMG driven musculoskeletal modeling for stroke subjects
Mudiyanselage A study of controlling upper-limb exoskeletons using EMG and EEG signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant