CN117297583A - 多模本体感知觉障碍评估系统和下肢运动模型构建系统 - Google Patents

多模本体感知觉障碍评估系统和下肢运动模型构建系统 Download PDF

Info

Publication number
CN117297583A
CN117297583A CN202311614013.3A CN202311614013A CN117297583A CN 117297583 A CN117297583 A CN 117297583A CN 202311614013 A CN202311614013 A CN 202311614013A CN 117297583 A CN117297583 A CN 117297583A
Authority
CN
China
Prior art keywords
lower limb
multimode
model
data
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311614013.3A
Other languages
English (en)
Inventor
胡安明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202311614013.3A priority Critical patent/CN117297583A/zh
Publication of CN117297583A publication Critical patent/CN117297583A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036Measuring load distribution, e.g. podologic studies
    • A61B5/1038Measuring plantar pressure during gait
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本体感知觉障碍重塑系统和下肢运动模型构建系统包括:传感检测部分,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学‑代谢环境‑传导信息多维度信号进行同步检测;本体感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况;下肢运动模型构建部分,评估本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型。提供了基于多模生理信息同步采集的本体感知觉损伤情况评估、重塑系统和下肢运动模型构建系统。

Description

多模本体感知觉障碍评估系统和下肢运动模型构建系统
技术领域
本发明总体地涉及人工智能医学领域,具体地涉及基于人工智能的本体感知觉障碍评估和基于虚拟现实的脑卒中康复技术。
背景技术
中国每年大量脑卒中患者,约有80%的脑卒中幸存者存在不同程度的运动功能障碍。
本体感知觉是形成身体感觉和运动计划的必要条件和重要预测因素。脑卒中后本体感知觉缺陷的患病率高达54-64%。本体感知觉与人体运动、平衡和协调的正确反馈密切相关,在脑卒中后运动障碍的治疗和康复中,应该更加注重本体感觉的评估和治疗,以提高运动康复的效果。本体感觉评价虽然是脑卒中患者康复管理中的重要评价项目,与运动功能的恢复直接相关。但是,传统的康复治疗方法包括基于本体感觉神经肌肉促进疗法等,往往缺乏有效的本体感知觉评估和量化手段,缺乏对本体感觉反馈转化为动态身体知觉的机制。成功的运动功能康复并不仅仅是通过重复运动疗法就能够实现的,它还需要有效的感觉运动整合,特别是本体感知觉的重新融入。
近些年,虚拟现实技术成为康复医学领域研究的重点。采用虚拟现实技术可实时反馈受试者不同运动状态的下肢位置、速度和方向等信息,帮助受试者感知其下肢运动状态。
发明内容
本发明旨在提供一种综合客观的本体感知觉障碍评估技术,运动模型构建技术和康复训练技术。
根据本发明的一个方面,提供了一种多模本体感知觉重塑系统,包括:传感检测部分,包括足底压力感受器、髋膝踝关节惯性传感器、下肢肌肉肌电传感器,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程中肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况。
可选地,基于多模生理数据,评估本体感知觉损伤情况包括:对表面肌电信号进行时域、频域的分解,得到运动单元动作电位序列,分析肌肉控制的肌肉运动单元信息;基于关节角度和压力信号分析肌肉收缩动态成像。
可选地,感知觉评估模块基于多模生理数据,评估本体感知觉损伤情况包括:采用正常人的不同运动的多模生理信号数据训练基线模型;基于基线模型,通过迁移学习得到表征模型,该表征模型进行本体感知觉障碍患者的多模信号共性表征;以实时检测的多模生理数据为测试任务,利用表征模型,采用样本-特征联合优化方法实现对本体感知觉损伤的评估。
可选地,采用正常人的不同运动的多模生理信号数据训练基线模型包括:采用无监督的基于LSTM的自编码记忆网络LSTM-AE-M作为基线模型来进行运动本体感知觉共性特征提取;利用高斯混合模型检测处在特征空间里的异常病例数据;从样本空间中去除异常病例数据(野点),利用去除了异常病例数据后的样本数据集合,基于重构误差、正则化、预测误差项和非线性预测项,构造联合的目标函数来训练所述基线模型。
可选地,感知觉评估模块基于多模生理数据,评估本体感知觉损伤情况包括:基于被测者多模生理数据相比于健康者的多模生理数据的差异程度,对本体感知觉损伤情况进行打分。
可选地,根据被测者的本体感知觉损伤情况评分来自适应调整传感检测的频率。
可选地,下肢肌肉肌电图信号包括下肢不同运动状态下的股内侧肌、股外侧肌、股直肌、股二头肌、臀大肌、胫骨前肌和腓肠肌的肌肉表面肌电信号;髋膝踝关节惯性传感器数据包括双侧髋、膝、踝关节的惯性传感器信号;双足底压力信号包括采集如下足底区域的压力信号:1区拇趾、2区第2-5脚趾、3区第1跖骨、4区第2-4跖骨、5区第5跖骨、6区中足部、7区足跟内侧和8区足跟外侧;1区和2区为足趾区,3、4、5区为前足,6区为中足,7区和8区为后足。
根据本发明的另一个方面,提供了一种基于多模本体感知觉客观评估的下肢运动模型构建系统,包括:传感检测部分,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;本体感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况;下肢运动模型构建部分,评估本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合。
可选地,构建由所述多模生理数据驱动的下肢运动模型包括:通过D-H分析法和拉格朗日公式建模法建立人体下肢运动的动力学模型;根据所述下肢运动的动力学模型,建立数据驱动的基于加权混合融合变形的动态模型;用机器学习方法,学习所述动态模型的参数。
可选地,构建由所述多模生理数据驱动的下肢运动模型包括从运动单位角度构建下肢运动模型,运动单位是由运动神经元和连在一起的肌纤维组成的。
可选地,构建由所述多模生理数据驱动的下肢运动模型包括:对穿戴在脚跟处的惯性传感器加速度信号进行双重积分计算步长。
根据本发明的另一个方面,提供了一种经颅交流电刺激的虚拟现实辅助下的下肢康复系统,包括:传感检测部分,包括足底压力感受器、髋膝踝关节惯性传感器、下肢肌肉肌电传感器,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况;下肢运动模型构建模块,基于评估的本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合;运动控制模块,基于评估的本体感知觉损伤情况,制定康复策略,确定外部经颅交流电刺激的形式、大小和施加方式,施加包括经颅交流电刺激的控制;以及虚拟现实场景构建模块,用于显示虚拟显示场景。
可选地,虚拟现实场景构建模块:建立三维虚拟环境,包括多种下肢行走的难度场景;根据患者本体感知觉的情况自适应设置不同运动模式和难度级别;其中在虚拟现实环境中受试者能够实时观察其下肢运动状态,并获得与之相关联的生理信号反馈,包括在屏幕上显示足底压力分布图、肌肉活化程度,以辅助受试者感知其下肢的位置、速度和方向。
可选地,下肢康复系统还包括头盔,经由头盔对患者施加交流电经颅刺激。
可选地,下肢运动模型针对不同难度场景,包括平面行走、坡道上行走、楼梯爬升;动作模式包括踏步、转身。
根据本发明再一方面,提供了一种经颅交流电刺激的虚拟现实辅助下的肢体康复系统,包括:传感检测部分,包括压力感受器、关节惯性传感器、肌肉肌电传感器,同步、动态实时地采集多模生理数据,包括压力感受器数据、关节惯性传感器数据、肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况;特定肢体的运动模型构建模块,基于评估的本体感知觉损伤情况,利用采集的步态周期中特定肢体的本体感觉的电生理信号、肌肉收缩机械信号、压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的运动模型,实现肌肉运动过程从宏观到介观尺度的融合;运动控制模块,基于评估的本体感知觉损伤情况,制定康复策略,确定外部经颅交流电刺激的形式、大小和施加方式,控制施加包括经颅交流电刺激的控制;虚拟现实场景构建模块,用于显示虚拟显示场景, 建立三维虚拟环境,包括多种下肢行走的难度场景;根据患者本体感知觉的情况自适应设置不同运动模式和难度级别;其中在虚拟现实环境中受试者能够实时观察其肢体运动状态,并获得与之相关联的生理信号反馈,包括在屏幕上显示压力分布图、肌肉活化程度,以辅助受试者感知其肢体的位置、速度和方向。
本发明实施例的康复技术基于运动感知觉形成反馈的神经机制,采集多模生理数据,包括足底压力感受器数据、髋膝踝关节数据、下肢肌肉肌电图等,构建多模本体感知觉生理信息平台、评估本体感知觉受损情况、编码出本体感知觉激活的神经肌肉动力学模型;开发虚拟现实辅助的下肢本体感知觉康复训练系统,增强患者感知运动耦合并促进神经肌肉通路重塑,从而更有效地帮助下肢运动障碍患者恢复运动功能。
利用本发明实施例的肢体康复系统,提供了至少下述优势:
(1)基于多模生理信息同步采集的本体感知觉损伤情况评估,这是现有技术所缺少的;
(2)基于评估的本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合,模拟不同的运动策略;
(3)通过视觉观察、多感官刺激如力反馈和电刺激等呈现方式使患者可以在虚拟现实环境中模拟体验在真实世界中的本体感觉,从而为本体感知觉障碍患者提供VR辅助的个性化和多样化的康复训练模式。
附图说明
图1示出了根据本发明实施例的下经颅交流电刺激的虚拟现实辅助下的肢康复系统100的总体结构示意图。
图2示出了根据本发明一个实施例的传感器布置示意图。
图3示出了感知觉评估模块120的构成示意图。
具体实施方式
在参考具体实施例详细介绍本发明之前,首先解释一些本领域术语。
本体感知觉:也叫本体感觉或本体觉或深感觉,是指分布于肌肉和(或)关节的机械感受器收集相应部位的关节位置和肌肉运动状态等信息,再经由深感觉传导通路传递至感觉中枢。
脑卒中本体感知觉障碍:指脑卒中患者的大脑顶叶等病变引起肢体障碍,导致感觉性共济失调,使得患者对运动的速度、力量、方向不能及时感知和调整。
肌肉收缩动态成像:指的是,基于角度和压力传感器信号分析的肌肉收缩动态成像,具体地,提取角度信号和压力信号按照时序排列,同时提取肌肉收缩信号,然后将角度信号、压力信号和肌肉收缩按时间关系对应起来并可视化呈现出来。
基线模型:在机器学习中,基线模型或也称为基准模型(Baseline model)是指一种简单的机器学习模型,它的目的是作为对比,帮助我们评估其他更复杂的模型的效果。例如,如果我们想解决一个图像分类任务,我们可以先尝试使用基准模型来解决这个问题。基准模型可能是一个简单的卷积神经网络(CNN),或者只是一个随机猜测的分类器。在迁移学习中,迁移学习通过将解决一个问题所获得的知识应用于另一个不同但相关的问题来重用这些知识,比如你要研究一个新的模型,你是在前人的模型基础上新增加了一些组件,别人也基本都是在这个模型上进行修改,那这个前人的模型就叫做baseline model——基线模型。
图1示出了根据本发明实施例的经颅交流电刺激的虚拟现实辅助下的下肢康复系统100的总体结构示意图。
如图1所示,下肢康复系统100包括:传感检测部分110、感知觉评估模块120、下肢运动模型构建模块130、运动控制模块140、虚拟现实场景构建模块150。
传感检测部分110包括足底压力感受器111、髋膝踝关节惯性传感器112、下肢肌肉肌电传感器123,各个传感器同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测。足底压力感受器111数据检测肌肉运动过程中的压力信号。髋膝踝关节惯性传感器112获得肌肉运动过程中关节的角度信号。下肢肌肉肌电传感器123获得的肌肉表面肌电信号,术语肌肉神经活动信号,体现了肌肉活动中的结构变化。
在一个示例中,下肢肌肉肌电图信号包括下肢不同运动状态下的股内侧肌、股外侧肌、股直肌、股二头肌、臀大肌、胫骨前肌和腓肠肌的肌肉表面肌电信号;髋膝踝关节惯性传感器数据包括双侧髋、膝、踝关节的惯性传感器信号;双足底压力信号包括采集如下足底区域的压力信号:1区拇趾、2区第2-5脚趾、3区第1跖骨、4区第2-4跖骨、5区第5跖骨、6区中足部、7区足跟内侧和8区足跟外侧;1区和2区为足趾区,3、4、5区为前足,6区为中足,7区和8区为后足。根据大量实验,这样的布置能够充分全面地检测下肢本体的多模生理数据,适于评估本体感知觉受损情况。
图2示出了根据本发明一个实施例的传感器布置示意图,如图所示,在大腿上布置惯性传感器,在小腿腹部布置肌电传感器,在足底布置压力传感器,以上为布置传感器的一个优选示例,但本发明并不局限于此,可以根据需要进行其他布置安排。
感知觉评估模块120,基于多模生理数据,评估本体感知觉损伤情况。
在一个示例中,感知觉评估模块120基于多模生理数据,评估本体感知觉损伤情况包括:对表面肌电信号进行时域、频域的分解,得到运动单元动作电位(MUAP)序列,分析肌肉控制的肌肉运动单元信息,时域的分解例如采用小波变换,频率的分解例如采用频域独立变量分析方法。
在一个示例中,感知觉评估模块120基于多模生理数据,评估本体感知觉损伤情况包括:基于关节角度和压力信号分析肌肉收缩动态成像。具体地,提取角度信号和压力信号的时间序列,同时提取肌肉收缩信号的时间序列,然后将角度信号、压力信号和肌肉收缩按时间关系对应起来并可视化呈现出来。
图3示出了感知觉评估模块120的构成示意图。
如图3所示,感知觉评估模块120包括基线模型训练部分121和迁移学习部分122。
由于本体感知觉障碍患者的样本量较少,数据异质性较强,因此,在图2所示的示例中,采用了迁移学习策略。具体地,首先,基线模型训练部分121用容易获得的正常人的不同运动的多模生理信号数据来训练基线模型。接下来,在迁移学习部分122,采用迁移学习技术,在由基线模型训练部分得到的表征模型基础上,用本体感知觉障碍患者的数据来训练和修正基线模型,学习本体感知觉障碍患者的多模信号共性表征,得到表征模型,这样后边就可以将实时检测的多模生理数据作为测试任务,将该测试任务输入到表征模型,输出为对测试样本的本体感知觉损伤的客观评估。例如,在一个示例中,本体感知觉损伤情况被分为5个级别,则表征模型122的输出结果可以为对5个级别的分类之一。在另一个示例中,本体感知觉损伤情况为连续的打分,则表征模型122的输出结果可以为数值打分。
更具体地,在一个示例中,在基线模型学习部分121,采用无监督的基于LSTM的自编码记忆网络(LSTM based Auto Encoder-Decoder Memory Network, LSTM-AE-M)实现对运动本体感知觉共性特征提取。LSTM-AE-M是基于深度学习处理多传感器时序信号的分类模型,主要由两个模块组成,分别为表征网络(Characterization Network)和记忆网络(Memory Network)。表征网络的核心是基于长短时记忆网络(Long Short Term Memory,LSTM)的自编码器(Auto Encoder-Decoder),是用于学习输入信号的时间表征。记忆网络的核心则是多头注意力机制(Multi-head Attention)。注意力机制引导模型在处理数据时更加关注某些因素,多头注意力则是一个注意力机制的模块,它将独立的注意力输出连接起来并线性转换为预期的维度。特别是处理时序数据的注意力机制,可以专注于某一个关键部分的特征,以减少非关键时间上下文的影响。多头注意力允许模型共同关注来自不同位置的不同表示子空间的信息,提高模型的感知能力。
为了减少噪声数据的影响,也就是防止自编码器适应到噪声数据和异常病例数据,在表征网络部分中,发明人设计计算机程序检测那些处在特征空间里的异常病例数据,然后可以从样本空间中去除异常病例数据,一般地认定异常病例数据的标准相对严格,以防止将一个正常样本数据识别为异常病例数据。因此,把高斯混合模型作为目标分布,正则函数最大平均差异(Maximum Mean Discrepancy, MMD)作为损失函数,使得所提取的特征分布与目标分布尽可能地相似。它的目的是使噪声数据的分布与正常训练数据接近,从而减少过拟合。LSTM-AE-M目标有四个组成部分,重构误差(MSE)、正则化(MMD)、预测误差(attention)项和预测误差(non-linear prediction)项。为了避免因为各模块单独训练而陷入局部最优,可以构造联合的目标函数来训练模型。
在一个示例中,根据被测者的本体感知觉损伤情况评分来自适应调整传感检测的频率,例如,被测者的本体感知觉损伤情况评分越低(表示本体感知觉损伤严重),则传感检测的频率调得越高,从而能够在后续得虚拟现实康复训练中灵敏地检测到康复敏感体位。
回到图1,下肢运动模型构建模块130,基于评估的本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合。
运动控制模块140,基于评估的本体感知觉损伤情况,制定康复策略,确定外部经颅交流电刺激的形式、大小和施加方式,施加包括经颅交流电刺激的控制。
虚拟现实场景构建模块150,用于显示虚拟显示场景。虚拟现实场景构建模块150建立三维虚拟环境,包括多种下肢行走的难度场景;根据患者本体感知觉的情况自适应设置不同运动模式和难度级别;其中在虚拟现实环境中受试者能够实时观察其下肢运动状态,并获得与之相关联的生理信号反馈,包括在屏幕上显示足底压力分布图、肌肉活化程度,以辅助受试者感知其下肢的位置、速度和方向。
基于数据驱动的运动仿真和本体感知觉评估、虚拟人体下肢运动学模型和患者自适应康复训练模式三者之间进行互动,从下肢关节运动(包括惯性和压力信号等,结合考虑关节的动力学模型)得到虚拟人体下肢运动学模型,由采集的多模生理信号,训练和修正下肢运动学模型,基于下肢运动学模型采用自适应虚拟现实康复训练模式对患者进行训练,为患者提供虚拟现实场景和沉浸式体验,并持续实时地进行多模生理信号采集,持续进行本体感知觉障碍评估,由此形成闭环模式。
在一个示例中,下肢运动模型构建模块130构建由所述多模生理数据驱动的下肢运动模型包括:通过D-H分析法和拉格朗日公式建模法建立人体下肢运动的动力学模型;根据所述下肢运动的动力学模型,建立数据驱动的基于加权混合融合变形的动态模型;用机器学习方法,学习所述动态模型的参数。
更具体地,在一个示例中,利用采集到的多模态数据,将人体下肢骨架简化为连杆和轴的机械结构,分析其姿势的变化、力及力矩,通过D-H分析法和拉格朗日公式建模法,建立人体下肢运动的动力学模型;建立数据驱动基于加权混合融合变形(Data-drivenBlendshape-based animation)的动态模型,根据动力学分析模型的下肢骨架,绑定虚拟人的下肢骨骼(riggings),并构造多组极端动作姿势(如高抬腿、蹲下等)的动作基(blendshapes),利用机器学习如多层感知机MLP和可微分三维重建等方法,学习得到运动数据到目标动作的多个运动基的参数,从而模拟多种下肢动作模式;利用Unity3D建立三维虚拟环境,包括多种场景(如平面行走、坡道上行走、楼梯爬升等),设置场景的参数(如地面台阶高度,地面摩擦系数等);建立场景难度形式化表达;根据患者本体感知觉的情况,通过智能学习(Smart learning)的框架,利用强化学习的方法学习患者的训练状态、场景参数与训练效果的适应方式,从而可以根据康复训练情况自适应设置不同的运动模式和难度级别。
在一个示例中,利用Codamotion三维动作捕捉系统采集脑卒中患者执行不同任务时的下肢运动学参数和时空参数,测量了患者的膝关节、踝关节活动范围、最大屈膝角度、最大伸膝角度、最大踝背屈角度、最大踝跖屈角度等运动学参数,以及步速、跨步长、跨步时间、跨步速度、步长、步长时间、步频、支撑期百分比等时空参数,考虑不同认知任务下对步态的影响。
在一个示例中,构建由所述多模生理数据驱动的下肢运动模型包括从运动单位角度构建下肢运动模型,运动单位是由运动神经元和连在一起的肌纤维组成的。这样的下肢运动模型考虑的更加微观,能够从神经元层面构建运动模型。
在一个示例中,构建由所述多模生理数据驱动的下肢运动模型包括:对穿戴在脚跟处的惯性传感器加速度信号进行双重积分计算步长。在另一个示例中,还可以结合步速度、步频率来进行步态分析。
在优选实施例中,使用经颅交流电刺激(transcranial alternating currentstimulation, tACS)用于神经系统干预。tACS通过电极在头部特定位点施加微弱电流(1~2mA),采用不同频率(包括 α、β、γ、θ)的刺激模式,使脑内产生周期性电场变化,影响大脑神经细胞电活动的同步化和去同步化,从而调节大脑功能,对脑卒中功能康复有很大的应用潜力,其有利特征包括双相和正弦tACS电流,夹带大量神经元群体的能力以及对体细胞效应的微妙控制。
利用本发明实施例的肢体康复系统,提供了至少下述优势:
(1)基于多模生理信息同步采集的本体感知觉损伤情况评估,这是现有技术所缺少的;
(2)基于评估的本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合,模拟不同的运动策略;
(3)通过视觉观察、多感官刺激如力反馈和电刺激等呈现方式使患者可以在虚拟现实环境中模拟体验在真实世界中的本体感觉,从而为本体感知觉障碍患者提供VR辅助的个性化和多样化的康复训练模式。
根据本发明另一实施例,提供了一种计算机执行的多模本体感知觉重塑系统,包括:传感检测部分,包括足底压力感受器、髋膝踝关节惯性传感器、下肢肌肉肌电传感器,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程中肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;本体感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况。
根据本发明另一实施例,提供了一种基于多模本体感知觉客观评估的下肢运动模型构建系统,包括:传感检测部分,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;本体感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况;下肢运动模型构建部分,评估本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合。
根据本发明另一实施例,提供了一种经颅交流电刺激的虚拟现实辅助下的下肢康复系统,包括:传感检测部分,包括足底压力感受器、髋膝踝关节惯性传感器、下肢肌肉肌电传感器,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况;下肢运动模型构建模块,基于评估的本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合;运动控制模块,基于评估的本体感知觉损伤情况,制定康复策略,确定外部经颅交流电刺激的形式、大小和施加方式,施加包括经颅交流电刺激的控制;虚拟现实场景构建模块,用于显示虚拟显示场景。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种多模本体感知觉重塑系统,包括:
传感检测部分,包括足底压力感受器、髋膝踝关节惯性传感器、下肢肌肉肌电传感器,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程中肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;
感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况,其中基于被测者多模生理数据相比于健康者的多模生理数据的差异程度,对本体感知觉损伤情况进行打分;
其中感知觉评估模块基于多模生理数据评估本体感知觉损伤情况包括:
采用正常人的不同运动的多模生理信号数据训练基线模型;
基于基线模型,通过迁移学习得到表征模型,该表征模型进行本体感知觉障碍患者的多模信号共性表征;
以实时检测的多模生理数据为测试任务,利用表征模型,采用样本-特征联合优化方法实现对本体感知觉损伤的评估,
其中采用正常人的不同运动的多模生理信号数据训练基线模型包括:
采用无监督的基于LSTM的自编码记忆网络LSTM-AE-M作为基线模型来进行运动本体感知觉共性特征提取;
利用高斯混合模型检测处在特征空间里的异常病例数据;
利用去除了异常病例数据后的样本数据集合,基于重构误差、正则化、预测误差项和非线性预测项,构造联合的目标函数来训练所述基线模型,
根据被测者的本体感知觉损伤情况评分来自适应调整传感检测的频率,
其中本体感知觉评估为如下闭环模式中的一环:基于本体感知觉评估由采集的多模生理信号,训练和修正下肢运动学模型,基于下肢运动学模型采用自适应虚拟现实康复训练模式对患者进行训练,为患者提供虚拟现实场景和沉浸式体验,并持续实时地进行多模生理信号采集,持续进行本体感知觉障碍评估,由此形成闭环模式。
2.根据权利要求1所述的多模本体感知觉重塑系统,基于多模生理数据,评估本体感知觉损伤情况包括:
对表面肌电信号进行时域、频域的分解,得到运动单元动作电位序列,分析肌肉控制的肌肉运动单元信息;以及
基于关节角度和压力信号分析肌肉收缩动态成像。
3.根据权利要求1所述的多模本体感知觉重塑系统,其中:
下肢肌肉肌电图信号包括下肢不同运动状态下的股内侧肌、股外侧肌、股直肌、股二头肌、臀大肌、胫骨前肌和腓肠肌的肌肉表面肌电信号;
髋膝踝关节惯性传感器数据包括双侧髋、膝、踝关节的惯性传感器信号;
双足底压力信号包括采集如下足底区域的压力信号:1区拇趾、2区第2-5脚趾、3区第1跖骨、4区第2-4跖骨、5区第5跖骨、6区中足部、7区足跟内侧和8区足跟外侧;1区和2区为足趾区,3、4、5区为前足,6区为中足,7区和8区为后足。
4.一种基于多模本体感知觉客观评估的下肢运动模型构建系统,包括:
传感检测部分,同步、动态实时地采集多模生理数据,包括足底压力感受器数据、髋膝踝关节惯性传感器数据、下肢肌肉肌电图信号,从而对肌肉运动过程肌肉的生物力学-代谢环境-传导信息多维度信号进行同步检测;
本体感知觉评估模块,基于多模生理数据,评估本体感知觉损伤情况,,其中基于被测者多模生理数据相比于健康者的多模生理数据的差异程度,对本体感知觉损伤情况进行打分;
其中感知觉评估模块基于多模生理数据评估本体感知觉损伤情况包括:
采用正常人的不同运动的多模生理信号数据训练基线模型;
基于基线模型,通过迁移学习得到表征模型,该表征模型进行本体感知觉障碍患者的多模信号共性表征;
以实时检测的多模生理数据为测试任务,利用表征模型,采用样本-特征联合优化方法实现对本体感知觉损伤的评估,
其中采用正常人的不同运动的多模生理信号数据训练基线模型包括:
采用无监督的基于LSTM的自编码记忆网络LSTM-AE-M作为基线模型来进行运动本体感知觉共性特征提取;
利用高斯混合模型检测处在特征空间里的异常病例数据;
利用去除了异常病例数据后的样本数据集合,基于重构误差、正则化、预测误差项和非线性预测项,构造联合的目标函数来训练所述基线模型,
根据被测者的本体感知觉损伤情况评分来自适应调整传感检测的频率,
下肢运动模型构建部分,评估本体感知觉损伤情况,利用采集的步态周期中下肢的本体感觉的电生理信号、肌肉收缩机械信号、足底压力变化信号,融合运动参数、运动模式、位置,构建由所述多模生理数据驱动的下肢运动模型,实现肌肉运动过程从宏观到介观尺度的融合,
其中本体感知觉评估为如下闭环模式中的一环:基于本体感知觉评估由采集的多模生理信号,训练和修正下肢运动学模型,基于下肢运动学模型采用自适应虚拟现实康复训练模式对患者进行训练,为患者提供虚拟现实场景和沉浸式体验,并持续实时地进行多模生理信号采集,持续进行本体感知觉障碍评估,由此形成闭环模式。
5.根据权利要求4所述的下肢运动模型构建系统,构建由所述多模生理数据驱动的下肢运动模型包括:
通过D − H分析法和拉格朗日公式建模法建立人体下肢运动的动力学模型;
根据所述下肢运动的动力学模型,建立数据驱动的基于加权混合融合变形的动态模型;
用机器学习方法,学习所述动态模型的参数。
6.根据权利要求4所述的下肢运动模型构建系统,构建由所述多模生理数据驱动的下肢运动模型包括从运动单位角度构建下肢运动模型,运动单位是由运动神经元和连在一起的肌纤维组成的;以及
构建由所述多模生理数据驱动的下肢运动模型包括:对穿戴在脚跟处的惯性传感器加速度信号进行双重积分计算步长。
CN202311614013.3A 2023-11-29 2023-11-29 多模本体感知觉障碍评估系统和下肢运动模型构建系统 Pending CN117297583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311614013.3A CN117297583A (zh) 2023-11-29 2023-11-29 多模本体感知觉障碍评估系统和下肢运动模型构建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311614013.3A CN117297583A (zh) 2023-11-29 2023-11-29 多模本体感知觉障碍评估系统和下肢运动模型构建系统

Publications (1)

Publication Number Publication Date
CN117297583A true CN117297583A (zh) 2023-12-29

Family

ID=89287037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311614013.3A Pending CN117297583A (zh) 2023-11-29 2023-11-29 多模本体感知觉障碍评估系统和下肢运动模型构建系统

Country Status (1)

Country Link
CN (1) CN117297583A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021604A (zh) * 2021-10-26 2022-02-08 汕头大学 一种基于3d虚拟现实技术实时反馈的运动想象训练系统
US20220054071A1 (en) * 2019-09-06 2022-02-24 Tencent Technology (Shenzhen) Company Limited Motor imagery electroencephalogram signal processing method, device, and storage medium
CN114512239A (zh) * 2022-02-25 2022-05-17 国家康复辅具研究中心 基于迁移学习的脑卒中风险预测方法及系统
CN115568866A (zh) * 2022-10-26 2023-01-06 上海中医药大学 一种神经损伤的评价系统及其方法
CN115644823A (zh) * 2022-12-12 2023-01-31 中国科学院苏州生物医学工程技术研究所 康复效果动态预测及个体化干预方法和系统
CN115738188A (zh) * 2022-11-13 2023-03-07 复旦大学 一种基于虚拟现实技术的平衡功能训练设备和方法
CN219940582U (zh) * 2023-05-08 2023-11-03 首都医科大学附属北京天坛医院 一种下肢多模态信号综合采集系统
CN117298452A (zh) * 2023-11-28 2023-12-29 首都医科大学附属北京天坛医院 经颅交流电刺激的虚拟现实辅助下的下肢康复系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220054071A1 (en) * 2019-09-06 2022-02-24 Tencent Technology (Shenzhen) Company Limited Motor imagery electroencephalogram signal processing method, device, and storage medium
CN114021604A (zh) * 2021-10-26 2022-02-08 汕头大学 一种基于3d虚拟现实技术实时反馈的运动想象训练系统
CN114512239A (zh) * 2022-02-25 2022-05-17 国家康复辅具研究中心 基于迁移学习的脑卒中风险预测方法及系统
CN115568866A (zh) * 2022-10-26 2023-01-06 上海中医药大学 一种神经损伤的评价系统及其方法
CN115738188A (zh) * 2022-11-13 2023-03-07 复旦大学 一种基于虚拟现实技术的平衡功能训练设备和方法
CN115644823A (zh) * 2022-12-12 2023-01-31 中国科学院苏州生物医学工程技术研究所 康复效果动态预测及个体化干预方法和系统
CN219940582U (zh) * 2023-05-08 2023-11-03 首都医科大学附属北京天坛医院 一种下肢多模态信号综合采集系统
CN117298452A (zh) * 2023-11-28 2023-12-29 首都医科大学附属北京天坛医院 经颅交流电刺激的虚拟现实辅助下的下肢康复系统

Similar Documents

Publication Publication Date Title
Sartori et al. Neural data-driven musculoskeletal modeling for personalized neurorehabilitation technologies
US10092205B2 (en) Methods for closed-loop neural-machine interface systems for the control of wearable exoskeletons and prosthetic devices
US10004455B2 (en) Realtime biofeedback mechanism and data presentation for knee injury rehabilitation monitoring and a soft real time intelligent system thereof
CN108939436B (zh) 一种健侧患侧协同的主动下肢训练系统及其操作方法
CN117298452B (zh) 经颅交流电刺激的虚拟现实辅助下的下肢康复系统
Pan et al. Motor function assessment of upper limb in stroke patients
CN111773539A (zh) 一种基于实景与虚拟场景结合的神经康复训练装置
Manap et al. Anomaly gait classification of parkinson disease based on ann
Zhao et al. Multimodal sensing in stroke motor rehabilitation
CN117297583A (zh) 多模本体感知觉障碍评估系统和下肢运动模型构建系统
CN113869217A (zh) 一种用于获取图像识别数据的方法和系统
Uhlrich Gait modifications for knee osteoarthritis: Design, evaluation, and clinical translation
Shrader et al. Instrumented Gait Analysis in the Care of Children with Cerebral Palsy
Pollicini Why should 3D Gait Analysis be included in the Walking Pattern Assessment of individuals with Spinal Cord Injury?: Biomechanical analysis of gait and gait patterns in individuals with spinal cord injury
Agarwal Quantification of Mechanisms of Human Seated Balance using System Identification
Zarshenas EMG-Informed Estimation of Human Walking Dynamics for Assistive Robots
Bakke Different Strokes for Different Folks: Patient-Specific Gait Modelling and Post-Stroke Rehabilitation
Martin Gait adaptability and biofeedback in older adults with diabetes
Mohammed The effect of spring loaded single-hip support cane mechanisms on upper and affected lower limb ground reaction forces, muscle activity, and self-perceived ease of use
Busink Development and Technical Validation of a Gait-Synchronised Vibratory Stimulation System for Patients with Parkinson’s Disease
OSAWA et al. Challenges in gait training methods and application of machine learning
Rusu et al. Complex approaches for gait assessment in neurorehabilitation
Eveld The Design, Implementation, and Assessment of Stumble Recovery Behaviors for Robotic Lower-Limb Prostheses and Exoskeletons
Hu Gait regulation in individuals with unilateral transfemoral amputation: from neural dynamics to movement coordination
Ma Patient-specific neuromusculoskeletal models for improving the effectiveness of human-inspired gait rehabilitation robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination