CN113391701B - 一种融合虚拟现实游戏和意图识别的康复训练方法及系统 - Google Patents

一种融合虚拟现实游戏和意图识别的康复训练方法及系统 Download PDF

Info

Publication number
CN113391701B
CN113391701B CN202110658201.0A CN202110658201A CN113391701B CN 113391701 B CN113391701 B CN 113391701B CN 202110658201 A CN202110658201 A CN 202110658201A CN 113391701 B CN113391701 B CN 113391701B
Authority
CN
China
Prior art keywords
level
training
range
patient
training level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110658201.0A
Other languages
English (en)
Other versions
CN113391701A (zh
Inventor
张静莎
李增勇
张腾宇
潘国新
任韦燕
王珏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Research Center for Rehabilitation Technical Aids
Original Assignee
National Research Center for Rehabilitation Technical Aids
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Research Center for Rehabilitation Technical Aids filed Critical National Research Center for Rehabilitation Technical Aids
Priority to CN202110658201.0A priority Critical patent/CN113391701B/zh
Publication of CN113391701A publication Critical patent/CN113391701A/zh
Application granted granted Critical
Publication of CN113391701B publication Critical patent/CN113391701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • A63F13/493Resuming a game, e.g. after pausing, malfunction or power failure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)

Abstract

本申请提供了一种融合虚拟现实游戏和意图识别的康复训练方法及系统,获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中患者的历史存档状态,确定出患者此次康复训练的初始训练关卡以及终极训练关卡;从初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取患者在当前训练关卡中的情绪状态和脑激活度;基于情绪状态、脑激活度和预设脑激活度阈值范围,确定当前关卡的调整方案,并基于调整方案调整当前训练关卡至目标训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练。这样,本申请通过获取患者的情绪状态和脑激活度,及时进行游戏关卡调节,从而可以有效调动患者的积极性,并提高康复训练的效果。

Description

一种融合虚拟现实游戏和意图识别的康复训练方法及系统
技术领域
本申请涉及康复训练领域,尤其是涉及一种融合虚拟现实游戏和意图识别的康复训练方法及系统。
背景技术
据统计,我国脑卒中每年新发250万例(约每12秒1例),且呈逐年上涨趋势,尽管接受康复治疗,但仍有60-80%的脑卒中患者有不同程度的肢体运动功能障碍,严重影响了患者的生活质量,给家庭和社会带来沉重的负担。康复训练是患者恢复肢体运动功能的最重要手段。现在患者的康复训练方案仅是根据患者的肢体功能评估情况进行制定的,而患者在康复训练过程中的主观意愿和神经参与度没有充分考虑,不能有效调动患者训练的积极性,导致康复训练效果并不理想。
发明内容
有鉴于此,本申请的目的在于提供一种融合虚拟现实游戏和意图识别的康复训练方法及系统,充分考虑了患者待训练部位的肌力情况和关节活动度情况,通过情绪状态指标和脑激活度指标,及时进行游戏关卡调节,从而可以有效的调动患者训练的积极性,进而提高康复训练的效果。
本申请实施例提供了一种融合虚拟现实游戏和意图识别的康复训练方法,所述康复训练方法包括:
获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中所述患者的历史存档状态;
基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
基于所述肌力范围中的肌力最大值以及所述关节活动度范围中的关节活动度最大值,确定所述患者此次康复训练的终极训练关卡;
从所述初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取所述患者在当前训练关卡中的情绪状态和脑激活度;
基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,并基于所述调整方案调整所述当前训练关卡至目标训练关卡,将所述目标训练关卡作为当前训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练;其中,所述目标训练关卡不超过所述终极训练关卡。
可选的,所述基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡,包括:
当所述历史存档状态为空档时,基于所述肌力范围的肌力最小值以及关节活动度范围中的关节活动度最小值,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
当所述历史存档状态不为空档时,将所述历史存档中保存的上次康复训练的结束关卡,确定为所述患者此次康复训练的初始训练关卡。
可选的,通过以下步骤确定所述患者待训练部位的肌力范围和关节活动度范围;
分别获取患者待训练部位在多种情绪状态下的肌电信号和关节活动度信号;
针对于每种情绪状态,基于该情绪状态下获取到的肌电信号和关节活动度信号,确定所述患者在该情绪状态下的第一活动度最大值以及第一肌力最大值;
将多个第一活动度最大值中的最小值确定为第二活动度最小值,将多个第一活动度最大值中的最大值确定为第二活动度最大值,将多个第一肌力最大值的最小值确定为第二肌力最小值,将多个第一肌力最大值的最大值确定为第二肌力最大值;
基于所述第二活动度最小值和所述第二活动度最大值,确定所述关节活动度范围,基于所述第二肌力度最小值和所述第二肌力最大值,确定所述肌力范围。
可选的,通过以下步骤确定所述患者在当前训练关卡中的情绪状态和脑激活度:
获取在当前训练关卡中所述患者的面部图像信息和脑血氧信息;
通过预先训练好的情绪识别模型,对所述患者的面部图像信息进行特征提取,确定所述患者的情绪状态;
对所述患者的脑血氧信息进行小波分析,确定所述脑血氧信息的小波幅值;
基于确定出的所述脑血氧信息的小波幅值,确定所述患者的脑激活度。
可选的,所述情绪状态包括积极情绪、消极情绪以及中性情绪,所述基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,包括:
判断所述情绪状态是否为中性情绪或所述脑激活度是否位于所述预设脑激活度阈值范围内;
当任一项为是时,所述调整方案为将所述当前训练关卡作为所述目标训练关卡;
当两项都为否时,当所述情绪状态为消极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为消极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为积极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡;
当所述情绪状态为积极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡。
可选的,所述虚拟现实游戏为VR贪吃蛇游戏,通过以下步骤构建所述待训练部位的游戏关卡库:
获取待训练部位的人体关节活动度极限范围以及肌力极限范围;
将所述人体关节活动度极限范围作为所述VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围;
基于所述肌力极限范围,确定待训练部位的极限活动范围,并将所述极限范围作为所述VR贪吃蛇游戏中贪吃蛇的极限活动范围:
基于所述贪吃蛇的转弯夹角极限范围和所述贪吃蛇的极限活动范围,确定每一训练关卡中贪吃蛇的转弯夹角极限范围和贪吃蛇的极限活动范围,以及确定每一训练关卡的游戏时间;
基于确定出的多个训练关卡,构建所述待训练部位的游戏关卡库。
可选的,通过以下公式,计算肌力值:
Figure BDA0003114146260000041
其中,F为肌力值,Xi为原始肌电信号,N为肌电信号对应的时间窗长度,γ为矫正系数,α为关节活动角度;
其中,
Figure BDA0003114146260000042
其中,
Figure BDA0003114146260000043
为时间窗长度N内的关节活动角度的变化,max为该待训练部位人体的极限运动角度。
可选的,通过以下公式计算所述待训练部位的活动范围:
Figure BDA0003114146260000051
其中,L是待训练部位的活动范围,l为待训练部位的肢干长度,F为待训练部位的肌力最大值。
本申请实施例还提供了一种融合虚拟现实游戏和意图识别的康复训练系统,所述康复训练系统包括:
第一获取模块,用于获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中所述患者的历史存档状态;
第一确定模块,用于基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
第二确定模块,用于基于所述肌力范围中的肌力最大值以及所述关节活动度范围中的关节活动度最大值,确定所述患者此次康复训练的终极训练关卡;
第二获取模块,用于从所述初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取所述患者在当前训练关卡中的情绪状态和脑激活度;
关卡调整模块,用于基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,并基于所述调整方案调整所述当前训练关卡至目标训练关卡,将所述目标训练关卡作为当前训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练;其中,所述目标训练关卡不超过所述终极训练关卡。
可选的,所述第一确定模块在用于基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡时,所述第一确定模块用于:
当所述历史存档状态为空档时,基于所述肌力范围的肌力最小值以及关节活动度范围中的关节活动度最小值,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
当所述历史存档状态不为空档时,将所述历史存档中保存的上次康复训练的结束关卡,确定为所述患者此次康复训练的初始训练关卡。
可选的,所述康复训练系统还包括第三确定模块,所述第三确定模块用于:
分别获取患者待训练部位在多种情绪状态下的肌电信号和关节活动度信号;
针对于每种情绪状态,基于该情绪状态下获取到的肌电信号和关节活动度信号,确定所述患者在该情绪状态下的第一活动度最大值以及第一肌力最大值;
将多个第一活动度最大值中的最小值确定为第二活动度最小值,将多个第一活动度最大值中的最大值确定为第二活动度最大值,将多个第一肌力最大值的最小值确定为第二肌力最小值,将多个第一肌力最大值的最大值确定为第二肌力最大值;
基于所述第二活动度最小值和所述第二活动度最大值,确定所述关节活动度范围,基于所述第二肌力度最小值和所述第二肌力最大值,确定所述肌力范围。
可选的,所述康复训练系统还包括第四确定模块,所述第四确定模块用于:
获取在当前训练关卡中所述患者的面部图像信息和脑血氧信息;
通过预先训练好的情绪识别模型,对所述患者的面部图像信息进行特征提取,确定所述患者的情绪状态;
对所述患者的脑血氧信息进行小波分析,确定所述脑血氧信息的小波幅值;
基于确定出的所述脑血氧信息的小波幅值,确定所述患者的脑激活度。
可选的,所述情绪状态包括积极情绪、消极情绪以及中性情绪,所述关卡调整模块在用于基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案时,所述关卡调整模块用于:
判断所述情绪状态是否为中性情绪或所述脑激活度是否位于所述预设脑激活度阈值范围内;
当任一项为是时,所述调整方案为将所述当前训练关卡作为所述目标训练关卡;
当两项都为否时,当所述情绪状态为消极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为消极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为积极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡;
当所述情绪状态为积极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡。
可选的,所述虚拟现实游戏为VR贪吃蛇游戏,所述康复训练系统还包括游戏构建模块,所述游戏构建模块用于:
获取待训练部位的人体关节活动度极限范围以及肌力极限范围;
将所述人体关节活动度极限范围作为所述VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围;
基于所述肌力极限范围,确定待训练部位的极限活动范围,并将所述极限范围作为所述VR贪吃蛇游戏中贪吃蛇的极限活动范围:
基于所述贪吃蛇的转弯夹角极限范围和所述贪吃蛇的极限活动范围,确定每一训练关卡中贪吃蛇的转弯夹角极限范围和贪吃蛇的极限活动范围,以及确定每一训练关卡的游戏时间;
基于确定出的多个训练关卡,构建所述待训练部位的游戏关卡库。
可选的,所述游戏构建模块还用于,通过以下公式,计算肌力值:
Figure BDA0003114146260000081
其中,F为肌力值,Xi为原始肌电信号,N为肌电信号对应的时间窗长度,γ为矫正系数,α为关节活动角度;
其中,
Figure BDA0003114146260000082
其中,
Figure BDA0003114146260000083
为时间窗长度N内的关节活动角度的变化,max为该待训练部位人体的极限运动角度。
可选的,所述游戏构建模块还用于,通过以下公式计算所述待训练部位的活动范围:
Figure BDA0003114146260000084
其中,L是待训练部位的活动范围,l为待训练部位的肢干长度,F为待训练部位的肌力最大值。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的融合虚拟现实游戏和意图识别的康复训练方法的步骤。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述的融合虚拟现实游戏和意图识别的康复训练方法的步骤。
这样,本申请能够通过实时采集患者的面部图像信息和脑血氧信息,得到患者的情绪状态和脑激活度指标,根据患者的情绪状态和脑激活度指标及时调整用于康复训练的VR游戏的训练关卡,从而可以在患者意图的基础上,充分调动患者训练的积极性以及提高康复训练效果。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种融合虚拟现实游戏和意图识别的康复训练方法的流程图;
图2为本申请实施例所提供的一种融合虚拟现实游戏和意图识别的康复训练系统的结构示意图之一;
图3为本申请实施例所提供的一种融合虚拟现实游戏和意图识别的康复训练系统的结构示意图之二;
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
经研究发现,现在患者的康复训练方案仅是根据患者的肢体功能评估情况进行制定的,而患者在康复训练过程中的主观意愿和神经参与度没有充分考虑,不能有效调动患者训练的积极性,导致康复训练效果并不理想。
基于此,本申请实施例提供了一种融合虚拟现实游戏和意图识别的康复训练方法,通过情绪状态指标和脑激活度指标,及时进行游戏关卡调节,从而可以有效的调动患者训练的积极性,进而提高康复训练的效果。
请参阅图1,图1为本申请实施例所提供的一种融合虚拟现实游戏和意图识别的康复训练方法的流程图。如图1中所示,本申请实施例提供的融合虚拟现实游戏和意图识别的康复训练方法,包括:
S101、获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中所述患者的历史存档状态。
该步骤中,在对患者进行康复训练前,获取待训练患者的待训练部位的肌力范围和关节活动度范围,并在本地数据库或云端数据库中查找待训练患者的虚拟现实游戏中的存档情况。
这里,虚拟现实游戏为VR游戏,肌力为肢体作随意运动时肌肉收缩的力量。待训练部位可以为上肢也可以为下肢。
示例的,当待训练部位为上肢时,获取的肌力范围可以为综合考虑上肢肱桡肌肌力、肱二头肌肌力后,确定出的上肢肌力范围;待训练部位为上肢时,获取的关节活动度可以为肩关节活动度范围和肘关节活动度范围,但是上肢进行康复训练时,肩关节的活动会带动肘关节的活动,所以获取的患者的关节活动度范围可以为患者肩关节的活动度范围。
可选的,通过以下步骤确定所述患者待训练部位的肌力范围和关节活动度范围;分别获取患者待训练部位在多种情绪状态下的肌电信号和关节活动度信号;针对于每种情绪状态,基于该情绪状态下获取到的肌电信号和关节活动度信号,确定所述患者在该情绪状态下的第一活动度最大值以及第一肌力最大值;将多个第一活动度最大值中的最小值确定为第二活动度最小值,将多个第一活动度最大值中的最大值确定为第二活动度最大值,将多个第一肌力最大值的最小值确定为第二肌力最小值,将多个第一肌力最大值的最大值确定为第二肌力最大值;基于所述第二活动度最小值和所述第二活动度最大值,确定所述关节活动度范围,基于所述第二肌力度最小值和所述第二肌力最大值,确定所述肌力范围。
该步骤中,通过以下步骤确定患者的待训练部位的肌力范围和关节活动度范围:首先,通过肌电信号采集装置获取待训练患者的待训练部位在多种情绪状态下的肌电信号,通过关节活动度采集装置获取待训练患者的待训练部位在多种情绪状态下的关节活动度信号;这里,多种情绪可以包括消极情绪、积极情绪以及中性情绪,并且每种情绪下可以获取多个肌电信号以及多个关节活动度信号。
然后,针对于每种情绪状态下获取的多个肌电信号,通过肌力计算公式,计算得到该情绪状态下的多个肌力值,然后在确定出的多个肌力值中确定出该情绪状态下肌力最大值,这里,也可以将多个肌力值相加求均值,将肌力均值作为该情绪状态下的肌力最大值;针对于每种情绪状态下获取的多个关节活动度信号,对关节活动度进行分析,可以确定出患者在该情绪状态下的多个关节活动度值,然后在确定出的多个关节活动度值中确定出该情绪状态下关节活动度最大值,这里,也可以将多个关节活动度相加求均值,将关节活动度均值作为该情绪状态下的关节活动度最大值。
再然后,基于确定出的患者在每种情绪状态下的肌力最大值和关节活动度最大值,得到多个肌力最大值和多个关节活动度最大值;在确定出的多个肌力最大值中再筛选出最小值和最大值,在确定出的多个关节活动度最大值中再筛选出最大值和最小值。
最后,基于从多个关节活动度最大值中筛选出的最小值和最大值,确定患者的待训练部位的关节活动度范围;基于从多个肌力最大值中筛选出的最小值和最大值,确定患者的待训练部位的肌力范围。
S102、基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡。
该步骤中,确定出患者的待训练部位的肌力范围和关节活动度范围、以及确定所述患者虚拟现实游戏中的历史存档状态后,根据患者待训练部位的肌力范围中的阈值和关节活动度中的阈值和游戏存档状态,确定所述患者在此次康复训练过程中最初开始训练的关卡,即初始训练关卡。
这里,确定的初始训练关卡,是根据需要训练的部位,从预先构建好的待训练部位的游戏关卡库中选取的。这里,预先构建的游戏关卡库中,可以存储与训练部位对应的游戏关卡库,例如,可以存储上肢康复训练的游戏关卡库,可以存储下肢康复训练的游戏关卡库,也可以存储手部康复训练的关卡库,因此,可以存储多个人体部位对应的关卡库,形成存档于可进行多部位康复训练的游戏关卡库。
可选的,所述基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡,包括:当所述历史存档状态为空档时,基于所述肌力范围的肌力最小值以及关节活动度范围中的关节活动度最小值,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;当所述历史存档状态不为空档时,将所述历史存档中保存的上次康复训练的结束关卡,确定为所述患者此次康复训练的初始训练关卡。
该步骤中,根据肌力范围、关节活动度范围以及历史存档状态,从预先构建好的待训练部位的游戏关卡库中确定患者此处康复训练的初始关卡可以具体为:当从本地数据库或云端数据库,没有查询到患者的虚拟现实游戏的历史存档数据,即所述患者的历史存档数据为空档时,也就是说患者为首次进行康复训练。此刻可以根据评估得到的患者肌力范围中的肌力最小值和关节活动度范围中的关节活动度最小值,选取此次进行康复训练的初始训练关卡。
当从本地数据库或云端数据库中,可以获取到患者的虚拟现实游戏的历史存档数据,即患者的历史存档状态不为空档,也就是说,该患者已经进行过康复训练了,此时,可以将上次训练结束时存储的训练关卡,确定为患者此次进行康复训练的初始训练关卡。
需要说明的,之所以根据患者的肌力范围和关节活动度范围,确定患者此次康复训练的初始关卡,是因为在构建虚拟现实康复训练游戏时,也是根据人体的肌力情况和关节活动度情况,进行游戏构建。
可选的,所述虚拟现实游戏为VR贪吃蛇游戏,通过以下步骤构建所述待训练部位的游戏关卡库:获取待训练部位的人体关节活动度极限范围以及肌力极限范围;将所述人体关节活动度极限范围作为所述VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围;基于所述肌力极限范围,确定待训练部位的极限活动范围,并将所述极限范围作为所述VR贪吃蛇游戏中贪吃蛇的极限活动范围:基于所述贪吃蛇的转弯夹角极限范围和所述贪吃蛇的极限活动范围,确定每一训练关卡中贪吃蛇的转弯夹角极限范围和贪吃蛇的极限活动范围,以及确定每一训练关卡的游戏时间;基于确定出的多个训练关卡,构建所述待训练部位的游戏关卡库。
该步骤中,构建的可用于进行康复训练的虚拟现实游戏为VR贪吃蛇游戏,具体的构建步骤为:首先,针对于可通过VR贪吃蛇游戏进行康复训练的康复训练的部位,分别构建待训练部位的游戏关卡库。
然后,根据需要构建的该训练部位的游戏关卡库,获取该训练部位的人体关节活动度极限范围和肌力极限范围。这里,可以通过医学研究资料确定该训练部位的人体关节活动度极限范围以及肌力极限范围,或者通过获取分析多个人的待训练部位的肌电信号和关节活动度信号,确定人体的关节活动度极限范围和肌力极限范围。示例的,假设待训练部位为上肢,此时获取的人体关节活动度极限范围为,肩关节的活动度极限范围;获取肌力极限范围可以为综合考虑上肢肱桡肌、肱二头肌的肌电信号后,确定出的人体肌力极限范围。
可选的,可通过以下公式,计算肌力值:
Figure BDA0003114146260000131
其中,F为肌力值,Xi为原始肌电信号,N为肌电信号对应的时间窗长度,γ为矫正系数,α为关节活动角度;
其中,
Figure BDA0003114146260000132
其中,
Figure BDA0003114146260000133
为时间窗长度N内的关节活动角度的变化,max为该待训练部位人体的极限运动角度。
需要说明的是,γ矫正系数可以由专家的专家经验进行人为设定,此外,在通过肌力计算公式计算肌力之前,为了提高计算肌力的准确度,还需要对获取到的肌电信号和关节活动度信号进行去工频干扰处理和滤波去噪声处理。
再然后,根据确定出的人体关节活动度极限范围,确定VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围。示例的,假设待训练部位为上肢,此时获取的人体关节活动度极限范围为肩关节的活动度极限范围,人体的肩关节的极限活动范围为0-180°,所以VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围为0-180°。需要说明的是,根据待训练部位的不同,VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围也会存在不同。
再然后,通过确定出待训练部位的肌力极限范围,确定待训练部位的极限活动范围,通过确定出的人体待训练部位的极限运动范围,确定VR贪吃蛇游戏中贪吃蛇的极限活动范围。例如,假设训练部位为上肢,假设人体上肢的极限运动范围为半径为60cm的区域,则VR贪吃蛇游戏中贪吃蛇的极限活动范围也为半径为60cm的区域。
可选的,可通过以下公式计算所述待训练部位的活动范围:
Figure BDA0003114146260000141
其中,L是待训练部位的活动范围,l为待训练部位的肢干长度,F为待训练部位的肌力最大值。
这样,基于确定出的多人的待训练部位的活动范围,确定待训练部位的机械活动范围,并将确定出的极限范围作为VR贪吃蛇游戏中贪吃蛇的极限活动范围。
最后,基于确定出的贪吃蛇的转弯夹角极限范围和所述贪吃蛇的极限活动范围,确定每一训练关卡中贪吃蛇的转弯夹角极限范围和贪吃蛇的极限活动范围,并确定每一训练关卡的游戏时间,基于此,确定出多个待训练部位的训练关卡。基于确定出的多个训练关卡,构建待训练部位的游戏关卡库。
这里,每一训练关卡的游戏时间的设定,可有专业人员根据经验进行人为设定。其中,随着关卡的数值增大,对应的关卡难度系数也随之增加,比如,第4训练关卡的难度高于第3训练关卡。
示例的,假设待训练部位为上肢时,具体的游戏设置,可为下表中所示:
Figure BDA0003114146260000151
S103、基于所述肌力范围中的肌力最大值以及所述关节活动度范围中的关节活动度最大值,确定所述患者此次康复训练的终极训练关卡。
该步骤中,确定出患者的此次康复训练的初始训练关卡后,根据所述患者的待训练部位的肌力范围中的肌力最大值和所述患者的待训练部位的关节活动度范围中的关节活动度最大值,从预先构建好的待训练部位的游戏关卡库中,确定患者此次康复训练的终极训练关卡。
这里,确定患者此次康复训练的终极训练关卡的目的,是为了防止患者在训练过程中,选择超出自身情况的高难度训练关卡,从而造成过度训练。
需要说明的是,之所以通过肌力范围中的肌力最小值和关节活动度范围中的关节活动度最小值,确定初始训练关卡,以及通过肌力范围中的肌力最大值和关节活动度范围中的关节活动度最大值,确定终极训练关卡,是因为在进行待训练部位的游戏关卡库构建的过程中,是基于待训练部位的肌力值和关节活动度值,进行游戏构建的。
S104、从所述初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取所述患者在当前训练关卡中的情绪状态和脑激活度。
该步骤中,在患者通过初始训练关卡进行康复训练后,为了确定待训练患者的训练状态,以及当前训练关卡是否适合所述患者的训练情况,在康复训练过程中,可实时获取患者在当前训练关卡中的情绪状态和脑激活度。
可选的,通过以下步骤确定所述患者在当前训练关卡中的情绪状态和脑激活度:获取在当前训练关卡中所述患者的面部图像信息和脑血氧信息;通过预先训练好的情绪识别模型,对所述患者的面部图像信息进行特征提取,确定所述患者的情绪状态;对所述患者的脑血氧信息进行小波分析,确定所述脑血氧信息的小波幅值;基于确定出的所述脑血氧信息的小波幅值,确定所述患者的脑激活度。
该步骤中,可通过以下步骤确定患者在当前训练关卡中的情绪状态和脑激活度:首先,通过图像采集装置获取患者在当前训练关卡中所述患者的面部图像信息,通过脑功能采集系统采集患者的脑血氧信息。这里图像采集装置可以为高清摄像头,脑功能采集系统可以为近红外脑功能采集系统。
然后,根据获取到的患者的面部图像信息,通过预先训练好的情绪识别模型,对患者的面部图像信息中的可以表征患者情绪状态的特征进行提取,并对提取的特征进行分析,从而确定出所述患者在当前训练关卡中的情绪状态。这里,患者的情绪状态包括积极情绪、消极情绪以及中性情绪。
再然后,通过对获取的患者的脑血氧信息,进行小波分析,计算脑血氧信息的小波幅值,根据计算得到的小波幅值,确定患者的大脑激活度。这里,利用复数域的Morlet小波进行小波分析,计算脑血氧信号的小波幅值,其中,脑血氧信息的小波分析是对系数进行时域均值运算得到小波系数频域均值,最后在频域上对所述小波系数频域均值积分得到小波幅值。
需要说明的是,在基于面部图像信息确定患者情绪状态和通过脑血氧信息确定患者的脑激活度之前,需要对采集到的面部图像信息和脑血氧信息进行预处理,去除信号噪声和伪迹。这里,面部图像信息的预处理包括利用高斯滤波器去除孤点噪声、灰度归一化进行人脸图像增强。脑血氧信息预处理包括利用滑动平均窗口平均化异常数据,去除脑血氧信息中的脉冲型干扰噪声;利用巴特沃斯滤波去除长距离的基线漂移且最大程度地保留信号的幅值和相位信息。
此外,情绪识别模型的构建,可以通过样本用户的图像特征作为输入,样本用户的情绪状态标签作为输出,训练预先构建好的卷积神经网络,当达到模型训练结束条件时,结束训练,得到情绪识别模型。这里,卷积神经网络包括3个卷积层,每个卷积层后都有个池化层,然后是全连接层,最后用softmax进行情绪识别,情绪类型包括消极情绪、积极情绪和中性情绪。
S105、基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,并基于所述调整方案调整所述当前训练关卡至目标训练关卡,将所述目标训练关卡作为当前训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练;其中,所述目标训练关卡不超过所述终极训练关卡。
该步骤中,通过确定出患者的情绪状态和患者的脑激活度后,基于患者的情绪状态中的具体情绪状态,患者的脑激活度和预设脑激活度预设阈值范围的归属情况,确定出是否需要对当前关卡进行调整的调整方案,确定出当前关卡对应的目标关卡;并结束当前关卡的训练,跳转至目标训练关卡进行继续康复训练,直至达到预设训练时间,结束患者的此次康复训练。
这里,预设训练时间的设定,可以为医疗人员通过对该患者的情况进行综合分析后,确定的时间;也可以为医疗人员通过分析多个患者该待训练部位的损伤情况,确定出的适合于该待训练部位的训练时间;预设脑激活度阈值范围可以为给每个患者设定一个独有的脑激活度阈值范围,也可以为所有患者使用同一个脑激活度阈值范围,这里预设脑激活度预设范围的确定,是通过对患者在不同情绪状态下的脑血氧信息进行综合分析确定的。
此外,在患者进行康复训练的过程中,可以根据患者的训练状态给予及时反馈。例如,当患者顺利通过某一训练关卡后,可以给予一定的语音激励,如“恭喜您闯关成功,您的训练效果非常好,请继续努力继续加油”;或者当患者在某一训练关卡失败时,给予一定的语音激励信息。
可选的,所述情绪状态包括积极情绪、消极情绪以及中性情绪,所述基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,包括:判断所述情绪状态是否为中性情绪或所述脑激活度是否位于所述预设脑激活度阈值范围内;当任一项为是时,所述调整方案为将所述当前训练关卡作为所述目标训练关卡;当两项都为否时,当所述情绪状态为消极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;当所述情绪状态为消极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;当所述情绪状态为积极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡;当所述情绪状态为积极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡。
该步骤中,当前关卡的调整方案,可通过以下步骤确定:判断患者在当前训练关卡的情绪状态是否为中性情绪或者患者在当前训练关卡的脑激活度是否位于预设脑激活度阈值范围内,当满足任一项为是时,说明患者适合于当前的训练关卡,此时就将当前训练关卡作为患者的目标训练关卡,继续进行康复训练,直至到达预设结束时间时,结束患者的此次康复训练。
当患者的情绪状态不为中性情绪,且患者的脑激活不在预设脑激活度阈值范围时,说明当前的训练关卡并不适合于患者进行该待训练部位的康复训练,需要确定出新的训练关卡作为患者的目标训练关卡。具体的可以包括:当患者的情绪状态为消极状态时,且患者的脑激活度低于预设脑激活阈值范围时,说明患者的康复训练主动性不高,大脑参与度比较低,此时,将关卡值比当前训练关卡的关卡值小于第一预设数值的训练关卡作为目标训练关卡,这里第一预设数值可以为2、4等数值。例如当患者的当前训练关卡为第8训练关卡时,第一预设数值为2时,检测到患者的情绪为消极情绪且脑激活度低于预设脑激活度阈值时,将第6训练关卡作为患者的目标训练关卡。
当患者的情绪状态为消极状态时,且患者的脑激活度高于预设脑激活阈值范围时,说明患者的康复训练主动性不高,但大脑参与度较高,此时,将关卡值比当前训练关卡的关卡值小于第二预设数值的训练关卡作为目标训练关卡,这里第二预设数值可以为1、3等数值。例如当患者的当前训练关卡为第8训练关卡时,第一预设数值为1时,检测到患者的情绪为消极情绪且脑激活度高于预设脑激活度阈值时,将第7训练关卡作为患者的目标训练关卡。
当患者的情绪状态为积极状态时,且患者的脑激活度低于预设脑激活阈值范围时,说明患者的康复训练主动性较高,但当前训练关卡以不能满足用户的康复训练。此时,将关卡值比当前训练关卡的关卡值大于第二预设数值的训练关卡作为目标训练关卡。例如当患者的当前训练关卡为第8训练关卡时,第二设数值为2时,检测到患者的情绪为积极情绪且脑激活度低于预设脑激活度阈值时,将第10训练关卡作为患者的目标训练关卡。
当患者的情绪状态为积极状态时,且患者的脑激活度高于预设脑激活阈值范围时,说明患者的康复训练主动性较高,大脑参与度较高,但当前训练关卡以不能满足用户的康复训练。此时,将关卡值比当前训练关卡的关卡值大于第一预设数值的训练关卡作为目标训练关卡。例如当患者的当前训练关卡为第8训练关卡时,第一设数值为1时,检测到患者的情绪为积极情绪且脑激活度高于预设脑激活度阈值时,将第9训练关卡作为患者的目标训练关卡。
这里,第一预设数值可以大于第二预设数值,也可以等于第二预设数值。
需要说明的是,确定出的目标训练关卡,不得低于游戏关卡库中的最小训练关卡,以及不得不超过患者的终极训练关卡,如果低于游戏关卡库中的最小训练关卡时,将最小关卡作为目标训练关卡,当高于终极训练关卡时,将终极训练关卡作为患者的目标训练关卡。
此外,当患者顺利通过一个训练关卡后,可以直接跳到下一训练关卡,进行继续训练,并在此训练关卡中继续实时采集患者的情绪状态和脑激活度,确定此时的当前训练关卡的调整方案。
可选的,在结束本次康复训练后,所述康复训练方法还包括:将本次康复训练的游戏数据存储到本地数据库和云端数据库,并生成本次康复训练的评估报告。
该步骤中,在患者结束此次康复训练后,可以将本次康复训练的游戏数据存储至本地数据库或者云端数据库中,并根据本次训练的数据,生成该患者本次康复训练的评估报告。
这里,存储的游戏数据可以包括本次训练结束时的训练关卡,以供患者下次继续进行康复训练。生成的评估报告,可以通过贪吃蛇的长度、通过的训练关卡数、以及失败的训练关卡数,对该患者的本次训练进行打分,并生成该患者的本次康复训练的评估报告。
本申请实施例提供的融合虚拟现实游戏和意图识别的康复训练方法,所述康复训练方法包括:获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中所述患者的历史存档状态;基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;基于所述肌力范围中的肌力最大值以及所述关节活动度范围中的关节活动度最大值,确定所述患者此次康复训练的终极训练关卡;从所述初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取所述患者在当前训练关卡中的情绪状态和脑激活度;基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,并基于所述调整方案调整所述当前训练关卡至目标训练关卡,将所述目标训练关卡作为当前训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练;其中,所述目标训练关卡不超过所述终极训练关卡。
这样,本申请能够通过实时采集患者的面部图像信息和脑血氧信息,得到患者的情绪状态和脑激活度指标,根据患者的情绪状态和脑激活度指标及时调整用于康复训练的VR游戏的训练关卡,从而可以在患者意图的基础上,充分调动患者训练的积极性以及提高康复训练效果。
请参阅图2、图3,图2为本申请实施例所提供的一种融合虚拟现实游戏和意图识别的康复训练系统的结构示意图之一,图3为本申请实施例所提供的一种融合虚拟现实游戏和意图识别的康复训练系统的结构示意图之二。如图2中所示,所述康复训练系统200包括:
第一获取模块210,用于获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中所述患者的历史存档状态;
第一确定模块220,用于基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
第二确定模块230,用于基于所述肌力范围中的肌力最大值以及所述关节活动度范围中的关节活动度最大值,确定所述患者此次康复训练的终极训练关卡;
第二获取模块240,用于从所述初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取所述患者在当前训练关卡中的情绪状态和脑激活度;
关卡调整模块250,用于基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,并基于所述调整方案调整所述当前训练关卡至目标训练关卡,将所述目标训练关卡作为当前训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练;其中,所述目标训练关卡不超过所述终极训练关卡。
可选的,所述第一确定模块220在用于基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡时,所述第一确定模块220用于:
当所述历史存档状态为空档时,基于所述肌力范围的肌力最小值以及关节活动度范围中的关节活动度最小值,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
当所述历史存档状态不为空档时,将所述历史存档中保存的上次康复训练的结束关卡,确定为所述患者此次康复训练的初始训练关卡。
可选的,如图3中所示,所述康复训练系统200还包括第三确定模块260,所述第三确定模块260用于:
分别获取患者待训练部位在多种情绪状态下的肌电信号和关节活动度信号;
针对于每种情绪状态,基于该情绪状态下获取到的肌电信号和关节活动度信号,确定所述患者在该情绪状态下的第一活动度最大值以及第一肌力最大值;
将多个第一活动度最大值中的最小值确定为第二活动度最小值,将多个第一活动度最大值中的最大值确定为第二活动度最大值,将多个第一肌力最大值的最小值确定为第二肌力最小值,将多个第一肌力最大值的最大值确定为第二肌力最大值;
基于所述第二活动度最小值和所述第二活动度最大值,确定所述关节活动度范围,基于所述第二肌力度最小值和所述第二肌力最大值,确定所述肌力范围。
可选的,所述康复训练系统200还包括第四确定模块270,所述第四确定模块270用于:
获取在当前训练关卡中所述患者的面部图像信息和脑血氧信息;
通过预先训练好的情绪识别模型,对所述患者的面部图像信息进行特征提取,确定所述患者的情绪状态;
对所述患者的脑血氧信息进行小波分析,确定所述脑血氧信息的小波幅值;
基于确定出的所述脑血氧信息的小波幅值,确定所述患者的脑激活度。
可选的,所述情绪状态包括积极情绪、消极情绪以及中性情绪,所述关卡调整模块250在用于基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案时,所述关卡调整模块250用于:
判断所述情绪状态是否为中性情绪或所述脑激活度是否位于所述预设脑激活度阈值范围内;
当任一项为是时,所述调整方案为将所述当前训练关卡作为所述目标训练关卡;
当两项都为否时,当所述情绪状态为消极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为消极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为积极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡;
当所述情绪状态为积极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡。
可选的,所述虚拟现实游戏为VR贪吃蛇游戏,所述康复训练系统200还包括游戏构建模块280,所述游戏构建模块280用于:
获取待训练部位的人体关节活动度极限范围以及肌力极限范围;
将所述人体关节活动度极限范围作为所述VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围;
基于所述肌力极限范围,确定待训练部位的极限活动范围,并将所述极限范围作为所述VR贪吃蛇游戏中贪吃蛇的极限活动范围:
基于所述贪吃蛇的转弯夹角极限范围和所述贪吃蛇的极限活动范围,确定每一训练关卡中贪吃蛇的转弯夹角极限范围和贪吃蛇的极限活动范围,以及确定每一训练关卡的游戏时间;
基于确定出的多个训练关卡,构建所述待训练部位的游戏关卡库。
可选的,所述游戏构建模块280还用于,通过以下公式,计算肌力值:
Figure BDA0003114146260000241
其中,F为肌力值,Xi为原始肌电信号,N为肌电信号对应的时间窗长度,γ为矫正系数,α为关节活动角度;
其中,
Figure BDA0003114146260000242
其中,
Figure BDA0003114146260000243
为时间窗长度N内的关节活动角度的变化,max为该待训练部位人体的极限运动角度。
可选的,所述游戏构建模块280还用于,通过以下公式计算所述待训练部位的活动范围:
Figure BDA0003114146260000244
其中,L是待训练部位的活动范围,l为待训练部位的肢干长度,F为待训练部位的肌力最大值。
请参阅图4,图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示,所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令,当电子设备400运行时,所述处理器410与所述存储器420之间通过总线430通信,所述机器可读指令被所述处理器410执行时,可以执行如上述图1所示方法实施例中的融合虚拟现实游戏和意图识别的康复训练方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的融合虚拟现实游戏和意图识别的康复训练方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种融合虚拟现实游戏和意图识别的康复训练方法,其特征在于,所述康复训练方法包括:
获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中所述患者的历史存档状态;
基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
基于所述肌力范围中的肌力最大值以及所述关节活动度范围中的关节活动度最大值,确定所述患者此次康复训练的终极训练关卡;
从所述初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取所述患者在当前训练关卡中的情绪状态和脑激活度;
基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,并基于所述调整方案调整所述当前训练关卡至目标训练关卡,将所述目标训练关卡作为当前训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练;其中,所述目标训练关卡不超过所述终极训练关卡;
所述情绪状态包括积极情绪、消极情绪以及中性情绪,所述基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,包括:
判断所述情绪状态是否为中性情绪或所述脑激活度是否位于所述预设脑激活度阈值范围内;
当任一项为是时,所述调整方案为将所述当前训练关卡作为所述目标训练关卡;
当两项都为否时,当所述情绪状态为消极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为消极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为积极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡;
当所述情绪状态为积极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡。
2.根据权利要求1所述的康复训练方法,其特征在于,所述基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡,包括:
当所述历史存档状态为空档时,基于所述肌力范围的肌力最小值以及关节活动度范围中的关节活动度最小值,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
当所述历史存档状态不为空档时,将所述历史存档中保存的上次康复训练的结束关卡,确定为所述患者此次康复训练的初始训练关卡。
3.根据权利要求1所述的康复训练方法,其特征在于,通过以下步骤确定所述患者待训练部位的肌力范围和关节活动度范围;
分别获取患者待训练部位在多种情绪状态下的肌电信号和关节活动度信号;
针对于每种情绪状态,基于该情绪状态下获取到的肌电信号和关节活动度信号,确定所述患者在该情绪状态下的第一活动度最大值以及第一肌力最大值;
将多个第一活动度最大值中的最小值确定为第二活动度最小值,将多个第一活动度最大值中的最大值确定为第二活动度最大值,将多个第一肌力最大值的最小值确定为第二肌力最小值,将多个第一肌力最大值的最大值确定为第二肌力最大值;
基于所述第二活动度最小值和所述第二活动度最大值,确定所述关节活动度范围,基于所述第二肌力度最小值和所述第二肌力最大值,确定所述肌力范围。
4.根据权利要求1所述的康复训练方法,其特征在于,通过以下步骤确定所述患者在当前训练关卡中的情绪状态和脑激活度:
获取在当前训练关卡中所述患者的面部图像信息和脑血氧信息;
通过预先训练好的情绪识别模型,对所述患者的面部图像信息进行特征提取,确定所述患者的情绪状态;
对所述患者的脑血氧信息进行小波分析,确定所述脑血氧信息的小波幅值;
基于确定出的所述脑血氧信息的小波幅值,确定所述患者的脑激活度。
5.根据权利要求1所述的康复训练方法,其特征在于,所述虚拟现实游戏为VR贪吃蛇游戏,通过以下步骤构建所述待训练部位的游戏关卡库:
获取待训练部位的人体关节活动度极限范围以及肌力极限范围;
将所述人体关节活动度极限范围作为所述VR贪吃蛇游戏中贪吃蛇的转弯夹角极限范围;
基于所述肌力极限范围,确定待训练部位的极限活动范围,并将所述极限范围作为所述VR贪吃蛇游戏中贪吃蛇的极限活动范围:
基于所述贪吃蛇的转弯夹角极限范围和所述贪吃蛇的极限活动范围,确定每一训练关卡中贪吃蛇的转弯夹角极限范围和贪吃蛇的极限活动范围,以及确定每一训练关卡的游戏时间;
基于确定出的多个训练关卡,构建所述待训练部位的游戏关卡库。
6.根据权利要求5所述的康复训练方法,其特征在于,通过以下公式,计算肌力值:
Figure FDA0003326687720000041
其中,F为肌力值,Xi为原始肌电信号,N为肌电信号对应的时间窗长度,γ为矫正系数,α为关节活动角度;
其中,
Figure FDA0003326687720000042
其中,
Figure FDA0003326687720000043
为时间窗长度N内的关节活动角度的变化,max为该待训练部位人体的极限运动角度。
7.一种融合虚拟现实游戏和意图识别的康复训练系统,其特征在于,所述康复训练系统包括:
第一获取模块,用于获取患者待训练部位的肌力范围和关节活动度范围,并判断虚拟现实游戏中所述患者的历史存档状态;
第一确定模块,用于基于所述肌力范围、所述关节活动度范围以及所述历史存档状态,从预先构建好的所述待训练部位的游戏关卡库中确定出所述患者此次康复训练的初始训练关卡;
第二确定模块,用于基于所述肌力范围中的肌力最大值以及所述关节活动度范围中的关节活动度最大值,确定所述患者此次康复训练的终极训练关卡;
第二获取模块,用于从所述初始训练关卡开始进行康复训练,并在康复训练过程中,实时获取所述患者在当前训练关卡中的情绪状态和脑激活度;
关卡调整模块,用于基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案,并基于所述调整方案调整所述当前训练关卡至目标训练关卡,将所述目标训练关卡作为当前训练关卡继续进行康复训练,直至达到预设训练时间,结束此次康复训练;其中,所述目标训练关卡不超过所述终极训练关卡;
可选的,所述情绪状态包括积极情绪、消极情绪以及中性情绪,所述关卡调整模块在用于基于所述情绪状态、所述脑激活度和预设脑激活度阈值范围,确定所述当前训练关卡的调整方案时,所述关卡调整模块用于:
判断所述情绪状态是否为中性情绪或所述脑激活度是否位于所述预设脑激活度阈值范围内;
当任一项为是时,所述调整方案为将所述当前训练关卡作为所述目标训练关卡;
当两项都为否时,当所述情绪状态为消极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为消极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值小于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不低于所述游戏关卡库中的最小训练关卡;
当所述情绪状态为积极状态且所述脑激活度低于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第二预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡;
当所述情绪状态为积极状态且所述脑激活度高于所述预设脑激活度阈值范围时,所述调整方案为将关卡值比所述当前训练关卡的关卡值大于第一预设数值的训练关卡,作为所述目标训练关卡,其中,所述目标训练关卡不超过所述终极训练关卡。
8.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至6任一所述的方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至6任一所述的方法的步骤。
CN202110658201.0A 2021-06-15 2021-06-15 一种融合虚拟现实游戏和意图识别的康复训练方法及系统 Active CN113391701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110658201.0A CN113391701B (zh) 2021-06-15 2021-06-15 一种融合虚拟现实游戏和意图识别的康复训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110658201.0A CN113391701B (zh) 2021-06-15 2021-06-15 一种融合虚拟现实游戏和意图识别的康复训练方法及系统

Publications (2)

Publication Number Publication Date
CN113391701A CN113391701A (zh) 2021-09-14
CN113391701B true CN113391701B (zh) 2021-12-07

Family

ID=77620877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658201.0A Active CN113391701B (zh) 2021-06-15 2021-06-15 一种融合虚拟现实游戏和意图识别的康复训练方法及系统

Country Status (1)

Country Link
CN (1) CN113391701B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113782148A (zh) * 2021-09-16 2021-12-10 安徽相王医疗健康股份有限公司 上肢负重联合肢体智能反馈训练系统
CN114392126B (zh) * 2022-01-24 2023-09-22 佳木斯大学 一种残疾儿童手部配合训练系统
CN115624678A (zh) * 2022-10-27 2023-01-20 上海韶脑传感技术有限公司 康复训练系统以及训练方法
CN116492563B (zh) * 2023-06-26 2023-11-03 慧创科仪(北京)科技有限公司 一种用于注意力缺陷障碍的康复训练装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104706499A (zh) * 2013-12-12 2015-06-17 中国科学院宁波材料技术与工程研究所 上肢脑神经康复训练系统及训练方法
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN106774906A (zh) * 2016-12-22 2017-05-31 南京邮电大学 一种基于情绪识别的康复机器人交互控制方法
CN108211242A (zh) * 2016-12-10 2018-06-29 上海邦邦机器人有限公司 一种交互式下肢康复训练系统及训练方法
CN108721048A (zh) * 2018-05-02 2018-11-02 南京邮电大学 康复训练控制方法、计算机可读存储介质和终端
CN209203256U (zh) * 2018-07-17 2019-08-06 广州科安康复专用设备有限公司 基于视觉-肌电生物反馈的肌肉损伤康复训练系统
CN110812798A (zh) * 2019-11-14 2020-02-21 复旦大学 基于vr的前臂内外旋转训练评估系统、方法及存储介质
CN111991762A (zh) * 2020-09-02 2020-11-27 冼鹏全 基于心理疗法的脑卒中患者可穿戴式上肢康复设备及协同工作方法
CN112932474A (zh) * 2021-01-26 2021-06-11 国家康复辅具研究中心 基于脑血氧和肌电信号的康复训练方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219226A1 (zh) * 2016-06-21 2017-12-28 马玉琴 康复训练系统、计算机、智能机械手臂以及虚拟现实头盔
KR102014176B1 (ko) * 2017-04-11 2019-08-26 재단법인대구경북과학기술원 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템
CN110302462B (zh) * 2019-08-06 2022-04-19 张铎 一种基于脑电信号的神经反馈训练系统
CN112870521A (zh) * 2021-01-11 2021-06-01 西安中盛凯新技术发展有限责任公司 一种沉浸式运动心理康复训练系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104706499A (zh) * 2013-12-12 2015-06-17 中国科学院宁波材料技术与工程研究所 上肢脑神经康复训练系统及训练方法
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN108211242A (zh) * 2016-12-10 2018-06-29 上海邦邦机器人有限公司 一种交互式下肢康复训练系统及训练方法
CN106774906A (zh) * 2016-12-22 2017-05-31 南京邮电大学 一种基于情绪识别的康复机器人交互控制方法
CN108721048A (zh) * 2018-05-02 2018-11-02 南京邮电大学 康复训练控制方法、计算机可读存储介质和终端
CN209203256U (zh) * 2018-07-17 2019-08-06 广州科安康复专用设备有限公司 基于视觉-肌电生物反馈的肌肉损伤康复训练系统
CN110812798A (zh) * 2019-11-14 2020-02-21 复旦大学 基于vr的前臂内外旋转训练评估系统、方法及存储介质
CN111991762A (zh) * 2020-09-02 2020-11-27 冼鹏全 基于心理疗法的脑卒中患者可穿戴式上肢康复设备及协同工作方法
CN112932474A (zh) * 2021-01-26 2021-06-11 国家康复辅具研究中心 基于脑血氧和肌电信号的康复训练方法及系统

Also Published As

Publication number Publication date
CN113391701A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN113391701B (zh) 一种融合虚拟现实游戏和意图识别的康复训练方法及系统
KR101666399B1 (ko) 다중 채널 표면 근전도에서의 신체 관절 운동학 정보 추출 방법, 이를 수행하기 위한 기록 매체 및 장치
Joshi et al. High energy spectrogram with integrated prior knowledge for EMG-based locomotion classification
CN108721048B (zh) 计算机可读存储介质和终端
Gradolewski et al. Arm EMG wavelet-based denoising system
Li et al. Several practical issues toward implementing myoelectric pattern recognition for stroke rehabilitation
Tepe et al. Classification of emg finger data acquired with myo armband
Putra et al. Electromyography (EMG) signal classification for wrist movement using naïve bayes classifier
Favieiro et al. Adaptive neuro-fuzzy logic analysis based on myoelectric signals for multifunction prosthesis control
CN108814569B (zh) 康复训练控制装置
Dzitac et al. Identification of ERD using fuzzy inference systems for brain-computer interface
CN110801227B (zh) 基于可穿戴设备的立体色块障碍测试的方法和系统
Hasan et al. Preliminary study on real-time prediction of gait acceleration intention from volition-associated EEG patterns
CN116312951A (zh) 一种基于多模态耦合分析的运动功能评估方法及其系统
JP6304626B2 (ja) リハビリテーション装置
Sun et al. A fault-tolerant algorithm to enhance generalization of EMG-based pattern recognition for lower limb movement
Planelles et al. First steps in the development of an EEG-based system to detect intention of gait initiation
Gorzkowski et al. Exploitation of EMG signals for video game control
CN112773379B (zh) 一种肌电信号的处理方法、处理设备以及存储介质
Choi et al. Detecting voluntary gait initiation/termination intention using EEG
CN112773381B (zh) 一种肌电信号的处理方法、处理设备以及存储介质
CN112394818A (zh) 基于脑可塑的动作辅助装置的运动意图辨识方法
Wahab et al. Analysis and classification of forearm muscles activities during gripping using EMG signals
Jasuja et al. Development of an extensible, wireless framework for personalized muscle rehabilitation
CN115985463B (zh) 一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant