CN115624678A - 康复训练系统以及训练方法 - Google Patents

康复训练系统以及训练方法 Download PDF

Info

Publication number
CN115624678A
CN115624678A CN202211325990.7A CN202211325990A CN115624678A CN 115624678 A CN115624678 A CN 115624678A CN 202211325990 A CN202211325990 A CN 202211325990A CN 115624678 A CN115624678 A CN 115624678A
Authority
CN
China
Prior art keywords
module
emotion
tester
training
online
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211325990.7A
Other languages
English (en)
Inventor
杨帮华
邹文辉
刘鹏
张永怀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shaonao Sensor Technology Co ltd
University of Shanghai for Science and Technology
Original Assignee
Shanghai Shaonao Sensor Technology Co ltd
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shaonao Sensor Technology Co ltd, University of Shanghai for Science and Technology filed Critical Shanghai Shaonao Sensor Technology Co ltd
Priority to CN202211325990.7A priority Critical patent/CN115624678A/zh
Publication of CN115624678A publication Critical patent/CN115624678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0072—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with application of electrical currents

Abstract

本申请提供一种康复训练系统以及训练方法，包括：情绪处理装置和情绪处理模块，情绪处理装置能够调整测试者的情绪状态；情绪处理模块电连接情绪处理装置，情绪处理模块能够识别所述测试者的情绪状态；如果测试者的情绪状态不佳，则情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。根据本申请的康复训练系统以及训练方法，能够识别和干预脑卒中患者情绪状态。

Description

康复训练系统以及训练方法
技术领域
本申请属于康复训练技术领域，具体涉及一种康复训练系统以及训练方法。
背景技术
脑卒中俗称中风，脑卒中患者由于大脑神经中枢受损极易导致运动功能障碍，会给家庭和社会带来沉重负担，因此其术后康复显得尤为重要。运动想象脑机接口相比于传统被动康复方式，通过识别患者主动的运动想象脑电并将其转化为康复外设的控制指令，实现有大脑主动参与的“中枢-外周-中枢”闭环康复，是一种潜在的有效康复方法。
但是，脑卒中患者由于语言功能障碍、运动功能障碍、运动想象疲劳等很难一直保持良好的情绪状态，现有脑机接口康复训练系统无法识别干预脑卒中患者情绪状态。
因此，如何提供一种能够识别干预脑卒中患者情绪状态的康复训练系统以及训练方法成为本领域技术人员急需解决的问题。
发明内容
因此，本申请要解决的技术问题在于提供一种融合情绪识别的康复训练系统以及训练方法，能够识别脑卒中患者情绪状态以及在情绪状态不佳时有效的干预。
为了解决上述问题，本申请提供一种康复训练系统，包括：
情绪处理装置，情绪处理装置能够调整测试者的情绪状态；
和情绪处理模块，情绪处理模块电连接情绪处理装置，情绪处理模块能够识别测试者的情绪状态；如果测试者的情绪状态不佳，则情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
进一步地，情绪处理装置包括视频播放装置，视频播放装置能够通过播放视频调整测试者的情绪状态。
进一步地，情绪处理模块包括ER离线建模模块和ER在线分类模块；ER 离线建模模块能够通过测试者的脑电数据和事件标签生成测试者的情绪识别分类模型，ER在线分类模块能够根据测试者的脑电数据和情绪识别分类模型识别测试者的情绪状态。
进一步地，当ER在线分类模块识别出测试者的情绪状态不佳时，ER在线分类模块控制视频播放装置播放调整视频，以调整测试者的情绪状态。
进一步地，康复训练系统还包括MI离线建模模块和MI在线分类模块；MI 离线建模模块通过测试者的脑电数据和事件标签生成测试者的运动想象分类模型，MI在线分类模块根据测试者的脑电数据和运动想象分类模型识别测试者的运动想象意图。
进一步地，康复训练系统还包括反馈装置，反馈装置与MI在线分类模块电连接，MI在线分类模块能够控制反馈装置对测试者进行触觉、视觉和听觉中至少一种的反馈。
进一步地，反馈装置包括电刺激反馈仪；电刺激反馈仪能够对测试者进行触觉反馈；
和/或，反馈装置包括AR眼镜，AR眼镜能够给予测试者视觉和听觉反馈， AR眼镜形成视频播放装置。
进一步地，康复训练系统还包括脑电采集装置，情绪处理模块电连接脑电采集装置，脑电采集装置用于采集测试者在测试过程中产生的脑电信号；情绪处理模块能够根据脑电信号识别测试者的情绪状态。
进一步地，康复训练系统还包括脑电采集模块，脑电采集模块与脑电采集装置电连接；脑电采集模块与情绪处理模块电连接。
进一步地，当康复训练系统还包括反馈装置，反馈装置包括电刺激反馈仪，康复训练系统还包括MI在线建模模块时，电刺激反馈仪与MI在线分类模块通过串口协议通信；
和/或，当康复训练系统还包括反馈装置，反馈装置包括AR眼镜，康复训练系统还包括MI在线建模模块和和ER在线分类模块时，AR眼镜与MI在线分类模块和所ER在线分类模块均通过TCP协议通信。
本申请还公开了一种如上述的康复训练系统的训练方法，其特征在于，包括如下步骤：
情绪处理模块识别所述测试者的情绪状态；
如果所述测试者的情绪状态不佳，则暂停训练，且所述情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
进一步地，训练方法还包括如下步骤：
步骤S1:进行离线训练：通过情绪视频分别诱发患者的中性情绪和积极情绪，并引导患者进行运动想象任务；
步骤S2:当所述康复训练系统还包括MI离线建模模块和MI在线分类模块时，所述MI离线建模模块进行训练建模，为所述MI在线分类模块提供模型；
步骤S3:当所述康复训练系统还包括ER离线建模模块和在线分类模块时，所述ER离线建模模块进行训练建模，为所述ER在线分类模块提供模型；
步骤S4:进行在线训练：系统引导患者进行运动想象任务，所述MI在线分类模块识别患者运动想象意图，所述ER在线分类模块识别患者情绪状态；
步骤S5:系统将运动想象意图其转化为AR眼镜、电刺激反馈仪的控制指令， AR眼镜给予患者视觉和听觉反馈，电刺激反馈仪给予触觉反馈。
进一步地，步骤S1，进行离线训练包括如下步骤：
S11:设置离线训练任务量，开启脑电数据保存；
S12:根据训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
S13:播放情绪视频，分别诱发患者中性情绪和积极情绪；
S14:查询实验序列表，获取当前训练任务类型，相应地开启运动想象引导画面，同时向脑电数据中添加事件标签；
S15:患者根据引导画面，进行运动想象任务，然后是短暂休息；
S16:判断实验序列表上的任务是否为空，如果序列表不为空，返回S14开始新的运动想象任务；
S17:判断是否所有离线训练任务量结束，没结束则返回S12开始新一轮任务，直到离线任务全部结束，然后关闭脑电数据保存；
和/或，步骤S2中，当所述康复训练系统还包括MI离线建模模块和MI在线分类模块时，所述MI离线建模模块进行训练建模，为所述MI在线分类模块提供模型包括如下步骤：
S21：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
S22：遍历运动想象时间窗，以准确率为依据寻找患者最佳运动想象时间窗；
S23：滤波器组将预处理后的脑电信号分解为多个频带的信号；
S24：采用共空间模式算法提取多个频带上的空域特征；
S25：再采用特征选择方法，选择出与运动想象相关性最高的特征；
S26：若是离线建模，则用提取出的特征和运动想象标签进行训练建模，生成模型；
S27：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的运动想象意图。
和/或，步骤S3中，当所述康复训练系统还包括ER离线建模模块和在线分类模块时，所述ER离线建模模块进行训练建模，为所述ER在线分类模块提供模型；包括如下步骤：
S31：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
S32：采用离散短时傅里叶变换将时域上的脑电信号映射到频域上，以准确率为依据寻找患者最佳情绪识别频带；
S33：提取最佳情绪识别频带上的微分熵特征；
S34：采用特征平滑算法平滑特征；
S35：采用特征选择算法选择出与情绪相关性最高的特征；
S36：若是离线建模，则用提取出的特征和情绪标签进行训练建模，生成模型；
S37：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的情绪状态。
和/或，步骤S4中，进行在线训练包括如下步骤：
S41：设置在线训练任务量，开启脑电数据保存；
S42：根据在线训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
S43：查询实验序列表，得到当前的康复任务类型，相应地开启引导画面，并发送标签信息；
S44：患者根据引导画面，进行运动想象任务，然后是短暂休息；
S45：系统根据标签位置截取脑电数据，调用算法识别运动想象意图和情绪状态；
S46：将识别结果和任务类型对比，若运动想象正确则进行视、听、触多反馈的康复训练，若情绪不佳则通过积极视频调控；
S47：判断是否所有在线训练任务量结束，没结束则返回步骤S43开始新一轮任务，直到在线任务全部结束。
本申请提供的康复训练系统以及训练方法，本申请能够识别干预脑卒中患者情绪状态，可以实时监测患者情绪状态并及时进行对消极情绪干预，有望提升患者的训练积极性，改善康复效果。
附图说明
图1为本申请康复训练系统的结构示意图；
图2为本申请离线训练运行流程图；
图3为本申请运动想象解码算法流程图；
图4为本申请情绪识别解码算法流程图；
图5为本申请在线训练运行流程图；
图6为本申请康复训练系统界面。
具体实施方式
结合参见图1-5所示，一种康复训练系统，包括情绪处理装置和情绪处理模块，情绪处理装置能够调整测试者的情绪状态；情绪处理模块电连接情绪处理装置，情绪处理模块能够识别测试者的情绪状态；如果测试者的情绪状态不佳则情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
本申请能够实时监测患者情绪状态并及时进行干预，有望提升患者的训练积极性，改善康复效果。本申请为融合情绪识别的MI-BCI康复训练系统及方法。本申请工作基本原理是：采集并解码患者进行运动想象时产生的脑电信号，并将其转化为康复外设的控制指令，通过视、听、触多反馈实现大脑主动参与的闭环康复，促进大脑中枢神经重塑。同时通过患者的脑电信号进行情绪识别，若情绪不佳，则暂停训练并采用积极情绪视频进行调控，提高训练积极性后再恢复训练，改善康复治疗效果。
本申请还公开了一些实施例，情绪处理装置包括视频播放装置，视频播放装置能够通过播放视频调整测试者的情绪状态。通过情绪视频调整测试者的情绪状态，使其的情绪更积极。
本申请还公开了一些实施例，情绪处理模块包括ER离线建模模块和ER在线分类模块；ER离线建模模块能够通过测试者的脑电数据和事件标签生成测试者的情绪识别分类模型，ER在线分类模块能够根据测试者的脑电数据和情绪识别分类模型识别测试者的情绪状态。
本申请还公开了一些实施例，当ER在线分类模块识别出测试者的情绪状态不佳时，ER在线分类模块控制视频播放装置播放调整视频，以调整测试者的情绪状态。
本申请还公开了一些实施例，康复训练系统还包括MI离线建模模块和MI 在线分类模块；MI离线建模模块通过测试者的脑电数据和事件标签生成测试者的运动想象分类模型，MI在线分类模块根据测试者的脑电数据和运动想象分类模型识别测试者的运动想象意图。
本申请还公开了一些实施例，康复训练系统还包括反馈装置，反馈装置与 MI在线分类模块电连接，MI在线分类模块能够控制反馈装置对测试者进行触觉、视觉和听觉中至少一种的反馈。
本申请还公开了一些实施例，反馈装置包括电刺激反馈仪；电刺激反馈仪能够对测试者进行触觉反馈；
和/或，反馈装置包括AR眼镜，AR眼镜能够给予测试者视觉和听觉反馈， AR眼镜形成视频播放装置。
本申请还公开了一些实施例，康复训练系统还包括脑电采集装置，情绪处理模块电连接脑电采集装置，脑电采集装置用于采集测试者在测试过程中产生的脑电信号；情绪处理模块能够根据脑电信号识别测试者的情绪状态。本申请可实现自适应脑电解码，寻找最优运动想象时间窗以及最优情绪识别频带，提升运动想象和情绪识别的分类准确率。本系统将运动想象与情绪识别算法在应用系统上集成，实现大脑主动参与的康复训练的同时，还能降低消极情绪对康复的影响，提升患者训练积极性，改善康复效果。
本申请还公开了一些实施例，康复训练系统还包括脑电采集模块，脑电采集模块与脑电采集装置电连接；脑电采集模块与情绪处理模块电连接。
本申请还公开了一些实施例，当康复训练系统还包括反馈装置，反馈装置包括电刺激反馈仪，康复训练系统还包括MI在线建模模块时，电刺激反馈仪与MI在线分类模块通过串口协议通信；
和/或，当康复训练系统还包括反馈装置，反馈装置包括AR眼镜，康复训练系统还包括MI在线建模模块和ER在线分类模块时，AR眼镜与MI在线分类模块和所ER在线分类模块均通过TCP协议通信。
本申请还公开了一些实施例，一种如上述的康复训练系统的训练方法，包括如下步骤：
情绪处理模块识别测试者的情绪状态；
如果测试者的情绪状态不佳，则暂停训练，且情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
本申请还公开了一些实施例，训练方法还包括如下步骤：
步骤S1:进行离线训练：通过情绪视频分别诱发患者的中性情绪和积极情绪，并引导患者进行运动想象任务；
步骤S2:当康复训练系统还包括MI离线建模模块和MI在线分类模块时， MI离线建模模块进行训练建模，为MI在线分类模块提供模型；
步骤S3:当康复训练系统还包括ER离线建模模块和在线分类模块时，ER 离线建模模块进行训练建模，为ER在线分类模块提供模型；
步骤S4:进行在线训练：系统引导患者进行运动想象任务，MI在线分类模块识别患者运动想象意图，ER在线分类模块识别患者情绪状态；
步骤S5:系统将运动想象意图其转化为AR眼镜、电刺激反馈仪的控制指令， AR眼镜给予患者视觉和听觉反馈，电刺激反馈仪给予触觉反馈。
本申请还公开了一些实施例，步骤S1，进行离线训练包括如下步骤：
S11:设置离线训练任务量，开启脑电数据保存；
S12:根据训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
S13:播放情绪视频，分别诱发患者中性情绪和积极情绪；
S14:查询实验序列表，获取当前训练任务类型，相应地开启运动想象引导画面，同时向脑电数据中添加事件标签；
S15:患者根据引导画面，进行运动想象任务，然后是短暂休息；
S16:判断实验序列表上的任务是否为空，如果序列表不为空，返回S14开始新的运动想象任务；
S17:判断是否所有离线训练任务量结束，没结束则返回S12开始新一轮任务，直到离线任务全部结束，然后关闭脑电数据保存；
和/或，步骤S2中，当康复训练系统还包括MI离线建模模块和MI在线分类模块时，MI离线建模模块进行训练建模，为MI在线分类模块提供模型包括如下步骤：
S21：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
S22：遍历运动想象时间窗，以准确率为依据寻找患者最佳运动想象时间窗；
S23：滤波器组将预处理后的脑电信号分解为多个频带的信号；
S24：采用共空间模式算法提取多个频带上的空域特征；
S25：再采用特征选择方法，选择出与运动想象相关性最高的特征；
S26：若是离线建模，则用提取出的特征和运动想象标签进行训练建模，生成模型；
S27：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的运动想象意图。
和/或，步骤S3中，当康复训练系统还包括ER离线建模模块和在线分类模块时，ER离线建模模块进行训练建模，为ER在线分类模块提供模型；包括如下步骤：
S31：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
S32：采用离散短时傅里叶变换将时域上的脑电信号映射到频域上，以准确率为依据寻找患者最佳情绪识别频带；
S33：提取最佳情绪识别频带上的微分熵特征；
S34：采用特征平滑算法平滑特征；
S35：采用特征选择算法选择出与情绪相关性最高的特征；
S36：若是离线建模，则用提取出的特征和情绪标签进行训练建模，生成模型；
S37：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的情绪状态。
和/或，步骤S4中，进行在线训练包括如下步骤：
S41：设置在线训练任务量，开启脑电数据保存；
S42：根据在线训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
S43：查询实验序列表，得到当前的康复任务类型，相应地开启引导画面，并发送标签信息；
S44：患者根据引导画面，进行运动想象任务，然后是短暂休息；
S45：系统根据标签位置截取脑电数据，调用算法识别运动想象意图和情绪状态；
S46：将识别结果和任务类型对比，若运动想象正确则进行视、听、触多反馈的康复训练，若情绪不佳则通过积极视频调控；
S47：判断是否所有在线训练任务量结束，没结束则返回步骤S43开始新一轮任务，直到在线任务全部结束。
本申请康复训练系统，包括康复训练硬件和康复训练软件：所述康复训练硬件包括脑电采集设备、电刺激反馈仪、AR眼镜；所述康复训练软件包括数据采集模块、MI离线建模模块、MI在线分类模块、ER离线建模模块、ER在线分类模块。所述与数据采集模块通过TCP协议通信，所述电刺激反馈仪与MI在线分类模块通过串口协议通信，所述AR眼镜与MI在线分类模块和ER在线分类模块通过TCP协议通信。
脑电采集设备用于采集患者脑电信号，并发送至数据采集模块，为MI离线建模模块、MI在线分类模块、ER离线建模模块、ER在线分类模块提供脑电数据；MI离线建模模块通过脑电数据和事件标签生成患者个性化的运动想象分类模型，所述MI在线分类模块根据脑电数据和该分类模型识别患者运动想象意图；MI在线分类模块会将患者运动想象意图转化为所述电刺激反馈仪和AR 眼镜的控制指令，电刺激反馈仪给予患者触觉反馈，AR眼镜给予患者视觉和听觉反馈；ER离线建模模块通过脑电数据和事件标签生成患者个性化的情绪识别分类模型，ER在线分类模块根据脑电数据和该分类模型识别患者情绪状态；ER 在线分类模块会在患者情绪状态不佳时，通过AR眼镜播放积极视频对患者进行情绪调控，提高训练积极性。
融合情绪识别的MI-BCI康复训练方法，采用本发明融合情绪识别的 MI-BCI康复训练系统进行操作，步骤如下：
(1)医务人员帮助患者佩戴脑电采集设备、AR眼镜以及电刺激反馈仪；
(2)登记或者查询患者的个人信息，并连接脑电采集设备和电刺激反馈仪，以及选择AR场景；
(3)先进行离线训练：系统通过情绪视频分别诱发患者的中性情绪和积极情绪，并引导患者进行运动想象任务；
(4)MI离线建模模块进行训练建模，为MI在线分类模块提供模型；
(5)ER离线建模模块进行训练建模，为ER在线分类模块提供模型；
(6)再进行在线训练：系统引导患者进行运动想象任务，MI在线分类模块识别患者运动想象意图，ER在线分类模块识别患者情绪状态；
(7)系统将运动想象意图其转化为AR眼镜、电刺激反馈仪的控制指令， AR眼镜给予患者视觉和听觉反馈，电刺激反馈仪给予触觉反馈；
(8)若患者情绪不佳则先暂停康复训练，通过积极视频调控情绪后再进行康复训练。
所述步骤(3)中系统离线训练内部运行的具体步骤如下：
(3-1)设置离线训练任务量，开启脑电数据保存；
(3-2)根据训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
(3-3)播放情绪视频，分别诱发患者中性情绪和积极情绪；
(3-4)查询实验序列表，获取当前训练任务类型，相应地开启运动想象引导画面，同时向脑电数据中添加事件标签；
(3-5)患者根据引导画面，进行运动想象任务，然后是短暂休息；
(3-6)判断实验序列表上的任务是否为空，如果序列表不为空，返回(3-4) 开始新的运动想象任务；
(3-7)判断是否所有离线训练任务量结束，没结束则返回(3-2)开始新一轮任务，直到离线任务全部结束，然后关闭脑电数据保存。
所述步骤(4)中MI离线建模模块和MI在线分类模块具体步骤如下：
(4-1)将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
(4-2)遍历运动想象时间窗，以准确率为依据寻找患者最佳运动想象时间窗；
(4-3)滤波器组将预处理后的脑电信号分解为多个频带的信号；
(4-4)采用共空间模式算法提取多个频带上的空域特征；
(4-5)再采用特征选择方法，选择出与运动想象相关性最高的特征；
(4-6)若是离线建模，则用提取出的特征和运动想象标签进行训练建模，生成模型；
(4-7)若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的运动想象意图。
所述步骤(5)中ER离线建模模块和ER在线分类模块具体步骤如下：
(5-1)将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
(5-2)采用离散短时傅里叶变换将时域上的脑电信号映射到频域上，以准确率为依据寻找患者最佳情绪识别频带；
(5-3)提取最佳情绪识别频带上的微分熵特征；
(5-4)采用特征平滑算法平滑特征；
(5-5)采用特征选择算法选择出与情绪相关性最高的特征；
(5-6)若是离线建模，则用提取出的特征和情绪标签进行训练建模，生成模型；
(5-7)若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的情绪状态。
所述步骤(6)中系统在线训练内部运行的具体步骤如下：
(6-1)设置在线训练任务量，开启脑电数据保存；
(6-2)根据在线训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
(6-3)查询实验序列表，得到当前的康复任务类型，相应地开启引导画面，并发送标签信息；
(6-4)患者根据引导画面，进行运动想象任务，然后是短暂休息；
(6-5)系统根据标签位置截取脑电数据，调用算法识别运动想象意图和情绪状态；
(6-6)将识别结果和任务类型对比，若运动想象正确则进行视、听、触多反馈的康复训练，若情绪不佳则通过积极视频调控；
(6-7)判断是否所有在线训练任务量结束，没结束则返回(6-3)开始新一轮任务，直到在线任务全部结束。
本领域的技术人员容易理解的是，在不冲突的前提下，上述各有利方式可以自由地组合、叠加。
以上仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本申请的保护范围。

Claims (10)

1.一种康复训练系统，其特征在于，包括：
情绪处理装置，所述情绪处理装置能够调整测试者的情绪状态；
和情绪处理模块，所述情绪处理模块电连接所述情绪处理装置，所述情绪处理模块能够识别所述测试者的情绪状态；如果所述测试者的情绪状态不佳，则所述情绪处理模块能够控制所述情绪处理装置调整所述测试者的情绪状态。
2.根据权利要求1中所述的康复训练系统，其特征在于，所述情绪处理装置包括视频播放装置，所述视频播放装置能够通过播放视频调整所述测试者的情绪状态。
3.根据权利要求2中所述的康复训练系统，其特征在于，所述情绪处理模块包括ER离线建模模块和ER在线分类模块；所述ER离线建模模块能够通过所述测试者的脑电数据和事件标签生成所述测试者的情绪识别分类模型，所述ER在线分类模块能够根据所述测试者的脑电数据和所述情绪识别分类模型识别所述测试者的情绪状态。
4.根据权利要求3中所述的康复训练系统，其特征在于，当所述ER在线分类模块识别出所述测试者的情绪状态不佳时，所述ER在线分类模块控制所述视频播放装置播放调整视频，以调整所述测试者的情绪状态。
5.根据权利要求2中所述的康复训练系统，其特征在于，所述康复训练系统还包括MI离线建模模块和MI在线分类模块；所述MI离线建模模块通过所述测试者的脑电数据和事件标签生成所述测试者的运动想象分类模型，所述MI在线分类模块根据所述测试者的脑电数据和所述运动想象分类模型识别所述测试者的运动想象意图。
6.根据权利要求5中所述的康复训练系统，其特征在于，所述康复训练系统还包括反馈装置，所述反馈装置与所述MI在线分类模块电连接，所述MI在线分类模块能够控制所述反馈装置对所述测试者进行触觉、视觉和听觉中至少一种的反馈；
优选地，所述反馈装置包括电刺激反馈仪；所述电刺激反馈仪能够对所述测试者进行触觉反馈；
和/或，所述反馈装置包括AR眼镜，所述AR眼镜能够给予所述测试者视觉和听觉反馈，所述AR眼镜形成所述视频播放装置。
7.根据权利要求1中所述的康复训练系统，其特征在于，所述康复训练系统还包括脑电采集装置，所述情绪处理模块电连接所述脑电采集装置，所述脑电采集装置用于采集测试者在测试过程中产生的脑电信号；所述情绪处理模块能够根据所述脑电信号识别所述测试者的情绪状态；优选地，所述康复训练系统还包括脑电采集模块，所述脑电采集模块与所述脑电采集装置电连接；所述脑电采集模块与所述情绪处理模块电连接；
和/或，当所述康复训练系统还包括反馈装置，所述反馈装置包括电刺激反馈仪，所述康复训练系统还包括MI在线建模模块时，所述电刺激反馈仪与MI在线分类模块通过串口协议通信；
和/或，当所述康复训练系统还包括反馈装置，所述反馈装置包括AR眼镜，所述康复训练系统还包括MI在线建模模块和ER在线分类模块时，所述AR眼镜与所述MI在线分类模块和所ER在线分类模块均通过TCP协议通信。
8.一种如权利要求1-7中任一项所述的康复训练系统的训练方法，其特征在于，包括如下步骤：
情绪处理模块识别所述测试者的情绪状态；
如果所述测试者的情绪状态不佳，则暂停训练，且所述情绪处理模块能够控制情绪处理装置调整测试者的情绪状态。
9.根据权利要求8中所述的训练方法，其特征在于，所述训练方法还包括如下步骤：
步骤S1:进行离线训练：通过情绪视频分别诱发患者的中性情绪和积极情绪，并引导患者进行运动想象任务；
步骤S2:当所述康复训练系统还包括MI离线建模模块和MI在线分类模块时，所述MI离线建模模块进行训练建模，为所述MI在线分类模块提供模型；
步骤S3:当所述康复训练系统还包括ER离线建模模块和在线分类模块时，所述ER离线建模模块进行训练建模，为所述ER在线分类模块提供模型；
步骤S4:进行在线训练：系统引导患者进行运动想象任务，所述MI在线分类模块识别患者运动想象意图，所述ER在线分类模块识别患者情绪状态；
步骤S5:系统将运动想象意图其转化为AR眼镜、电刺激反馈仪的控制指令，AR眼镜给予患者视觉和听觉反馈，电刺激反馈仪给予触觉反馈。
10.根据权利要求9中所述的训练方法，其特征在于，所述步骤S1，进行离线训练包括如下步骤：
S11:设置离线训练任务量，开启脑电数据保存；
S12:根据训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
S13:播放情绪视频，分别诱发患者中性情绪和积极情绪；
S14:查询实验序列表，获取当前训练任务类型，相应地开启运动想象引导画面，同时向脑电数据中添加事件标签；
S15:患者根据引导画面，进行运动想象任务，然后是短暂休息；
S16:判断实验序列表上的任务是否为空，如果序列表不为空，返回S14开始新的运动想象任务；
S17:判断是否所有离线训练任务量结束，没结束则返回S12开始新一轮任务，直到离线任务全部结束，然后关闭脑电数据保存；
和/或，步骤S2中，当所述康复训练系统还包括MI离线建模模块和MI在线分类模块时，所述MI离线建模模块进行训练建模，为所述MI在线分类模块提供模型包括如下步骤：
S21：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
S22：遍历运动想象时间窗，以准确率为依据寻找患者最佳运动想象时间窗；
S23：滤波器组将预处理后的脑电信号分解为多个频带的信号；
S24：采用共空间模式算法提取多个频带上的空域特征；
S25：再采用特征选择方法，选择出与运动想象相关性最高的特征；
S26：若是离线建模，则用提取出的特征和运动想象标签进行训练建模，生成模型；
S27：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的运动想象意图。
和/或，步骤S3中，当所述康复训练系统还包括ER离线建模模块和在线分类模块时，所述ER离线建模模块进行训练建模，为所述ER在线分类模块提供模型；包括如下步骤：
S31：将原始脑电信号进行通道选择，去基线漂移，去除工频干扰和眼肌电伪迹；
S32：采用离散短时傅里叶变换将时域上的脑电信号映射到频域上，以准确率为依据寻找患者最佳情绪识别频带；
S33：提取最佳情绪识别频带上的微分熵特征；
S34：采用特征平滑算法平滑特征；
S35：采用特征选择算法选择出与情绪相关性最高的特征；
S36：若是离线建模，则用提取出的特征和情绪标签进行训练建模，生成模型；
S37：若是在线分类，则用提取出的特征和离线建模提供的模型进行分类识别，识别患者的情绪状态。
和/或，步骤S4中，进行在线训练包括如下步骤：
S41：设置在线训练任务量，开启脑电数据保存；
S42：根据在线训练总任务量生成0、1随机数的实验序列表，用于确定想象左手和想象右手的出现次序；
S43：查询实验序列表，得到当前的康复任务类型，相应地开启引导画面，并发送标签信息；
S44：患者根据引导画面，进行运动想象任务，然后是短暂休息；
S45：系统根据标签位置截取脑电数据，调用算法识别运动想象意图和情绪状态；
S46：将识别结果和任务类型对比，若运动想象正确则进行视、听、触多反馈的康复训练，若情绪不佳则通过积极视频调控；
S47：判断是否所有在线训练任务量结束，没结束则返回步骤S43开始新一轮任务，直到在线任务全部结束。
CN202211325990.7A 2022-10-27 2022-10-27 康复训练系统以及训练方法 Pending CN115624678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211325990.7A CN115624678A (zh) 2022-10-27 2022-10-27 康复训练系统以及训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211325990.7A CN115624678A (zh) 2022-10-27 2022-10-27 康复训练系统以及训练方法

Publications (1)

Publication Number Publication Date
CN115624678A true CN115624678A (zh) 2023-01-20

Family

ID=84906038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211325990.7A Pending CN115624678A (zh) 2022-10-27 2022-10-27 康复训练系统以及训练方法

Country Status (1)

Country Link
CN (1) CN115624678A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116869490A (zh) * 2023-09-08 2023-10-13 广州舒瑞医疗科技有限公司 基于人工智能的前庭康复训练动态评估系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108784692A (zh) * 2018-05-11 2018-11-13 上海大学 一种基于个体脑电差异的情绪调控训练系统和方法
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113391701A (zh) * 2021-06-15 2021-09-14 国家康复辅具研究中心 一种融合虚拟现实游戏和意图识别的康复训练方法及系统
CN113398422A (zh) * 2021-07-19 2021-09-17 燕山大学 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN114756121A (zh) * 2022-03-18 2022-07-15 华南理工大学 基于脑机接口的虚拟现实可交互式情绪检测与调控系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108784692A (zh) * 2018-05-11 2018-11-13 上海大学 一种基于个体脑电差异的情绪调控训练系统和方法
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN113391701A (zh) * 2021-06-15 2021-09-14 国家康复辅具研究中心 一种融合虚拟现实游戏和意图识别的康复训练方法及系统
CN113398422A (zh) * 2021-07-19 2021-09-17 燕山大学 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN114756121A (zh) * 2022-03-18 2022-07-15 华南理工大学 基于脑机接口的虚拟现实可交互式情绪检测与调控系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116869490A (zh) * 2023-09-08 2023-10-13 广州舒瑞医疗科技有限公司 基于人工智能的前庭康复训练动态评估系统
CN116869490B (zh) * 2023-09-08 2024-01-09 广州舒瑞医疗科技有限公司 基于人工智能的前庭康复训练动态评估系统

Similar Documents

Publication Publication Date Title
Yu et al. Enhanced motor imagery training using a hybrid BCI with feedback
CN112120716A (zh) 一种可穿戴式多模态情绪状态监测装置
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
CN101464729B (zh) 基于听觉认知神经信号的自主意愿表达方法
Trejo et al. Brain-computer interfaces for 1-D and 2-D cursor control: designs using volitional control of the EEG spectrum or steady-state visual evoked potentials
Gohel et al. Review on electromyography signal acquisition and processing
Nielsen et al. EEG based BCI-towards a better control. Brain-computer interface research at Aalborg University
CN115624678A (zh) 康复训练系统以及训练方法
Achanccaray et al. A p300-based brain computer interface for smart home interaction through an anfis ensemble
CN109326341A (zh) 一种康复动作引导方法和装置
CN112244774A (zh) 脑机接口康复训练系统及方法
Fang et al. Brain-computer interface integrated with augmented reality for human-robot interaction
CN108491792B (zh) 基于眼电信号的办公场景人机交互行为识别方法
CN108319367B (zh) 一种基于运动起始诱发电位的脑机接口方法
Zhang et al. Brain-controlled wheelchair system based on SSVEP
JP2024502908A (ja) 交互に行われる磁気刺激方法及びパーソナライズ認知訓練方法、装置、並びにシステム
CN116981393A (zh) 监测生物特征数据以确定精神状态和输入命令
CN104793743B (zh) 一种虚拟社交系统及其控制方法
KR101630398B1 (ko) 역치 이하 자극을 이용한 보안 서비스 제공 방법 및 장치
CN113082448A (zh) 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统
Lai et al. A chromatic transient visual evoked potential based encoding/decoding approach for brain–computer interface
CN116088686B (zh) 一种脑电溯源的运动想象脑机接口训练方法与系统
US20220000426A1 (en) Multi-modal brain-computer interface based system and method
Farmaki et al. Applicability of SSVEP-based brain-computer interfaces for robot navigation in real environments
Yuan et al. A novel command generation method for SSVEP-based BCI by introducing SSVEP blocking response

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination