CN112987917B - 运动想象增强方法、装置、电子设备和存储介质 - Google Patents
运动想象增强方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112987917B CN112987917B CN202110172836.XA CN202110172836A CN112987917B CN 112987917 B CN112987917 B CN 112987917B CN 202110172836 A CN202110172836 A CN 202110172836A CN 112987917 B CN112987917 B CN 112987917B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- user
- motor imagery
- frequency band
- motor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000638 stimulation Effects 0.000 claims abstract description 62
- 230000000007 visual effect Effects 0.000 claims abstract description 47
- 238000013145 classification model Methods 0.000 claims abstract description 34
- 210000003205 muscle Anatomy 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000009471 action Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 230000006698 induction Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 abstract description 15
- 230000035807 sensation Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 210000003414 extremity Anatomy 0.000 description 15
- 210000004556 brain Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000007659 motor function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000002161 motor neuron Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002360 prefrontal effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000016285 Movement disease Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000003314 quadriceps muscle Anatomy 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种运动想象增强方法、装置、电子设备和存储介质，其中方法包括：向用户的待训练肢体施加功能电刺激后，采集用户根据运动任务进行运动想象时的脑电信号；对脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；若运动想象类型分类结果指示用户的运动想象符合运动任务，则基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈。本发明基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈，实现视觉感觉双重反馈，形成闭环的脑机接口，提高了用户的运动想象能力，有助于提高脑机接口的控制能力。
Description
技术领域
本发明涉及脑机接口技术领域，尤其涉及一种运动想象增强方法、装置、电子设备和存储介质。
背景技术
脑机接口可以在人脑和外界构建一个信息交流通道，使得人脑可以直接控制外部装置。基于运动想象的脑机接口是通过对人体自身诱发的脑电信号进行解码以实现与外部环境进行通讯的接口，主要依靠大脑主动进行相关运动动作的想象，采集运动想象时的脑电信号，然后从脑电信号中解码出运动意图，进而转换为相应的控制指令。
目前由中风、脊髓损伤和脑外伤造成肢体运动障碍的患者数量巨大，且呈现出上升趋势。肢体运动功能的康复过程周期长，效果跟康复训练方法相关性很大。相关研究表明，患者主动参与的运动康复疗法能取得较好的康复效果，尤其是患者的主动性越强，康复效果越好。运动想象能更好地激发人的主动性，其原因在于只有主动进行运动想象才能激活大脑的运动功能区，否则运动动能区没有激活表现。通过基于运动想象的脑机接口与康复机器人相结合，可以实现由人主动控制康复训练，大大增加了人的主动参与度。然而，在进行运动想象时，很多人难以较好地保持注意力，或者无法有效地执行运动想象，导致运动动能区激活效果不明显，难以对运动想象意图进行解码，进而无法实现对外部设备的控制。因此，需要设计一种运动想象实验范式辅助使用者进行运动想象，让使用者在运动想象时，对应的脑部运动功能区激活效果更好，从而提高使用者的运动想象能力。
发明内容
本发明提供一种运动想象增强方法、装置、电子设备和存储介质，用以解决现有技术中运动想象激活能力欠佳的缺陷。
本发明提供一种运动想象增强方法，包括：
向用户的待训练肢体施加功能电刺激后，采集所述用户根据运动任务进行运动想象时的脑电信号；
对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；
若所述运动想象类型分类结果指示所述用户的运动想象符合所述运动任务，则基于视觉辅助设备进行视觉反馈，并给予所述用户功能电刺激进行肌肉反馈。
根据本发明提供的一种运动想象增强方法，所述功能电刺激的刺激电流的变化周期与所述运动任务对应的动作周期相同，且所述刺激电流的变化趋势为先增强后减弱。
根据本发明提供的一种运动想象增强方法，所述对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果，之前还包括：
对样本用户的待测部位给予功能电刺激，以辅助所述样本用户进行样本任务对应的运动想象；
采集所述样本用户的样本脑电信号；
对所述样本脑电信号进行特征提取，并基于提取得到的样本脑电特征对分类模型进行训练，得到所述训练好的分类模型。
根据本发明提供的一种运动想象增强方法，所述对所述脑电信号进行特征提取，具体包括：
利用多个不同频带的带通滤波器对所述脑电信号进行滤波，得到各个频带下的脑电数据；
基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征；
将各个频点下的脑电特征融合，得到所述脑电信号的脑电特征；
其中，任一频带的投影矩阵是用于最大化所述任一频带下各类运动想象类型的脑电数据的方差。
根据本发明提供的一种运动想象增强方法，任一频带的投影矩阵是基于互相关熵诱导准则改进的共空间模式算法确定的。
根据本发明提供的一种运动想象增强方法，所述对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，之前还包括：
基于带通频率为1-60Hz的带通滤波器和50Hz的陷波滤波器对所述脑电信号进行实时滤波；
基于共平均参考方式对滤波后的脑电信号进行数据预处理。
根据本发明提供的一种运动想象增强方法，所述采集所述用户根据运动任务进行运动想象时的脑电信号，具体包括：
利用32通道的电极帽，以256Hz的采样频率采集所述用户的脑电信号。
本发明还提供一种运动想象增强装置，包括：
脑电信号采集单元，用于向用户的待训练肢体施加功能电刺激后，采集所述用户根据运动任务进行运动想象时的脑电信号；
运动想象分类单元，用于对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；
运动反馈单元，用于若所述运动想象类型分类结果指示所述用户的运动想象符合所述运动任务，则基于视觉辅助设备进行视觉反馈，并给予所述用户功能电刺激进行肌肉反馈。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述运动想象增强方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述运动想象增强方法的步骤。
本发明提供的运动想象增强方法、装置、电子设备和存储介质，通过采集用户进行运动想象时的脑电信号，并对脑电信号进行特征提取和分类，从而基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈，实现视觉感觉双重反馈，形成闭环的脑机接口，提高了用户的运动想象能力，有助于提高脑机接口的控制能力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的运动想象增强方法的流程示意图；
图2为本发明提供的刺激电路变化趋势的示意图；
图3为本发明提供的分类模型训练方法的流程示意图；
图4为本发明提供的运动想象闭环脑机接口的示意图；
图5为本发明提供的运动想象增强装置的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的运动想象增强方法的流程示意图，如图1所示，该方法包括：
步骤110，向用户的待训练肢体施加功能电刺激后，采集用户根据运动任务进行运动想象时的脑电信号；
步骤120，对脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；
步骤130，若运动想象类型分类结果指示用户的运动想象符合运动任务，则基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈。
具体地，在用户进行运动想象之前，可以首先向用户的待训练肢体施加功能电刺激，以增强用户对待训练肢体的感觉，可以帮助用户更好地进行针对该待训练肢体的运动想象。然后，可以对用户进行运动任务提示，指示用户根据提示信息进行相应的运动想象，从而采集该用户根据运动任务进行运动想象时的脑电信号。其中，在用户每次开始运动想象之前，可以在用户面前的屏幕上显示特殊标记，例如“十”字，以提醒用户保持注意力。该特殊标记的显示时长可以根据实际需求进行设置，例如设为2秒。“十”字提醒结束后，可以在屏幕上显示运动任务的任务提示，使得用户可以根据该任务提示进行相应状态的运动想象。例如，如果是踢球任务，可以基于unity3D软件平台，设计以第一人称视角踢足球的动作场景。该场景以足球场为背景，提供虚拟运动员人物，将足球放置在人物惯用脚前方，例如右脚前方，然后将视角放置在运动员眼睛处，提供第一人称视角，从而为用户带来一种沉浸式体验。
采集到用户的脑电信号后，可以对脑电信号进行特征提取，得到该脑电信号对应的脑电特征。其中，脑电特征可以用于区分大脑在进行各个不同类型的运动想象时产生的脑电信号。然后，基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果。此处，运动想象类型分类结果包括该用户脑中想象的运动类型，例如踢球动作或是空想，又例如左脚踢球或右脚踢球。
若运动想象类型分类结果指示用户的运动想象符合运动任务，表明该用户的运动想象正确，则可以基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈。此处，当用户的运动想象符合给出的运动任务要求时，一方面可以在视觉辅助设备上显示相应的运动动作，实现视觉反馈，另一方面还可以向用户的相应部位施加功能电刺激，实现肌肉反馈，形成视觉和感觉的双反馈，有助于提高用户的运动想象能力。此处，可以确定运动任务募集的肌肉群，并向用户的上述肌肉群施加电流刺激，让该部分肌肉轻微收缩，进而会让人产生动作错觉，有助于帮助用户进行相应动作的运动想象。
例如，若给出的运动任务为踢腿运动，且用户的运动想象类型分类结果也指示用户进行了踢腿运动的运动想象，则可以在视觉辅助设备中，设置虚拟人物进行踢腿动作，实现视觉反馈。同时，由于在踢球动作中，人体下肢的胫前肌和股直肌所在肌肉群会被募集，因此为了与视觉反馈相配合，可以选定这两块肌肉作为给予功能电刺激的对象。此处，当给予用户视觉反馈和肌肉反馈时，双重反馈机制可以诱发用户进行下一轮运动想象，从而辅助用户更快更好地进入运动想象状态。通过多次运动想象、特征提取与运动分类，以及视觉感觉双重反馈，形成闭环的脑机接口，可以提高用户的运动想象能力。
本发明实施例提供的方法，通过采集用户进行运动想象时的脑电信号，并对脑电信号进行特征提取和分类，从而基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈，实现视觉感觉双重反馈，形成闭环的脑机接口，提高了用户的运动想象能力，有助于提高脑机接口的控制能力。
基于上述实施例，功能电刺激的刺激电流的变化周期与运动任务对应的动作周期相同，且刺激电流的变化趋势为先增强后减弱。
具体地，当人想要进行自主运动时，肌肉中的运动神经元接收到来自神经系统传出的神经冲动，神经冲动沿运动神经元进行传导，产生兴奋信息，使得肌肉纤维细胞内外电势发生变化，进而引起纤维细胞收缩单元的缩短，大量细胞被募集后形成肌肉运动，产生肢体动作。上述表明人体动作的产生来自肌肉细胞电势的变化，那么通过给予肌肉对应的功能电刺激，也可以让肌肉产生收缩；调整刺激电流的幅值，可以控制肌肉的收缩幅度。
因此，为了尽可能模拟人自主运动时的肌肉收缩状态，在给予用户功能电刺激时，可以控制功能电刺激的刺激电流的变化周期与运动任务对应的动作周期相同。例如，若运动任务为踢球动作，而一般踢球动作的动作周期为3秒左右，因此可以持续给予3秒的刺激电流。另外，图2为本发明实施例提供的刺激电路变化趋势的示意图，如图2所示，刺激电流的变化趋势可以设置为先增强后减弱，其中刺激电流的峰值可以根据用户的感受调整到一个舒适的刺激值。
基于上述任一实施例，步骤120之前还包括：
对样本用户的待测部位给予功能电刺激，以辅助样本用户进行样本任务对应的运动想象；
采集样本用户的样本脑电信号；
对样本脑电信号进行特征提取，并基于提取得到的样本脑电特征对分类模型进行训练，得到训练好的分类模型。
具体地，在对用户的脑电信号进行解码分类之前，需要先对分类模型进行训练，再利用训练好的分类模型对用户脑电信号的脑电特征进行解码。训练之前，需要预先收集大量的训练样本，因此可以采集样本用户在对多种不同类型的样本任务进行运动想象时的样本脑电信号。为了更准确地采集对不同类型运动进行运动想象时的脑电信号，可以在样本用户进行运动想象之前对样本用户的待测部位给予功能电刺激辅助，让样本用户更好地关注自己的肢体，保证对肢体足够的注意力，有助于帮助样本用户进行相应运动动作的想象。其中，样本用户的待测部位为做出样本任务对应的运动动作的部位，例如踢球动作时的右腿或左腿。
采集到样本用户的样本脑电信号后，对该样本脑电信号进行特征提取，得到样本脑电信号对应的样本脑电特征，再利用样本脑电特征及其对应的样本运动类型对分类模型进行训练，得到训练好的分类模型。此处，样本用户的样本脑电信号的特征提取方式与实测过程中用户的脑电信号的特征提取方式相同。
基于上述任一实施例，对脑电信号进行特征提取，具体包括：
利用多个不同频带的带通滤波器对脑电信号进行滤波，得到各个频带下的脑电数据；
基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征；
将各个频点下的脑电特征融合，得到脑电信号的脑电特征；
其中，任一频带的投影矩阵是用于最大化该频带下各类运动想象类型的脑电数据的方差。
具体地，脑电信号所包含的频率带相对较宽，但脑电信号在不同的频率带包含的信息不同。为了充分利用这些信息，且针对每个频带分别提取特征可以提高信号可分性，因此本发明实施例采用多个不同频带的带通滤波器对脑电信号进行滤波，获取不同频带下的脑电数据。此处，可以使用10个带通滤波器，将获取的脑电信号过滤成1-4Hz，5-8Hz，……，37-40Hz等十个频带下的脑电数据。然后，基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征。其中，任一频带的投影矩阵是用于最大化该频带下各类运动想象类型的脑电数据的方差。此处，可以采用共空间模式算法或者其改进算法计算各个频带的投影矩阵，本发明实施例对此不作具体限定。将各个频带下的脑电数据与该频带的投影矩阵相乘后得到的脑电特征，可以明显区分不同运动想象类型的脑电数据，有助于提高运动想象类型分类的准确性。将各个频带下的脑电特征融合，可以得到脑电信号的脑电特征。此处，可以将各个频带下的脑电特征组合拼接到一起，构成脑电信号的脑电特征。
基于上述任一实施例，任一频带的投影矩阵是基于互相关熵诱导准则改进的共空间模式算法确定的。
具体地，常规的共空间模式算法中投影矩阵的目标函数是L2范数形式，对噪声比较敏感。当信号受到干扰时，L2范数形式将会使异常数据的影响增大，导致分类的准确性降低。为了改变共空间模式算法对异常数据敏感的缺陷，本发明实施例利用基于互相关熵诱导准则改进的共空间模式算法，计算各个频带的投影矩阵。假设
和
分别是两类运动想象类型对应的某一频带下的采集信号，其维度均为M×N，其中M代表通道数，N代表采样点数，i代表其为第几个频带的信号。基于
和
以各类运动想象类型的脑电数据的方差最小为目标进行求解，可以得到频带i的投影矩阵。其中，在基于互相关熵诱导准则改进的共空间模式算法中，采用互相关熵诱导度量准则，对共空间模式算法的投影矩阵目标函数进行了改进。
其中，互相关熵诱导度量是基于再生希尔伯特空间中的互相关熵诱导度量准则，其距离度量方式能够在不同的动态区域分别表现出L2、L1和L0范数的性质，对噪声的变化能够进行动态响应，有针对性地降低噪声带来的负面影响，提高共空间模式算法的鲁棒性。将互相关熵诱导度量作为两个变量之间距离的一种度量准则，从而对共空间模式算法的投影矩阵目标函数进行改进，可以降低目标函数对异常数据的敏感性，有助于提高脑电信号特征提取的准确性。
基于上述任一实施例，步骤120之前还包括：
基于带通频率为1-60Hz的带通滤波器和50Hz的陷波滤波器对脑电信号进行实时滤波；
基于共平均参考方式对滤波后的脑电信号进行数据预处理。
具体地，为了降低噪声影响，本发明实施例在采集脑电信号后，使用带通频率为1-60Hz的带通滤波器和50Hz的陷波滤波器对脑电信号进行实时滤波，并采用共平均参考(Common Average Removal，CAR)的方式对滤波后的脑电信号进行数据预处理，以进一步去噪，去除脑电信号中工频噪声和异常波动带来的干扰，提高脑电信号的质量。
基于上述任一实施例，步骤110具体包括：
利用32通道的电极帽，以256Hz的采样频率采集用户的脑电信号。
具体地，在采集用户的脑电信号时，可以将具有32通道的电极帽佩戴到用户头部进行脑电信号采集。在采集过程中，可以使用256Hz的采样频率。此外，由于脑部前额叶区两个电极靠近眼部，受眼电影响较大，且与运动功能区相距较远，因此这两个电极的数据在后续处理时没有被采用，而是仅保存其余通道的数据，进行后续的特征提取与运动类型分类。
基于上述任一实施例，图3为本发明实施例提供的分类模型训练方法的流程示意图，如图3所示，该方法包括：
在每次运动想象开始前，在屏幕上会显示“十”字提醒被试者保持注意力，此时间长为2秒；如果是踢球动作想象，则第2秒结束给予被试者右腿两块肌肉3秒时间的功能电刺激，然后空闲1秒；如果是空想状态，则在“十”字提醒结束后，空闲4秒。空闲时间结束后(即第6秒时)，屏幕上会有相应的任务提示，被试者根据任务提示进行相应状态的想象。
具有32通道的电极帽被用来佩戴到被试者头部，进行脑电信号采集，在采集过程中使用了256Hz的采样频率。为了降低噪声影响，在采集中使用了带通频率为1-60Hz的带通滤波器和50Hz的陷波滤波器对脑电信号进行实时滤波，并采用共平均参考的方式对采集到的数据预处理。由于脑部前额叶区两个电极靠近眼部，受眼电影响较大，且与运动功能区相距较远，因此这两个电极的数据在处理时没有被采用。其余通道的数据被保存，进行特征提取与分类模型训练。
然后，使用10个带通滤波器，将获取的脑电信号过滤成1-4Hz，5-8Hz，……，37-40Hz频带下的脑电数据，再基于互相关熵诱导准则改进的共空间模式算法计算得到各频带的投影矩阵；然后将各频带下的采集信号与对应的投影矩阵相乘，得到各频带下的特征向量。将各频带下的特征向量融合后，可以利用支持向量机等机器学习模型对融合后的特征向量进行训练和分类，得到训练好的分类模型。
基于上述任一实施例，图4为本发明实施例提供的运动想象闭环脑机接口的示意图，如图4所示，使用者在任务场景下，想象不同的运动状态，然后采集使用者想象状态中的脑电信号，经过实时滤波后，采用分类模型训练过程中相同的特征提取方式提取各个频带下的特征，并进行特征融合，送入分类模型中，获得分类结果。然后，系统将分类结果反馈给辅助场景和功能电刺激单元，此时辅助场景和功能电刺激单元根据分类结果提供相应的反馈。反馈结束后，使用者继续下一次任务场景想象。通过多次场景想象、分类和反馈，形成闭环的脑机接口，提高了使用者的运动想象能力。
下面对本发明提供的运动想象增强装置进行描述，下文描述的运动想象增强装置与上文描述的运动想象增强方法可相互对应参照。
图5为本发明实施例提供的运动想象增强装置的结构示意图，如图5所示，该装置包括：脑电信号采集单元510、运动想象分类单元520和运动反馈单元530。
其中，脑电信号采集单元510用于向用户的待训练肢体施加功能电刺激后，采集用户根据运动任务进行运动想象时的脑电信号；
运动想象分类单元520用于对脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；
运动反馈单元530用于若运动想象类型分类结果指示用户的运动想象符合运动任务，则基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈。
本发明实施例提供的装置，通过采集用户进行运动想象时的脑电信号，并对脑电信号进行特征提取和分类，从而基于视觉辅助设备进行视觉反馈，并给予用户功能电刺激进行肌肉反馈，实现视觉感觉双重反馈，形成闭环的脑机接口，提高了用户的运动想象能力，有助于提高脑机接口的控制能力。
基于上述任一实施例，功能电刺激的刺激电流的变化周期与运动任务对应的动作周期相同，且刺激电流的变化趋势为先增强后减弱。
基于上述任一实施例，该装置还包括分类模型训练单元，用于：
对样本用户的待测部位给予功能电刺激，以辅助样本用户进行样本任务对应的运动想象；
采集样本用户的样本脑电信号；
对样本脑电信号进行特征提取，并基于提取得到的样本脑电特征对分类模型进行训练，得到训练好的分类模型。
基于上述任一实施例，对脑电信号进行特征提取，具体包括：
利用多个不同频带的带通滤波器对脑电信号进行滤波，得到各个频带下的脑电数据；
基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征；
将各个频点下的脑电特征融合，得到脑电信号的脑电特征；
其中，任一频带的投影矩阵是用于最大化该频带下各类运动想象类型的脑电数据的方差。
基于上述任一实施例，任一频带的投影矩阵是基于互相关熵诱导准则改进的共空间模式算法确定的。
基于上述任一实施例，该装置还包括去噪单元，用于：
基于带通频率为1-60Hz的带通滤波器和50Hz的陷波滤波器对脑电信号进行实时滤波；
基于共平均参考方式对滤波后的脑电信号进行数据预处理。
基于上述任一实施例，脑电信号采集单元510具体用于：
利用32通道的电极帽，以256Hz的采样频率采集用户的脑电信号。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行运动想象增强方法，该方法包括：向用户的待训练肢体施加功能电刺激后，采集所述用户根据运动任务进行运动想象时的脑电信号；对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；若所述运动想象类型分类结果指示所述用户的运动想象符合所述运动任务，则基于视觉辅助设备进行视觉反馈，并给予所述用户功能电刺激进行肌肉反馈。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的运动想象增强方法，该方法包括：向用户的待训练肢体施加功能电刺激后，采集所述用户根据运动任务进行运动想象时的脑电信号；对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；若所述运动想象类型分类结果指示所述用户的运动想象符合所述运动任务，则基于视觉辅助设备进行视觉反馈，并给予所述用户功能电刺激进行肌肉反馈。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的运动想象增强方法，该方法包括：向用户的待训练肢体施加功能电刺激后，采集所述用户根据运动任务进行运动想象时的脑电信号；对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；若所述运动想象类型分类结果指示所述用户的运动想象符合所述运动任务，则基于视觉辅助设备进行视觉反馈，并给予所述用户功能电刺激进行肌肉反馈。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种运动想象增强方法，其特征在于，包括：
向用户的待训练肢体施加功能电刺激后，采集所述用户根据运动任务进行运动想象时的脑电信号；
对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；
若所述运动想象类型分类结果指示所述用户的运动想象符合所述运动任务，则基于视觉辅助设备进行视觉反馈，并给予所述用户功能电刺激进行肌肉反馈；
所述对所述脑电信号进行特征提取，具体包括：
利用多个不同频带的带通滤波器对所述脑电信号进行滤波，得到各个频带下的脑电数据；
基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征；
将各个频带下的脑电特征融合，得到所述脑电信号的脑电特征，所述融合包括将各个频带下的脑电特征进行组合拼接；
其中，任一频带的投影矩阵是用于最大化所述任一频带下各类运动想象类型的脑电数据的方差；
所述基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征，包括：
将各个频带下的脑电数据与对应频带的投影矩阵相乘后得到各个频带下的脑电特征；
在向用户的待训练肢体施加功能电刺激之后，还包括：
在用户面前的屏幕上显示特殊标记，并在显示所述特殊标记预设时长后，在所述屏幕上显示所述运动任务的任务提示；所述任务提示为以所述用户的视角作为第一人称视角的动作场景；
所述功能电刺激的刺激电流的变化周期与所述运动任务对应的动作周期相同，且所述刺激电流的变化趋势为先增强后减弱。
2.根据权利要求1所述的运动想象增强方法，其特征在于，所述对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果，之前还包括：
对样本用户的待测部位给予功能电刺激，以辅助所述样本用户进行样本任务对应的运动想象；
采集所述样本用户的样本脑电信号；
对所述样本脑电信号进行特征提取，并基于提取得到的样本脑电特征对分类模型进行训练，得到所述训练好的分类模型。
3.根据权利要求1所述的运动想象增强方法，其特征在于，任一频带的投影矩阵是基于互相关熵诱导准则改进的共空间模式算法确定的。
4.根据权利要求1至3任一项所述的运动想象增强方法，其特征在于，所述对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，之前还包括：
基于带通频率为1-60Hz的带通滤波器和50Hz的陷波滤波器对所述脑电信号进行实时滤波；
基于共平均参考方式对滤波后的脑电信号进行数据预处理。
5.根据权利要求1至3任一项所述的运动想象增强方法，其特征在于，所述采集所述用户根据运动任务进行运动想象时的脑电信号，具体包括：
利用32通道的电极帽，以256Hz的采样频率采集所述用户的脑电信号。
6.一种运动想象增强装置，其特征在于，包括：
脑电信号采集单元，用于向用户的待训练肢体施加功能电刺激后，采集所述用户根据运动任务进行运动想象时的脑电信号；
运动想象分类单元，用于对所述脑电信号进行特征提取，并基于训练好的分类模型对提取得到的脑电特征进行分类，得到运动想象类型分类结果；
运动反馈单元，用于若所述运动想象类型分类结果指示所述用户的运动想象符合所述运动任务，则基于视觉辅助设备进行视觉反馈，并给予所述用户功能电刺激进行肌肉反馈；
所述对所述脑电信号进行特征提取，具体包括：
利用多个不同频带的带通滤波器对所述脑电信号进行滤波，得到各个频带下的脑电数据；
基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征；
将各个频带下的脑电特征融合，得到所述脑电信号的脑电特征，所述融合包括将各个频带下的脑电特征进行组合拼接；
其中，任一频带的投影矩阵是用于最大化所述任一频带下各类运动想象类型的脑电数据的方差；
所述基于各个频带的投影矩阵对对应频带下的脑电数据进行数据转换，得到各个频带下的脑电特征，包括：
将各个频带下的脑电数据与对应频带的投影矩阵相乘后得到各个频带下的脑电特征；
在向用户的待训练肢体施加功能电刺激之后，还包括：
在用户面前的屏幕上显示特殊标记，并在显示所述特殊标记预设时长后，在所述屏幕上显示所述运动任务的任务提示；所述任务提示为以所述用户的视角作为第一人称视角的动作场景；
所述功能电刺激的刺激电流的变化周期与所述运动任务对应的动作周期相同，且所述刺激电流的变化趋势为先增强后减弱。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述运动想象增强方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述运动想象增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110172836.XA CN112987917B (zh) | 2021-02-08 | 2021-02-08 | 运动想象增强方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110172836.XA CN112987917B (zh) | 2021-02-08 | 2021-02-08 | 运动想象增强方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112987917A CN112987917A (zh) | 2021-06-18 |
| CN112987917B true CN112987917B (zh) | 2023-01-03 |
Family
ID=76347656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110172836.XA Active CN112987917B (zh) | 2021-02-08 | 2021-02-08 | 运动想象增强方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112987917B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113778228A (zh) * | 2021-09-10 | 2021-12-10 | 哈尔滨工业大学（深圳） | 一种基于多功能情绪识别与自适应调节的脑机接口系统 |
| CN114546105B (zh) * | 2021-12-27 | 2024-06-25 | 宁波慈溪生物医学工程研究所 | 交互式运动想象脑控方法、脑控vr系统及计算机设备 |
| CN117282026A (zh) * | 2023-10-19 | 2023-12-26 | 湖南臻和亦康医疗用品有限公司 | 一种方便不同人员使用的手套镜像运动康复方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103429145A (zh) * | 2010-03-31 | 2013-12-04 | 新加坡科技研究局 | 用于运动康复的方法和系统 |
| CN111584031A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978035B (zh) * | 2015-07-27 | 2018-04-10 | 中国医学科学院生物医学工程研究所 | 基于体感电刺激诱发p300的脑机接口系统及其实现方法 |
| KR101714708B1 (ko) * | 2015-12-01 | 2017-03-09 | 고려대학교 산학협력단 | 뇌운동관련전위 기반 뇌-컴퓨터 인터페이스 장치 및 방법 |
| CA3079431A1 (en) * | 2019-04-24 | 2020-10-24 | Interaxon Inc. | System and method for brain modelling |
-
2021
- 2021-02-08 CN CN202110172836.XA patent/CN112987917B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103429145A (zh) * | 2010-03-31 | 2013-12-04 | 新加坡科技研究局 | 用于运动康复的方法和系统 |
| CN111584031A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 |
Non-Patent Citations (1)
| Title |
|---|
| 基于运动想象脑电的上肢康复机器人;徐宝国等;<<机器人>>;20110531;第33卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112987917A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112987917B (zh) | 运动想象增强方法、装置、电子设备和存储介质 | |
| CN110765920B (zh) | 基于卷积神经网络的运动想象分类方法 | |
| CN113398422B (zh) | 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法 | |
| CN109992113B (zh) | 一种基于多场景诱发的mi-bci系统及其控制方法 | |
| Pfurtscheller et al. | 15 years of BCI research at Graz University of Technology: current projects | |
| Müller-Putz et al. | A single-switch BCI based on passive and imagined movements: toward restoring communication in minimally conscious patients | |
| CN112244774A (zh) | 脑机接口康复训练系统及方法 | |
| US11543879B2 (en) | System for communicating sensory information with an interactive system and methods thereof | |
| Nykopp | Statistical modelling issues for the adaptive brain interface | |
| CN110993056A (zh) | 基于镜像神经元和脑机接口的混合式主动康复方法、装置 | |
| CN107562191A (zh) | 基于混合特征的精细想象动作在线脑‑机接口方法 | |
| CN109247917A (zh) | 一种空间听觉诱发p300脑电信号识别方法及装置 | |
| CN111258428B (zh) | 脑电控制系统及方法 | |
| JP2009531077A (ja) | エフェクターのリアル・タイム制御のための装置と方法 | |
| CN112617863B (zh) | 一种面向左右脚运动意图侧向性识别的混合在线脑机接口方法 | |
| Trincado-Alonso et al. | A pilot study of brain-triggered electrical stimulation with visual feedback in patients with incomplete spinal cord injury | |
| CN106095086A (zh) | 一种基于无创电刺激的运动想象脑机接口控制方法 | |
| US20220187913A1 (en) | Neurorehabilitation system and neurorehabilitation method | |
| CN113713333B (zh) | 一种下肢康复全训练过程的动态虚拟诱导方法及系统 | |
| Duvinage et al. | A subjective assessment of a P300 BCI system for lower-limb rehabilitation purposes | |
| CN113126766A (zh) | 一种脑机接口康复训练系统及方法 | |
| CN109078262A (zh) | 一种基于外周神经电刺激的mi-bci训练方法 | |
| CN113807402A (zh) | 抑制mi-bci系统误触发的系统及其训练和测试方法 | |
| Wang et al. | Optimization of machine learning method combined with brain-computer interface rehabilitation system | |
| CN106940592B (zh) | 一种脑控虚拟人避障控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |