CN105700689A - 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法 - Google Patents
基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法 Download PDFInfo
- Publication number
- CN105700689A CN105700689A CN201610154660.4A CN201610154660A CN105700689A CN 105700689 A CN105700689 A CN 105700689A CN 201610154660 A CN201610154660 A CN 201610154660A CN 105700689 A CN105700689 A CN 105700689A
- Authority
- CN
- China
- Prior art keywords
- mirror image
- virtual
- brain
- training
- mental imagery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000004556 brain Anatomy 0.000 claims abstract description 87
- 230000009471 action Effects 0.000 claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000000638 stimulation Effects 0.000 claims abstract description 18
- 210000002569 neuron Anatomy 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 12
- 230000008450 motivation Effects 0.000 claims abstract description 3
- 230000003340 mental effect Effects 0.000 claims description 59
- 230000003447 ipsilateral effect Effects 0.000 claims description 35
- 230000005611 electricity Effects 0.000 claims description 28
- 230000000875 corresponding effect Effects 0.000 claims description 16
- 230000006698 induction Effects 0.000 claims description 14
- 238000002474 experimental method Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005057 finger movement Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 238000007654 immersion Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 102000009025 Endorphins Human genes 0.000 claims description 2
- 108010049140 Endorphins Proteins 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000028327 secretion Effects 0.000 claims description 2
- 210000000337 motor cortex Anatomy 0.000 claims 1
- 238000002560 therapeutic procedure Methods 0.000 abstract description 11
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000030984 MIRAGE syndrome Diseases 0.000 description 2
- 230000007659 motor function Effects 0.000 description 2
- TVLSRXXIMLFWEO-UHFFFAOYSA-N prochloraz Chemical compound C1=CN=CN1C(=O)N(CCC)CCOC1=C(Cl)C=C(Cl)C=C1Cl TVLSRXXIMLFWEO-UHFFFAOYSA-N 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000004983 Phantom Limb Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000002820 assay format Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000002629 virtual reality therapy Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明涉及基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法，该方法将康复治疗领域的镜像疗法和Skinner强化学习理论融合到MI-EEG的训练与采集过程当中。在训练模式中设计个性化视听联合刺激，在一种较为放松的状态下通过健侧手佩戴数据手套并执行张/握动作，利用计算机串口实时读取并解码健侧手部动作的数据，进而钳制采集界面中镜像虚拟患侧手模型的动作。使受试者通过自身健侧手的动作激励诱导镜像虚拟手的运动，加强大脑运动功能区镜像神经元的电活动,并基于Skinner强化学习理论设计闭环脑电采集与控制模式检验训练效果，同时，通过Skinner在线奖励反馈，进一步增强内动机，提高MI-EEG质量。本发明操作简单，以期取得更好的实际应用。
Description
技术领域
本发明属于脑电信号采集技术领域，具体涉及脑-机接口(Brain-ComputerInterface,BCI)系统中对运动想象脑电信号的训练及采集方法，将镜像疗法和Skinner强化学习理论融合到运动想象脑电信号的采集过程当中。
背景技术
随着人工智能与模式识别技术的不断发展，脑-机接口逐渐从科幻电影走进人们的生活，同时，镜像疗法、虚拟现实技术、运动想象疗法作为新兴的康复干预手段越来越倍受重视。通过虚拟现实场景以及动画效果作用于受试者神经中枢，以实现对受损神经中枢的主被动协同刺激，激发大脑运动区镜像神经元，强化自主运动意图。
然而在BCI的研究领域中，研究多注重于脑电采集设备的创新、脑电处理算法的优化等方面，如无固定接触式脑电采集系统、佩戴式脑电采集装置和一些能够有效提取脑电信号特征并识别的算法等。这些研究多以对脑电采集的硬件实现的等客观因素的改善为主，鲜少地考虑到脑电信号采集过程中的主观因素，如受试者的个人兴趣爱好，参与的积极性等，在脑电信号的采集过程中，受试者的生理和心理作用直接影响着大脑神经元的兴奋程度，这对于本身比较微弱的脑电信号来说是不可忽视的。大量的实验表明，人脑中镜像神经元的存在使得在观察他人动作时，参与自己主动执行该动作的部分相关脑区会产生相似的兴奋。而当动作发生在不同的背景中，其行为意图不同时，镜像神经元的兴奋状况也有所不同。
基于视觉刺激的镜像疗法(MirrorTherapy,MT)由Ramachandran在1994年提出，涉及动作观察、运动想象、模仿学习等诸多过程，同时也是一种双侧训练，通过幻象提高患手的存在意识有助于减轻“习得性废用”。通过这种方法，受试者活动的健肢的成像会让他以为是患肢的活动。该方法操作简单，成本低，副作用小，值得推广应用，特别是用于受试者的自主练习。已有不少证据表明，镜像疗法在提高运动功能方面疗效较好。
运动想象是个体想象自己在执行或观察特定动作而不产生任何运动或肌肉收缩的认知过程。大量脑成像研究显示，在大脑的运动前皮层，想象一个动作时激活的脑区与执行该动作时兴奋的脑区大量重叠，说明该脑区中包含镜像神经元环路，一系列在运动员、音乐家、舞蹈家及脑卒中受试者身上进行的实验证明，运动想象可促进运动学习并兴奋相关脑区。
运动想象疗法借助想象来改善运动能力；镜像疗法综合了观察、想象和模仿进程；虚拟现实疗法在虚拟情境中进行动作的观察、想象、模仿和学习；而脑-机接口技术则利用运动想象等生理过程中产生的神经生理学信号(如脑电波)来进行运动功能重建。由于运动想象脑电信号具有事件相关同步和事件相关同步去同步这一生理现象，因此可有效提取运动想象脑电信号的特征作为控制信号应用于脑-机接口技术中。然而在现有的运动想象脑电采集过程中，脑电采集提示方式一般多用提示音加与简单的提示符或图片相结合，如提示想象左手运动时，提示符为向左的箭头，对受试者的视觉刺激微弱且采集过程比较单调枯燥，实验形式和实验内容对受试者的吸引力都比较小，采集到的运动想象脑电信号不强且提取的特征不明显导致不易区分。因此，需要发明一种趣味性强且能够有效激发受试者大脑相应区域神经元活动的脑电采集方法，从脑电信号的产生源增强脑电信号的强度和准确性。
发明内容
本发明提供了一种基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法，目的是在采集运动想象任务下的脑电信号时，将镜像疗法引入到脑电采集系统设计中，同时增加了个性化的视听联合刺激与诱导，增强脑电采集的趣味性和镜像神经元的兴奋程度，从脑电信号产生源头提高脑电信号的采集质量。而基于Skinner强化学习理论的脑电闭环采集与控制模块可用于检验脑电训练和采集的效果，以增强受试者对患侧手康复的信心。为此，本发明采用以下方案：
基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法，包括以下三个部分，如图1所示：个性化视听联合刺激与诱导下的运动想象脑电训练模式、基于镜像虚拟的运动想象脑电信号的采集模式以及基于Skinner强化学习理论的闭环脑电采集与控制模式。其中：
第一部分，个性化视听联合刺激与诱导下的运动想象脑电训练模式
个性化视听联合刺激与诱导下的运动想象脑电训练主要包括以下5个子步骤，(1)自由选择音乐与物体；(2)健侧手佩戴数据手套并执行张/握动作；(3)实时采集健侧手部弯曲程度的数据；(4)对采集到的数据手套数据进行分析处理；(5)判断健侧手部的运动状态并钳制镜像虚拟患侧手动作。通过以上步骤在营造的环境模式中，实现用佩戴数据手套的健侧手来钳制系统中的由三维重构的镜像虚拟患侧手，进而进行抓握所喜好的物体，通过视觉和听觉的联合刺激来激发并增强运动想象脑电信号，脑电训练的次数自由设定，具体执行流程如图2所示。
(1)在脑电采集系统界面中选择个性化视听联合刺激与诱导下的运动想象脑电训练模式时，自由选择合适的背景音乐进行播放，诱发与增强大脑中的α波(学习与思考的最佳脑波状态，范围8-13HZ)促进大脑内啡肽的分泌，使大脑进入最活跃的状态，让学习、记忆得充分的施展，从而提高大脑的效率。同时，选择训练模式下用于镜像的虚拟患侧手抓握的物体，以增强视觉和心理因素的诱导。
(2)健侧手佩戴数据手套并执行张开和抓握的动作，则分布在数据手套每根手指上的柔性应变传感器将各手指的弯曲程度转换为数字信号。
(3)利用计算机串口通讯方法，实时采集健侧手部弯曲程度的数据。未经任何处理的数据手套发送的初始数据为一串字符串，包含每根手指对应的柔性应变传感器的输出值，并将其展示到界面中。
(4)对采集到的数据手套发送出的字符串数据进行分解和进制转换，获得表征每根手指动作状态和幅度的数据，并相应地传递给三维镜像虚拟患侧手模型，再利用这些数据钳制虚拟患侧手部动作的幅度，作为视觉刺激，营造沉浸感和交互性，并产生镜像虚拟手的虚拟模拟。
(5)根据对数据手套数据分离处理的结果判断健侧手部的运动状态。当健侧手张开时，根据喜好选定的物体逐渐增大，镜像的虚拟患侧手张开；当健侧手抓握时，根据喜好选定的物体逐渐缩小，镜像的虚拟患侧手抓握。从而营造患手能够进行正常抓握运动的虚拟模拟。根据镜像神经元的动作模仿学习机理，这将有利于充分调动运动想象的内动机。当训练次数达到设定的次数时结束脑电训练，未达到预设的训练次数时重复步骤(2)到(5)。
第二部分，基于镜像虚拟的运动想象脑电信号采集模式
选择系统中该部分时，将开启脑电采集界面提示系统，设计脑电采集实验时序图如图4所示。第1～2秒时间内计算机屏幕上出现“+”光标提示脑电采集实验开始。第2～3秒时间内出现文字提示“张开”或“抓握”，并伴有相应的语音提示，并根据任务提示进行相应的运动想象。在第3～8秒的时间段内播放虚拟患侧手部动画视频增强对受试者镜像神经元的刺激，引导执行患侧手部的运动想象任务，用脑电采集设备实时采集3.5～7.5秒内的运动想象脑电信号。第8～10秒的时间内进行休息，准备进入下一次采集实验，采集脑电信号的实验次数可根据需要设定。
第三部分，基于Skinner强化学习理论的闭环脑电采集与控制模式
闭环脑电采集与控制模式主要流程如图5所示。在该模式下通过佩戴的脑电采集装置采集想象患侧手部张/握动作的脑电信号，并实时地对脑电信号进行特征提取与分类。在该BCI控制系统中，首先将机械设备的动作方式和运动想象脑电信号的任务通过程序进行匹配。脑电信号的分类结果出来后，计算机程序再将分类结果转化为控制信号并传输给外部机械设备，外部设备接收控制信号后执行相应的动作。最后根据机械设备执行的运动任务与受试者运动想象意图的匹配度进行在线奖励与反馈，使其不断强化学习和及时修正行为，增强运动想象脑电信号的激励强度与主动康复意愿和对机械设备控制的信心，以免对脑电增强训练产生疲乏感。
与现有脑电采集提示方法相比，本发明有以下优点：
(1)本发明在脑电采集系统中融入了脑电训练模式，可以在采集脑电信号之前通过趣味训练提高受试者参与的主动性，并且训练过程中利用镜像疗法，可以更好地激活大脑相应运动区域的镜像神经元，增加神经元的活跃程度，从脑电信号的产生源头提高脑电信号的质量。
(2)本发明设计的训练方式操作简便，没有繁琐的学习过程，适用人群更广，并引入个性化元素，如个人喜好的音乐以及物品，可使得主动康复意愿增强并尽可能多地活动患手,将看到的镜像虚拟手想象成自己的患手，利用“幻象”提供的视觉反馈，让大脑“误以为”在同时控制双手，从而激活支配患手的运动神经元，促进脑功能重组。
(3)本发明在脑电采集的时序过程中增加了镜像的虚拟患侧手动作视频，在脑电测采集过程中给与受试者持续的视觉刺激，以促使受试者集中注意力进而增强想象患侧手运动脑电信号的强度。
(4)本发明在闭环脑电采集与控制模式中引入Skinner强化学习理论，进行在线奖励与反馈，使受试者不断强化学习和及时修正行为，增强运动想象脑电信号的激励强度并可作为检验脑电信号训练和采集效果的手段，给予直观的反馈。
附图说明
图1为本发明中的系统基本构成示意图；
图2为本发明中的个性化视听联合刺激与诱导下的运动想象脑电训练流程图；
图3为本发明中数据手套传送的数据包格式图；
图4为本发明中设计的脑电采集实验时序图；
图5为本发明中基于Skinner强化学习理论的闭环脑电采集与控制流程图
具体实施方式
基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法包括以下几个步骤：
步骤1，个性化视听联合刺激与诱导下的运动想象脑电训练模式
在该模式下的执行流程如图2所示，受试者可以根据自身情况设定训练的次数，当达到设定的训练次数时该模式结束，未达到时则需要继续训练。受试者在较为放松的状态下实现用佩戴数据手套的健侧手来钳制系统中的由三维重构的镜像虚拟患侧手进行抓握所喜好的物体，通过视觉和听觉的刺激来激发并增强受试者运动想象脑电。
步骤1.1，根据受试者的个人喜好选择合适的背景音乐进行播放，使身体处于放松的状态有助于诱发与增强大脑中的α波，使大脑进入最活跃的状态。同时，根据个人喜好选择训练模式下用于镜像的虚拟患侧手抓握的物体，以增强视觉和心理因素的诱导。
步骤1.2，受试者健侧手佩戴数据手套并执行张开和抓握的动作，则分布在数据手套每根手指上的柔性应变传感器检测出各手指的弯曲程度并转换为数字信号准备发送。每根手指上对应的柔性传感器随着手指的弯曲的程度增大而使测得的数据手套的输出的值增加，当手再次张开时，手指弯曲程度减小，采集到的数据手套数值也逐渐减小。
步骤1.3，利用计算机串口通讯方法，读取健侧手部弯曲程度的实时数据并将其展示到界面中。采集到的数据手套数据以数据包的形式进行传送，具体格式如图3所示，每7个字节为一组，第一个字节为起始位，最后一个字节为结束位。数据包体中的5个数据一一对应五根手上柔性应变传感器输出的数值，所以未经任何处理收到的数据手套发送的初始数据为一串字符串，包含每根手指对应的柔性应变传感器的数值。
步骤1.4，将采集到的数据手套数据进行分析处理：对采集到的数据手套发送出的字符串数据进行分解和进制转换，获得表征每根手指动作状态和幅度的数据，并相应地传递给三维镜像虚拟患侧手模型，再利用这些数据钳制虚拟患侧手部动作的幅度，作为视觉刺激，营造沉浸感和交互性，误以为镜像虚拟手就是自身的幻肢。
步骤1.5，判断健侧手部的运动状态并钳制镜像虚拟患侧手动作。当执行抓握动作时，手指弯曲程度越大，采集到的数据手套相应的数据值越大；当手部张开时，手指弯曲程度变小，采集到的数值减小。所以当检测到的数据手套的值逐渐减小，程序判断手部执行张开动作，受试者选定的物体逐渐增大，镜像的虚拟患侧手也随之张开；当检测到的数据手套的值逐渐增大时，程序判断手部执行抓握动作，根据喜好选择定物体逐渐缩小，镜像的虚拟患侧手也随之抓握。每次训练结束时，系统自动判断训练次数是否达到设定值，当达到时结束脑电训练，否则重复步骤1.2到步骤1.5再进行训练。
步骤2，基于镜像虚拟的运动想象脑电信号采集模式
选择系统中该部分时，将开启脑电采集界面提示系统，设计脑电采集实验时序图如图4所示。第1～2秒时间内计算机屏幕上出现“+”光标提示受试者脑电采集实验开始。第2～3秒时间内界面出现文字提示“张开”或“抓握”，并伴有相应的语音提示，受试者根据任务提示进行相应的运动想象。在第3～8秒的时间段内播放虚拟患侧手部动画视频，增强对受试者镜像神经元的刺激，引导受试者执行患侧手部的运动想象任务，并使用脑电采集设备实时采集3.5～7.5秒内的运动想象脑电信号。第8～10秒的时间内受试者稍事休息，准备进入下一次采集实验，试验次数可根据实际情况自行设定。与此同时，脑电采集设备记录每一次实验中3.5～7.5秒之间的脑电数据并保存在指定的文件夹中用于离线分析，根据对采集到的运动想象脑电信号的离线分析结果，可评估受试者脑电训练是否达到要求。
步骤3，基于Skinner强化学习理论的闭环脑电采集与控制模式
通过对步骤2中采集到的运动想象脑电信号的离线分析可得知受试脑电训的效果，当受试者对脑电训练的结果比较满意时，可通过闭环脑电采集与控制进行实验验证。在该BCI控制系统中，作为控制对象的外部机械设备包括但不局限于机械手。首先在计算机控制程序中将机械手的动作方式和运动想象脑电信号的任务通过程序进行匹配。受试者佩戴脑电采集装置并进行患侧手部张/握动作的运动想象。脑电采集设备采集受试者运动想象脑电信号，调用BCI控制系统中脑电信号处理程序对采集到的运动想象脑电信号进行在线的特征提取并识别该运动想象脑电信号的想象任务。当识别出的运动想象脑电信号为抓握任务时，机械手执行抓握的动作；当识别为张开的想象任务时，机械手执行张开动作。最后根据机械手执行的任务与运动想象意图的匹配度，对受试者进行奖励并作为在线反馈，使受试者不断强化学习和及时修正行为，增强运动想象脑电信号的激励强度，提高受试者控制机械设备的兴趣。
Claims (3)
1.基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法，其特征在于：包括以下三个部分，个性化视听联合刺激与诱导下的运动想象脑电训练模式、基于镜像虚拟的运动想象脑电信号的采集模式以及基于Skinner强化学习理论的闭环脑电采集与控制模式；其中：
第一部分，个性化视听联合刺激与诱导下的运动想象脑电训练模式
个性化视听联合刺激与诱导下的运动想象脑电训练主要包括以下5个子步骤，(1)自由选择音乐与物体；(2)健侧手佩戴数据手套并执行张/握动作；(3)实时采集健侧手部弯曲程度的数据；(4)对采集到的数据手套数据进行分析处理；(5)判断健侧手部的运动状态并钳制镜像虚拟患侧手动作；通过以上步骤在营造的环境模式中，实现用佩戴数据手套的健侧手来钳制系统中的由三维重构的镜像虚拟患侧手，进而进行抓握所喜好的物体，通过视觉和听觉的联合刺激来激发并增强运动想象脑电信号，脑电训练的次数自由设定；
(1)在脑电采集系统界面中选择个性化视听联合刺激与诱导下的运动想象脑电训练模式时，自由选择合适的背景音乐进行播放，诱发与增强大脑中的α波(学习与思考的最佳脑波状态，范围8-13HZ)促进大脑内啡肽的分泌，使大脑进入最活跃的状态，让学习、记忆得充分的施展，从而提高大脑的效率；同时，选择训练模式下用于镜像的虚拟患侧手抓握的物体，以增强视觉和心理因素的诱导；
(2)健侧手佩戴数据手套并执行张开和抓握的动作，则分布在数据手套每根手指上的柔性应变传感器将各手指的弯曲程度转换为数字信号；
(3)利用计算机串口通讯方法，实时采集健侧手部弯曲程度的数据；未经任何处理的数据手套发送的初始数据为一串字符串，包含每根手指对应的柔性应变传感器的输出值，并将其展示到界面中；
(4)对采集到的数据手套发送出的字符串数据进行分解和进制转换，获得表征每根手指动作状态和幅度的数据，并相应地传递给三维镜像虚拟患侧手模型，再利用这些数据钳制虚拟患侧手部动作的幅度，作为视觉刺激，营造沉浸感和交互性，并产生镜像虚拟手的虚拟模拟；
(5)根据对数据手套数据分离处理的结果判断健侧手部的运动状态；当健侧手张开时，根据喜好选定的物体逐渐增大，镜像的虚拟患侧手张开；当健侧手抓握时，根据喜好选定的物体逐渐缩小，镜像的虚拟患侧手抓握；从而营造患手能够进行正常抓握运动的虚拟模拟；根据镜像神经元的动作模仿学习机理，这将有利于充分调动运动想象的内动机；当训练次数达到设定的次数时结束脑电训练，未达到预设的训练次数时重复步骤(2)到(5)；
第二部分，基于镜像虚拟的运动想象脑电信号采集模式
选择系统中该部分时，将开启脑电采集界面提示系统，第1～2秒时间内计算机屏幕上出现“+”光标提示脑电采集实验开始；第2～3秒时间内出现文字提示“张开”或“抓握”，并伴有相应的语音提示，并根据任务提示进行相应的运动想象；在第3～8秒的时间段内播放虚拟患侧手部动画视频增强对镜像神经元的刺激，引导执行患侧手部的运动想象任务，用脑电采集设备实时采集3.5～7.5秒内的运动想象脑电信号；第8～10秒的时间内进行休息，准备进入下一次采集实验，采集脑电信号的实验次数可根据需要设定；
第三部分，基于Skinner强化学习理论的闭环脑电采集与控制模式
在该模式下通过佩戴的脑电采集装置采集想象患侧手部张/握动作的脑电信号，并实时地对脑电信号进行特征提取与分类；在该BCI控制系统中，首先将机械设备的动作方式和运动想象脑电信号的任务通过程序进行匹配；脑电信号的分类结果出来后，计算机程序再将分类结果转化为控制信号并传输给外部机械设备，外部设备接收控制信号后执行相应的动作；最后根据机械设备执行的运动任务与运动想象意图的匹配度对受试者进行在线奖励与反馈，使其不断强化学习和及时修正行为，增强运动想象脑电信号的激励强度与主动康复意愿和对机械设备控制的信心，以免对脑电增强训练产生疲乏感。
2.根据权利要求1所述的基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法，其特征在于：步骤2中，在普通的脑电采集过程当中融入多样化的脑电提示方法，通过提示文字以及提示音结合镜像虚拟患侧手动作视频提示，从视觉和听觉上增强想象患侧手部张/握动作时大脑对应的运动皮层区域镜像神经元的兴奋程度以及主动参与度，以从脑电信号产生源头提高采集到的脑电信号质量。
3.根据权利要求1所述的基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法，其特征在于：步骤3中，控制模式利用Skinner强化学习理论，根据机械设备执行的运动任务与运动想象意图的匹配度进行在线奖励与反馈，不断强化学习和及时修正行为，通过该控制模块不仅能够有效地检验脑电训练与采集的效果，而且有利于进一步改善脑电信号质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610154660.4A CN105700689B (zh) | 2016-03-17 | 2016-03-17 | 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610154660.4A CN105700689B (zh) | 2016-03-17 | 2016-03-17 | 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105700689A true CN105700689A (zh) | 2016-06-22 |
| CN105700689B CN105700689B (zh) | 2018-07-13 |
Family
ID=56231292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610154660.4A Expired - Fee Related CN105700689B (zh) | 2016-03-17 | 2016-03-17 | 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105700689B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106371588A (zh) * | 2016-08-29 | 2017-02-01 | 上海大学 | 基于运动想象脑机接口的手功能康复方法 |
| CN106422203A (zh) * | 2016-11-23 | 2017-02-22 | 佛山科学技术学院 | 一种基于镜像疗法的光电多模态反馈的上肢康复训练方法 |
| CN107433021A (zh) * | 2017-08-22 | 2017-12-05 | 杭州川核科技有限公司 | 一种基于镜像神经元的vr康复系统 |
| CN108065933A (zh) * | 2016-11-14 | 2018-05-25 | 复旦大学 | 基于静息态的辅助运动区功能定位方法 |
| CN108392201A (zh) * | 2018-02-26 | 2018-08-14 | 广东欧珀移动通信有限公司 | 大脑训练方法及相关设备 |
| CN109199376A (zh) * | 2018-08-21 | 2019-01-15 | 北京工业大学 | 基于oa-wmne脑源成像的运动想象脑电信号的解码方法 |
| CN109939324A (zh) * | 2019-01-14 | 2019-06-28 | 永康国科康复工程技术有限公司 | 基于多模感觉康复手套的肢体镜像治疗装置 |
| CN110168473A (zh) * | 2016-12-30 | 2019-08-23 | 赫尔实验室有限公司 | 闭环干预控制系统 |
| WO2020177742A1 (zh) * | 2019-03-06 | 2020-09-10 | 南方医科大学深圳医院 | 一种偏瘫习得性废用评估和治疗装置及方法 |
| CN112578912A (zh) * | 2020-12-25 | 2021-03-30 | 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 | 一种基于音乐刺激的脑控手指训练设备 |
| CN117582643A (zh) * | 2023-12-20 | 2024-02-23 | 广州叁人行医疗科技有限公司 | 基于虚拟现实的视听综合训练方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104000586A (zh) * | 2014-05-12 | 2014-08-27 | 燕山大学 | 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法 |
| WO2014186537A1 (en) * | 2013-05-16 | 2014-11-20 | New York University | Game-based sensorimotor rehabilitator |
| CN204631770U (zh) * | 2015-04-15 | 2015-09-09 | 昆明理工大学 | 一种用于运动想象脑电的脑机接口高效用户训练装置 |
-
2016
- 2016-03-17 CN CN201610154660.4A patent/CN105700689B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014186537A1 (en) * | 2013-05-16 | 2014-11-20 | New York University | Game-based sensorimotor rehabilitator |
| CN104000586A (zh) * | 2014-05-12 | 2014-08-27 | 燕山大学 | 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法 |
| CN204631770U (zh) * | 2015-04-15 | 2015-09-09 | 昆明理工大学 | 一种用于运动想象脑电的脑机接口高效用户训练装置 |
Non-Patent Citations (2)
| Title |
|---|
| LI M, XU J, LUO X: "Feature Combination and Correlation Analysis for Motor Imagery EEG", 《INTERNATIONAL FORUM ON MANAGEMENT, EDUCATION AND INFORMATION TECHNOLOGY APPLICATION》 * |
| ZHOU Z, WAN B: "Wavelet packet-based independent component analysis for feature extraction from motor imagery EEG of complex movements", 《CLINICAL NEUROPHYSIOLOGY OFFICIAL JOURNAL OF THE INTERNATIONAL FEDERATION OF CLINICAL NEUROPHYSIOLOGY》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106371588A (zh) * | 2016-08-29 | 2017-02-01 | 上海大学 | 基于运动想象脑机接口的手功能康复方法 |
| CN108065933B (zh) * | 2016-11-14 | 2021-07-23 | 复旦大学 | 基于静息态的辅助运动区功能定位方法 |
| CN108065933A (zh) * | 2016-11-14 | 2018-05-25 | 复旦大学 | 基于静息态的辅助运动区功能定位方法 |
| CN106422203B (zh) * | 2016-11-23 | 2018-11-16 | 佛山科学技术学院 | 一种基于镜像疗法的光电多模态反馈的上肢康复训练方法 |
| CN106422203A (zh) * | 2016-11-23 | 2017-02-22 | 佛山科学技术学院 | 一种基于镜像疗法的光电多模态反馈的上肢康复训练方法 |
| CN110168473A (zh) * | 2016-12-30 | 2019-08-23 | 赫尔实验室有限公司 | 闭环干预控制系统 |
| CN110168473B (zh) * | 2016-12-30 | 2022-03-22 | 赫尔实验室有限公司 | 用于受试者的记忆巩固的闭环干预控制系统和方法 |
| CN107433021A (zh) * | 2017-08-22 | 2017-12-05 | 杭州川核科技有限公司 | 一种基于镜像神经元的vr康复系统 |
| CN108392201A (zh) * | 2018-02-26 | 2018-08-14 | 广东欧珀移动通信有限公司 | 大脑训练方法及相关设备 |
| CN108392201B (zh) * | 2018-02-26 | 2022-03-22 | Oppo广东移动通信有限公司 | 大脑训练方法及相关设备 |
| CN109199376A (zh) * | 2018-08-21 | 2019-01-15 | 北京工业大学 | 基于oa-wmne脑源成像的运动想象脑电信号的解码方法 |
| CN109199376B (zh) * | 2018-08-21 | 2021-04-09 | 北京工业大学 | 基于oa-wmne脑源成像的运动想象脑电信号的解码方法 |
| CN109939324A (zh) * | 2019-01-14 | 2019-06-28 | 永康国科康复工程技术有限公司 | 基于多模感觉康复手套的肢体镜像治疗装置 |
| CN109939324B (zh) * | 2019-01-14 | 2023-11-28 | 苏州国科医工科技发展(集团)有限公司 | 基于多模感觉康复手套的肢体镜像治疗装置 |
| WO2020177742A1 (zh) * | 2019-03-06 | 2020-09-10 | 南方医科大学深圳医院 | 一种偏瘫习得性废用评估和治疗装置及方法 |
| CN112578912A (zh) * | 2020-12-25 | 2021-03-30 | 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 | 一种基于音乐刺激的脑控手指训练设备 |
| CN117582643A (zh) * | 2023-12-20 | 2024-02-23 | 广州叁人行医疗科技有限公司 | 基于虚拟现实的视听综合训练方法及系统 |
| CN117582643B (zh) * | 2023-12-20 | 2024-05-28 | 广州叁人行医疗科技有限公司 | 基于虚拟现实的视听综合训练方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105700689B (zh) | 2018-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105700689A (zh) | 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法 | |
| US11577043B2 (en) | Brain stimulation system, method and apparatus based on artificial intelligence and storage medium | |
| CN103793593B (zh) | 一种获取大脑状态客观定量指标的方法 | |
| Wang et al. | Neural interface technology for rehabilitation: exploiting and promoting neuroplasticity | |
| US11331565B2 (en) | Digital anatomical virtual extremities for pre-training physical movement | |
| US20200016363A1 (en) | Digital virtual limb and body interaction | |
| CN109925582A (zh) | 双模态脑-机交互式运动神经反馈训练装置和方法 | |
| CN106407733A (zh) | 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法 | |
| WO2018189614A1 (ko) | 행동모방학습 기반의 뇌 훈련 시뮬레이터 및 시뮬레이션 시스템 | |
| CN103284878A (zh) | 智能化按摩机 | |
| CN112244774A (zh) | 脑机接口康复训练系统及方法 | |
| CN113940856A (zh) | 一种基于肌电-惯性信息的手部康复训练装置及方法 | |
| CN110993056A (zh) | 基于镜像神经元和脑机接口的混合式主动康复方法、装置 | |
| EP4000578A1 (en) | Neurorehabilitation system and method for neurorehabilitation | |
| CN111297379A (zh) | 一种基于感官传递的脑机结合系统和方法 | |
| JP2009531077A (ja) | エフェクターのリアル・タイム制御のための装置と方法 | |
| CN202568829U (zh) | 智能化按摩机 | |
| Trincado-Alonso et al. | A pilot study of brain-triggered electrical stimulation with visual feedback in patients with incomplete spinal cord injury | |
| CN114021604A (zh) | 一种基于3d虚拟现实技术实时反馈的运动想象训练系统 | |
| Nijholt et al. | Brain-computer interaction: can multimodality help? | |
| CN107184205A (zh) | 基于脑的记忆刻度和诱导捕捉的自动知识记忆牵引方法 | |
| Schone et al. | Should bionic limb control mimic the human body? Impact of control strategy on bionic hand skill learning | |
| da Silva-Sauer et al. | New perspectives for cognitive rehabilitation: Could brain-computer interface systems benefit people with dementia? | |
| CN106650243A (zh) | 一种防止运动员肌肉损伤的放松活动系统 | |
| CN116510249A (zh) | 一种基于肌电信号的手部虚拟康复训练系统及训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180713 |