CN114546105A - 交互式运动想象脑控方法、脑控vr系统及计算机设备 - Google Patents

交互式运动想象脑控方法、脑控vr系统及计算机设备 Download PDF

Info

Publication number
CN114546105A
CN114546105A CN202111613880.6A CN202111613880A CN114546105A CN 114546105 A CN114546105 A CN 114546105A CN 202111613880 A CN202111613880 A CN 202111613880A CN 114546105 A CN114546105 A CN 114546105A
Authority
CN
China
Prior art keywords
data
subject
force
virtual
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111613880.6A
Other languages
English (en)
Inventor
徐佳琳
左国坤
宋涛
张佳楫
施长城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS, Cixi Institute of Biomedical Engineering CIBE of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202111613880.6A priority Critical patent/CN114546105A/zh
Publication of CN114546105A publication Critical patent/CN114546105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明提供了一种交互式运动想象脑控方法、脑控VR系统及计算机设备，交互式运动想象脑控方法包括：构建视觉交互场景，所述视觉交互场景包括显示所要执行的虚拟互动任务；从所述视觉交互场景中获取反馈力；获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据；获取受试者受到所述视觉刺激和所述力觉刺激后作出的实际运动数据；将所述期望动作数据与所述实际动作数据做差，获得动作辅助量，并将所述期望作用力数据与所述实际作用力数据做差，获得作用力辅助量；基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务，通过交互的方式引导受试者进行运动想象，引导效果较好。

Description

交互式运动想象脑控方法、脑控VR系统及计算机设备
技术领域
本发明涉及脑机接口技术领域，具体而言，涉及一种交互式运动想象脑控方法、脑控VR系统及计算机设备。
背景技术
基于运动想象(Motor Imagery，MI)的脑机接口(Brain Computer Interface，BCI)能够建立一条人工神经通路，帮助脑卒中等脑损伤患者实现大脑神经重塑、改善肢体运动功能。目前MI-BCI一般采用基于单人手、足等简单肢体动作的运动想象范式，通过固定的模式引导受试者进行运动想象活动，引导过程的提示信息有限，受试者与引导画面的互动不够，引导效果较差。
发明内容
本发明解决的问题是如何引导受试者进行交互式的运动想象训练任务。
为解决上述问题，本发明提供一种交互式运动想象脑控方法，应用于脑控VR系统，所述交互式运动想象脑控方法包括：
构建视觉交互场景，所述视觉交互场景包括显示所要执行的虚拟互动任务，其中，所述视觉交互场景用于给予受试者视觉刺激；从所述视觉交互场景中获取反馈力，其中，所述反馈力用于给予受试者力觉刺激；获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据，其中，所述脑电数据包括大脑额叶区信号和感觉运动皮质区信号，所述期望数据包括期望动作数据与期望作用力数据；获取受试者受到所述视觉刺激和所述力觉刺激后作出的实际运动数据，其中，所述实际运动数据包括实际动作数据与实际作用力数据；将所述期望动作数据与所述实际动作数据做差，获得动作辅助量，并将所述期望作用力数据与所述实际作用力数据做差，获得作用力辅助量；基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务。
相对于现有技术，本发明通过把视觉交互场景与反馈力结合，将视觉刺激与力觉刺激相结合，增加受试者的沉浸感，引导受试者身临其境的感受视觉交互场景中的虚拟互动任务，从而提升引导效果；使用辅助数据辅助受试者执行虚拟互动任务，可以在受试者期望数据和实际运动数据具有差距的情况下辅助受试者训练，防止出现心理预期与实际控制差距过大而造成的落差感，进一步提升受试者的沉浸感，完成虚拟任务与受试者之间的交互；通过将期望数据与实际运动数据做差，可以获得受试者的运动想象情况与上肢力量情况，进而制定更适合受试者的训练方案，提升训练效果。
可选地，在所述基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务之后，还包括：
判断所述虚拟互动任务预设的任务目标是否达成；若否，则基于所述脑电数据，调整所述视觉交互场景，回到所述从所述视觉交互场景中获取反馈力的步骤。
由此，根据受试者的能力制定更适合受试者的交互场景，既可以增加受试者的训练积极性，又可以提升训练效果。
可选地，所述构建视觉交互场景包括：
基于所述虚拟互动任务及所述任务目标生成第一虚拟人物及虚拟训练物，所述第一虚拟人物用于协助受试者控制所述虚拟训练物以达成所述任务目标，所述第一虚拟人物对所述虚拟训练物施加协助数据，所述协助数据包括协助动作数据与协助作用力数据。
由此，在虚拟互动任务中加入第一虚拟人物，可以使互动任务更加真实，提升受试者的沉浸感；真实的虚拟互动任务更加贴合实际生活，具有较高的实用性，保证训练效果。
可选地，所述基于所述脑电数据，调整所述视觉交互场景包括：
处理所述大脑额叶区信号与所述感觉运动皮质区信号，获得所述大脑额叶区信号与所述感觉运动皮质区信号的因果关系；基于所述因果关系，调整所述第一虚拟人物施加于所述虚拟训练物的所述协助数据。
由此，通过因果关系调整协助数据，帮助获得更贴近受试者能力的虚拟互动任务，提升训练效果。
可选地，所述脑控VR系统还包括VR显示器；在所述基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务之前，还包括：
将所述期望数据映射至所述视觉交互场景中，形成具有期望动作和期望作用力的第二虚拟人物，所述第二虚拟人物对所述虚拟训练物施加所述期望数据；模拟所述虚拟训练物被施加所述期望数据与所述协助数据之后的运动状态；将所述虚拟训练物的运动状态显示在所述VR显示器上。
由此，第二虚拟人物会做出与受试者期望一致的动作和力，可以进一步提升受试者的沉浸感；将期望数据具象化映射到第二虚拟人物上，并与虚拟训练物产生交互，从而直观地显示期望数据的作用情况，帮助受试者更好地进行运动想象。
可选地，所述获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据包括：
获取左侧特征、右侧特征与对比特征，其中，所述左侧特征包括大脑左侧的所述感觉运动皮质区信号的功率能量随时间变化的特征，所述右侧特征包括大脑右侧的所述感觉运动皮质区信号的功率能量随时间变化的特征，所述对比特征包括大脑左侧的所述感觉运动皮质区的功率能量与大脑右侧的所述感觉运动皮质区的功率能量之间的对比度随时间的变化特征；基于所述左侧特征、所述右侧特征与所述对比特征获得所述期望数据。
由此，通过获取左侧特征、右侧特征和对比特征可以更精确地将脑电信号转换为期望数据，保证训练质量。
可选地，所述构建视觉交互场景之后，还包括：将所述视觉交互场景显示在所述VR显示器上。
由此，通过VR显示器显示视觉交互场景，可以增加受试者的沉浸感、交互感，保证训练效果。
可选地，所述反馈力包括左侧反馈力和右侧反馈力，其中，所述左侧反馈力与所述右侧反馈力的大小和方向相同。
由此，保证左右两侧的受力平衡，同时训练受试者左侧和右侧的运动想象能力。
另一方面，本发明还提出一种脑控VR系统，包括：
视觉交互场景构建模块，其用于构建视觉交互场景，所述视觉交互场景包括显示所要执行的虚拟互动任务，其中，所述视觉交互场景用于给予受试者视觉刺激；反馈力输出模块，其用于从所述视觉交互场景中获取反馈力，其中，所述反馈力用于给予受试者力觉刺激；脑电数据获取模块，其用于获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据，其中，所述脑电数据包括大脑额叶区信号和感觉运动皮质区信号，所述期望数据包括期望动作数据与期望作用力数据；运动数据获取模块，其用于获取受试者受到所述视觉刺激和所述力觉刺激后作出的实际运动数据，其中，所述实际运动数据包括实际动作数据与实际作用力数据；辅助模块，其用于将所述期望动作数据与所述实际动作数据做差，获得动作辅助量，并将所述期望作用力数据与所述实际作用力数据做差，获得作用力辅助量；执行模块，其用于基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务。
本发明脑控VR系统相对于现有技术所具有的有益效果与上述交互式运动想象脑控方法一致，此处不赘述。
本发明还提供一种计算机设备，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上任一项所述的交互式运动想象脑控方法。
本发明计算机设备相对于现有技术所具有的有益效果与上述交互式运动想象脑控方法一致，此处不赘述。
附图说明
图1为本发明实施例的交互式运动想象脑控方法的流程示意图；
图2为本发明实施例的交互式运动想象脑控方法步骤S300细化后的流程示意图；
图3为本发明实施例的交互式运动想象脑控方法步骤S600之前的细化流程示意图；
图4为本发明实施例的交互式运动想象脑控方法步骤S600之后的细化流程示意图；
图5为本发明实施例的交互式运动想象脑控方法步骤S612细化后的流程示意图；
图6为本发明实施例的系统连接图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
为解决上述问题，参照图1所示，本发明提供一种交互式运动想象脑控方法，包括：
步骤S100，构建视觉交互场景，所述视觉交互场景包括显示所要执行的虚拟互动任务。
在一实施例中，视觉交互场景为预设的交互场景，通过模拟交互场景，然后显示虚拟互动任务的内容，可以让受试者做好心理准备，有一定的心理预期，在任务开始前，为受试者展示所要协作的场景，增加受试者在协作任务时的受试准确性。不同的任务目标可能会影响受试者的脑电数据，故在任务开始之前，构建视觉交互场景阶段显示虚拟互动任务的任务目标，可以让受试者对协作任务有进一步的了解，从而使后续步骤可以获取更优质的脑电数据。
下面举例说明视觉交互场景，在一个例子中，视觉交互场景具体为：一个开阔地带的协作搬运物体场景，其中，协作场景包括，构建一个虚拟的人物，与受试者一同搬运重物，虚拟人物可以帮助受试者共同完成任务目标。在此交互场景中，任务目标可以是与虚拟人物一起抬起重物，也可以是与虚拟人物一起抬起重物后，向某个方向进行预设距离的移动。如果受试者与虚拟人物一起抬起了重物，即可视作完成任务目标。
可选地，构建视觉交互场景后，将视觉交互场景显示在VR显示器上。
受试者可以通过VR显示器观察构建出的虚拟的视觉交互场景，可以引导受试者开始运动想象，相对于直接将视觉交互场景投射到屏幕，可以更快地让受试者沉浸在场景中，更能增加用户的沉浸感，增加引导效果。
步骤S200，从所述视觉交互场景中获取反馈力。
在本发明中，反馈力包括视觉交互场景中，所要执行的虚拟互动任务所包含的物体反馈到受试者的力。
下面举例说明反馈力，若视觉交互场景为协作搬运重物的场景，则说明受试者需要与虚拟人物一起搬运重物，此时反馈力应包括受试者搬运重物时，重物施加到受试者手上的力，因为此场景中，重物也受到虚拟人物施加的力，所以，重物施加到受试者手上的力为重物的重力与虚拟人物施加到重物上的力的合力。
将视觉交互场景中的反馈力通过反馈装置施加到受试者身上，其目的包括：受试者在现实中被施加一个反馈力，可以帮助受试者感知任务内容。
步骤S300，获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据。
通过视觉交互场景的视觉刺激与反馈装置的力觉刺激，使受试者沉浸在交互场景中，引导受试者自主进行运动想象，然后通过脑电信号采集装置获取受试者的脑电数据，再通过脑电信号处理器将脑电数据转换为受试者脑中想象的期望数据，期望数据包括两方面，一方面是受试者为达成任务目标所想要施加到重物的位移大小和方向，即期望动作数据；另一方面是受试者所想要施加到重物的力的大小，即期望作用力数据。
获取受试者的期望数据，可以帮助评估受试者对于任务场景的想象能力，获知受试者是否可以根据视觉与力觉刺激准确地实现大脑对运动的想象。
步骤S400，获取受试者受到所述视觉刺激和所述力觉刺激后作出的实际运动数据。
受试者在受到反馈力作用时，不仅会在脑中想象所期望施加到虚拟训练物上的力，也会在现实中，使用双手控制执行装置，实际控制执行装置以达成任务目标，但是受试者的双手施加到执行装置的实际运动数据与受试者想象中的期望运动数据有所差异，所以在步骤S300获得期望数据的同时，还需要通过执行装置获取受试者的实际运动数据，实际运动数据也包括两方面，一方面是受试者实际移动执行装置的位移大小和方向，即实际动作数据；另一方面是受试者实际施加到执行装置上的作用力大小，即实际作用力数据。
获取期望运动数据的同时获取实际运动数据，可以帮助了解到受试者对双手的控制情况，也可以详细地获得受试者双手的肢体力量大小。
步骤S500，将所述期望动作数据与所述实际动作数据做差，获得动作辅助量，并将所述期望作用力数据与所述实际作用力数据做差，获得作用力辅助量。
将期望数据与实际运动数据做差，包括计算期望动作数据与实际动作数据的方向与位移大小的偏差，还包括计算期望作用力数据与实际作用力数据的大小的差值。
当受试者想象出的期望数据与实际施加到执行装置的实际运动数据有差异时，通过计算辅助数据消除差异，帮助受试者实现想象中的场景，增加受试者的沉浸感。
步骤S600，基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务。
在一实施例中，受试者的训练目的是训练自己的运动想象能力，但是受试者对于自身的上肢的控制能力较差，所以在此情况下，采集受试者控制执行装置受到的实际运动数据无法正确评估受试者的运动想象能力，必须采用受试者的脑电数据，通过受试者的脑电数据获得的期望数据评估受试者的运动想象能力。为了保护受试者不受到反馈装置的伤害，在反馈装置对受试者进行力觉刺激的同时，获取受试者对执行装置的实际运动数据，然后将期望数据与实际运动数据的差值作为辅助数据施加到受试者上。
在另一实施例中，受试者的训练目的不只是训练自己的运动想象能力，还想一同训练自身的上肢控制能力，为帮助受试者训练上肢控制能力，将期望数据与实际运动数据做差，将差值作为执行装置的输出量，帮助受试者尽可能地完成任务目标。
下面举例说明此实施例中的辅助作用，当受试者的实际作用力数据大小为十牛顿，期望作用力数据为二十牛顿，计算期望作用力与实际作用力的差值为十牛顿。若达成任务目标所需要的作用力数据大小为二十五牛顿，期望作用力与达成任务目标所需要的作用力大小之差小于预设阈值，则将差值全部用于辅助受试者控制执行装置。若达成任务目标所需要的作用力数据大小为五十牛顿，则期望作用力与达成任务目标所需要的作用力大小之差大于预设阈值，此时在将差值全部用于辅助受试者控制执行装置的基础上，适当增加额外的辅助力给受试者，以辅助受试者控制执行装置，使受试者施加给执行装置的实际作用力与反馈装置施加的反馈力相对平衡，保护受试者不收到反馈装置的伤害，保护受试者。
可选地，如图4所示，在步骤S600之后，还包括：
步骤S611，判断所述虚拟互动任务预设的任务目标是否达成。
步骤S612，若否，则基于所述脑电数据，调整所述视觉交互场景，回到所述从所述视觉交互场景中获取反馈力的步骤。
当任务目标未达成时，表示受试者所期望施加到虚拟训练物的期望动作数据和期望作用力数据不能达成任务目标，即受试者的运动想象能力并不能满足要求，需要调整视觉交互场景的难度。
微调视觉交互场景包括微调虚拟互动任务和微调任务目标。下面通过举例说明如何微调视觉交互场景：在一实施例中，可能会出现受试者无法理解(或无法沉浸)的视觉交互场景，所以将受试者无法理解的任务场景调整为受试者可以沉浸的任务场景，从而帮助受试者完成任务目标。在另一实施例中，任务目标难度较大，导致受试者无法完成任务目标，故微调任务目标的难度(如降低任务的复杂度、降低为完成任务目标所需要的力的大小)从而帮助受试者完成任务目标。
当任务目标达成时，记作完成了一次训练任务，记录数据集合，所述数据集合包括实际运动数据、脑电数据、期望数据、辅助数据和协助数据。
将所述数据集合作为下个训练周期的参考，基于数据集合重新构建视觉交互场景。
可选地，如图3所示，在步骤S600之前，还包括：
步骤S501，将所述期望数据映射至所述视觉交互场景中，形成具有期望动作和期望作用力的第二虚拟人物，所述第二虚拟人物对所述虚拟训练物施加所述期望数据。
步骤S502，模拟所述虚拟训练物被施加所述期望数据与所述协助数据之后的运动状态。
步骤S503，将所述虚拟训练物的运动状态显示在所述VR显示器上。
将受试者的形象显示在所述视觉交互场景中，作为第二虚拟人物，然后将受试者想象的动作与作用力施加到第二虚拟人物上，由第二虚拟人物控制虚拟训练物，然后将此场景显示在VR显示器上，完成对受试者想象运动任务的具象化。即将期望数据与协助数据模拟施加到虚拟训练物上，模拟虚拟训练物运动状态，并显示VR显示器上。
在一实施例中，所述视觉交互场景包括：抬起重物。若受试者的期望数据包括：竖直向上抬起重物，作用力数据为十牛顿，则将期望数据映射到视觉交互场景中，形成第二虚拟人物，显示在VR显示器上，第二虚拟人物对重物施加方向为竖直向上、大小为十牛顿的力。
将受试者的形象形成第二虚拟人物，并将期望数据演示在VR显示器上，可以使受试者对自己的运动想象结果有一个直观的认识，帮助受试者增加任务的沉浸感，可以提升运动想象任务的训练效果。
可选地，如图2所示，步骤S300包括：
步骤S301，获取左侧特征、右侧特征与对比特征，其中，所述左侧特征包括大脑左侧的所述感觉运动皮质区信号的功率能量随时间变化的特征，所述右侧特征包括大脑右侧的所述感觉运动皮质区信号的功率能量随时间变化的特征，所述对比特征包括大脑左侧的所述感觉运动皮质区的功率能量与大脑右侧的所述感觉运动皮质区的功率能量之间的对比度随时间的变化特征。
在受试者收到力觉刺激与视觉刺激后，获取受试者左半球感觉运动皮质区的脑电信号与大脑右半球感觉运动皮质区的脑电信号在7-14Hz、15-35Hz特征频段的功率能量随时间的变化特征、功率能量在大脑左、右半球之间的对比度随时间的变化特征。将上述特征作为左侧特征、右侧特征与对比特征。
步骤S302，基于所述左侧特征、所述右侧特征与所述对比特征获得所述期望数据。
基于左侧特征、右侧特征与对比特征可以更准确地将受试者所想的内容转换为期望数据。
可选地，步骤S100包括：基于所述虚拟互动任务及所述任务目标生成第一虚拟人物及虚拟训练物，所述第一虚拟人物用于协助受试者控制所述虚拟训练物以达成所述任务目标，所述第一虚拟人物对所述虚拟训练物施加协助数据，所述协助数据包括协助动作数据与协助作用力数据。
在生成第二虚拟人物的同时，还在虚拟互动任务中生成第一虚拟人物，第一虚拟人物用于协助代表受试者的第二虚拟人物完成任务目标。
可选地，所述协助动作数据与所述协助作用力数据随时间变化而变化。
为增加真实感，第一虚拟人物所协助受试者完成训练任务的协助数据是时变的。在一方面，时变的协助数据可以更贴近于生活中的协作任务，如在合力搬运过程中，两个人施加给重物的力的大小、方向是不停变化的，故将协助数据设置为不停变化的量，可以增加受试者的沉浸感，提升训练效果；另一方面，时变的协助数据，可以增加受试者在运动想象时的难度，受试者需要根据反馈在双手的反馈力而不停想象为完成训练目标而施加的期望数据，使受试者不会拘泥于固定的训练值，提升受试者的训练效果。
可选地，所述反馈力包括左侧反馈力和右侧反馈力，其中，所述左侧反馈力与所述右侧反馈力的大小和方向相同。
在训练任务为双手发力时，反馈装置输出的反馈力与虚拟互动任务所要反馈到受试者双手上的力一致。
在一实施例中，反馈力为虚拟训练物的重力与协助作用力在竖直方向的分力的合力一致，并将反馈力平分给左右两侧反馈力。
在一实施例中，训练任务为搬运任务，设协助作用力的方向为竖直向上，协助作用力大小为十牛顿，虚拟训练物的重力为二十牛顿，则左右两侧反馈力的方向均为竖直向上，大小分别为虚拟训练物的重力与协助作用力之差的二分之一，即五牛顿。
可选地，如图5所示，步骤S612包括：
步骤S613，处理所述大脑额叶区信号与所述感觉运动皮质区信号，获得所述大脑额叶区信号与所述感觉运动皮质区信号的因果关系。
获取受试者在观察视觉交互场景、并受到反馈装置反馈力时，大脑左半球感觉运动皮质区的脑电信号与大脑右半球感觉运动皮质区的脑电信号在7-14Hz、15-35Hz特征频段的功率能量随时间变化特征和功率能量在大脑左、右半球之间的对比度随时间的变化特征，处理两个频段的特征。
获取受试者在观察视觉交互场景、并受到反馈装置反馈力时，大脑额叶区的脑电信号在15-30Hz、30-40Hz特征频段的功率能量随时间的变化特征。
通过处理大脑额叶区信号和感觉运动皮质区信号的特征，确定特征间的因果关系。
步骤S614，基于所述因果关系，调整所述第一虚拟人物施加于所述虚拟训练物的所述协助数据。
在一实施例中，大脑左半球感觉运动皮质区取FC3、C3、CP3电极位置，大脑右半球感觉运动皮质区取FC4、C4、CP4电极位置；大脑额叶区取Fz、F3、F4电极位置。感觉运动皮质区脑电的特征频段取上肢动作运动想象的脑电特征频段10-12Hz、15-24Hz。
下面通过举例说明完整的交互式运动想象脑控方法流程：
如图6所示，系统处理器构建视觉交互场景并将视觉交互场景显示在VR显示器上，将视觉交互场景显示给受试者观察，其中，视觉交互场景包括虚拟互动任务、所要达成的任务目标、所要控制的虚拟训练物、代表受试者自身的第二虚拟人物以及代表协助者的第一虚拟人物。第一虚拟人物将会对虚拟训练物施加一个协助第二虚拟人物完成任务目标的力，虚拟训练物的运动状态会随着受到的力的变化而变化。
系统处理器还用于生成视觉交互场景中所希望施加给受试者的反馈力，将反馈力通过反馈装置施加到受试者身上(或上肢)，其中，反馈装置将反馈力左右平分，并同时施加到受试者身上。
在受试者感受反馈力时，通过脑电信号采集装置获取受试者的脑电数据，然后通过脑电信号处理器处理脑电数据，获得不同频段的特征数据。其中，脑电数据包括大脑额叶区信号和感觉运动皮质区信号，基于大脑额叶区信号提取到的特征用于描述受试者对第一虚拟人物作出的反应；基于感觉运动皮质区提取到的特征用于描述受试者对于虚拟训练物的动作意图。将脑电特征转换为受试者期望达成的期望数据。
通过传感装置获取受试者实际控制执行装置时的实际运动数据。将期望数据与实际运动数据做差，获得辅助数据，通过执行装置输出辅助数据，以辅助受试者进行虚拟互动任务。
将受试者的期望数据同步映射至VR场景中，即根据期望数据模拟第二虚拟人物的动作，使第二虚拟人物的动作与受试者想象的动作相一致。然后根据第一虚拟人物与第二虚拟人物施加到虚拟训练物的合力、以及合力的方向数据，改变VR场景中虚拟训练物的运动状态。
计算受试者进行动作时大脑额叶区的脑电信号、大脑感觉运动皮质区的脑电信号在预设特征频段的功率能量随时间的变化特征，确定特征间的因果关系。根据因果关系调整第一虚拟人物施加到虚拟训练物的作用力数据(即微调视觉交互场景中的协助数据)，以协助受试者尽量完成任务目标。最后判断是否达成了任务目标，若否，则基于新的协助数据，重新使用系统处理器控制反馈装置施加给受试者调整后的反馈力重新训练任务直至受试者完成任务目标。当受试者完成任务目标时，结束训练流程。
本发明还提供一种脑控VR系统，包括：
视觉交互场景构建模块，其用于构建视觉交互场景，所述视觉交互场景包括显示所要执行的虚拟互动任务，其中，所述视觉交互场景用于给予受试者视觉刺激；反馈力输出模块，其用于从所述视觉交互场景中获取反馈力，其中，所述反馈力用于给予受试者力觉刺激；脑电数据获取模块，其用于获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据，其中，所述脑电数据包括大脑额叶区信号和感觉运动皮质区信号，所述期望数据包括期望动作数据与期望作用力数据；运动数据获取模块，其用于获取受试者受到所述视觉刺激和所述力觉刺激后作出的实际运动数据，其中，所述实际运动数据包括实际动作数据与实际作用力数据；辅助模块，其用于将所述期望动作数据与所述实际动作数据做差，获得动作辅助量，并将所述期望作用力数据与所述实际作用力数据做差，获得作用力辅助量；执行模块，其用于基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务。
本发明脑控VR系统相对于现有技术所具有的有益效果与上述交互式运动想象脑控方法一致，此处不赘述。
本发明还提供一种计算机设备，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上任一项所述的交互式运动想象脑控方法。
本发明计算机设备相对于现有技术所具有的有益效果与上述交互式运动想象脑控方法一致，此处不赘述。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种交互式运动想象脑控方法，其特征在于，应用于脑控VR系统，所述交互式运动想象脑控方法包括：
构建视觉交互场景，所述视觉交互场景包括显示所要执行的虚拟互动任务，其中，所述视觉交互场景用于给予受试者视觉刺激；
从所述视觉交互场景中获取反馈力，其中，所述反馈力用于给予受试者力觉刺激；
获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据，其中，所述脑电数据包括大脑额叶区信号和感觉运动皮质区信号，所述期望数据包括期望动作数据与期望作用力数据；
获取受试者受到所述视觉刺激和所述力觉刺激后作出的实际运动数据，其中，所述实际运动数据包括实际动作数据与实际作用力数据；
将所述期望动作数据与所述实际动作数据做差，获得动作辅助量，并将所述期望作用力数据与所述实际作用力数据做差，获得作用力辅助量；
基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务。
2.根据权利要求1所述的交互式运动想象脑控方法，其特征在于，在所述基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务之后，还包括：
判断所述虚拟互动任务预设的任务目标是否达成；
若否，则基于所述脑电数据，调整所述视觉交互场景，回到所述从所述视觉交互场景中获取反馈力的步骤。
3.根据权利要求2所述的交互式运动想象脑控方法，其特征在于，所述构建视觉交互场景包括：
基于所述虚拟互动任务及所述任务目标生成第一虚拟人物及虚拟训练物，所述第一虚拟人物用于协助受试者控制所述虚拟训练物以达成所述任务目标，所述第一虚拟人物对所述虚拟训练物施加协助数据，所述协助数据包括协助动作数据与协助作用力数据。
4.根据权利要求3所述的交互式运动想象脑控方法，其特征在于，所述基于所述脑电数据，调整所述视觉交互场景包括：
处理所述大脑额叶区信号与所述感觉运动皮质区信号，获得所述大脑额叶区信号与所述感觉运动皮质区信号的因果关系；
基于所述因果关系，调整所述第一虚拟人物施加于所述虚拟训练物的所述协助数据。
5.根据权利要求1-4任一所述的交互式运动想象脑控方法，其特征在于，所述脑控VR系统还包括VR显示器；在所述基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务之前，还包括：
将所述期望数据映射至所述视觉交互场景中，形成具有期望动作和期望作用力的第二虚拟人物，所述第二虚拟人物对所述虚拟训练物施加所述期望数据；
模拟所述虚拟训练物被施加所述期望数据与所述协助数据之后的运动状态；
将所述虚拟训练物的运动状态显示在所述VR显示器上。
6.根据权利要求5所述的交互式运动想象脑控方法，其特征在于，所述获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据包括：
获取左侧特征、右侧特征与对比特征，其中，所述左侧特征包括大脑左侧的所述感觉运动皮质区信号的功率能量随时间变化的特征，所述右侧特征包括大脑右侧的所述感觉运动皮质区信号的功率能量随时间变化的特征，所述对比特征包括大脑左侧的所述感觉运动皮质区的功率能量与大脑右侧的所述感觉运动皮质区的功率能量之间的对比度随时间的变化特征；
基于所述左侧特征、所述右侧特征与所述对比特征获得所述期望数据。
7.根据权利要求5所述的交互式运动想象脑控方法，其特征在于，所述构建视觉交互场景之后，还包括：
将所述视觉交互场景显示在所述VR显示器上。
8.根据权利要求5所述的交互式运动想象脑控方法，其特征在于，所述反馈力包括左侧反馈力和右侧反馈力，其中，所述左侧反馈力与所述右侧反馈力的大小和方向相同。
9.一种脑控VR系统，其特征在于，包括：
视觉交互场景构建模块，其用于构建视觉交互场景，所述视觉交互场景包括显示所要执行的虚拟互动任务，其中，所述视觉交互场景用于给予受试者视觉刺激；
反馈力输出模块，其用于从所述视觉交互场景中获取反馈力，其中，所述反馈力用于给予受试者力觉刺激；
脑电数据获取模块，其用于获取受试者受到所述视觉刺激和所述力觉刺激后的脑电数据，基于所述脑电数据获得期望数据，其中，所述脑电数据包括大脑额叶区信号和感觉运动皮质区信号，所述期望数据包括期望动作数据与期望作用力数据；
运动数据获取模块，其用于获取受试者受到所述视觉刺激和所述力觉刺激后作出的实际运动数据，其中，所述实际运动数据包括实际动作数据与实际作用力数据；
辅助模块，其用于将所述期望动作数据与所述实际动作数据做差，获得动作辅助量，并将所述期望作用力数据与所述实际作用力数据做差，获得作用力辅助量；
执行模块，其用于基于所述动作辅助量和所述作用力辅助量辅助受试者执行所述虚拟互动任务。
10.一种计算机设备，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1-8任一项所述的交互式运动想象脑控方法。
CN202111613880.6A 2021-12-27 2021-12-27 交互式运动想象脑控方法、脑控vr系统及计算机设备 Pending CN114546105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111613880.6A CN114546105A (zh) 2021-12-27 2021-12-27 交互式运动想象脑控方法、脑控vr系统及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111613880.6A CN114546105A (zh) 2021-12-27 2021-12-27 交互式运动想象脑控方法、脑控vr系统及计算机设备

Publications (1)

Publication Number Publication Date
CN114546105A true CN114546105A (zh) 2022-05-27

Family

ID=81670359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111613880.6A Pending CN114546105A (zh) 2021-12-27 2021-12-27 交互式运动想象脑控方法、脑控vr系统及计算机设备

Country Status (1)

Country Link
CN (1) CN114546105A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN106990835A (zh) * 2017-02-20 2017-07-28 深圳先进技术研究院 一种运动训练评估方法及装置
CN109992113A (zh) * 2019-04-09 2019-07-09 燕山大学 一种基于多场景诱发的mi-bci系统及其控制方法
CN111659010A (zh) * 2020-07-16 2020-09-15 郑州大学 一种肢体功能性电刺激控制方法及肢体康复机器人
CN112306244A (zh) * 2020-11-23 2021-02-02 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种肢体动作想象脑机交互方法及系统
CN112987917A (zh) * 2021-02-08 2021-06-18 中国科学院自动化研究所 运动想象增强方法、装置、电子设备和存储介质
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN215132645U (zh) * 2020-11-19 2021-12-14 浙江迈联医疗科技有限公司 基于脑机接口技术和多重反馈的肢体康复训练系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN106990835A (zh) * 2017-02-20 2017-07-28 深圳先进技术研究院 一种运动训练评估方法及装置
CN109992113A (zh) * 2019-04-09 2019-07-09 燕山大学 一种基于多场景诱发的mi-bci系统及其控制方法
CN111659010A (zh) * 2020-07-16 2020-09-15 郑州大学 一种肢体功能性电刺激控制方法及肢体康复机器人
CN215132645U (zh) * 2020-11-19 2021-12-14 浙江迈联医疗科技有限公司 基于脑机接口技术和多重反馈的肢体康复训练系统
CN112306244A (zh) * 2020-11-23 2021-02-02 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种肢体动作想象脑机交互方法及系统
CN112987917A (zh) * 2021-02-08 2021-06-18 中国科学院自动化研究所 运动想象增强方法、装置、电子设备和存储介质
CN113274032A (zh) * 2021-04-29 2021-08-20 上海大学 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐佳琳等: "《基于互信息与主成分分析的运动想象脑电特征选择算法》", 《生物医学工程学杂志》, vol. 33, no. 2 *

Similar Documents

Publication Publication Date Title
US11944446B2 (en) Apparatus, method, and system for pre-action therapy
Trejo et al. Brain-computer interfaces for 1-D and 2-D cursor control: designs using volitional control of the EEG spectrum or steady-state visual evoked potentials
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
Vourvopoulos et al. NeuRow: an immersive VR environment for motor-imagery training with the use of brain-computer interfaces and vibrotactile feedback
Faller et al. An application framework for controlling an avatar in a desktop-based virtual environment via a software SSVEP brain–computer interface
Zapała et al. The impact of different visual feedbacks in user training on motor imagery control in BCI
Sollfrank et al. 3D visualization of movements can amplify motor cortex activation during subsequent motor imagery
Moldoveanu et al. The TRAVEE system for a multimodal neuromotor rehabilitation
JP2009297059A (ja) 脳訓練支援装置
CN112017750A (zh) 康复运动的自适应训练方法、装置、介质及康复机器人
CN108140421A (zh) 运动训练
Shtern et al. A game system for speech rehabilitation
McMahon et al. A low-cost, open-source, BCI-VR game control development environment prototype for game based neurorehabilitation
Aung et al. Rehabilitation exercise with real-time muscle simulation based EMG and AR
McMahon et al. A low-cost, open-source, BCI-VR prototype for real-time signal processing of EEG to manipulate 3D VR objects as a form of neurofeedback
US20210387085A1 (en) Display of a three dimensional recodring in a system for rehabilitation
CN114546105A (zh) 交互式运动想象脑控方法、脑控vr系统及计算机设备
CN117298452A (zh) 经颅交流电刺激的虚拟现实辅助下的下肢康复系统
CN111243705A (zh) 一种自适应vr镜像训练系统
Esfahlani et al. Intelligent physiotherapy through procedural content generation
Rosipal et al. Towards an ecologically valid Symbiosis of BCI and head-mounted VR displays
Huber et al. Visual perception of joint stiffness from multijoint motion
Ye et al. Real-time adjustment of tracking offsets through a brain-computer interface for weight perception in virtual reality
Mc Shane et al. Online 3D motion decoder BCI for embodied virtual reality upper limb control: A pilot study
Streck et al. neomento SAD-VR treatment for social anxiety

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination