CN110522447A - 基于脑-机接口的注意力调控系统 - Google Patents

基于脑-机接口的注意力调控系统 Download PDF

Info

Publication number
CN110522447A
CN110522447A CN201910793338.XA CN201910793338A CN110522447A CN 110522447 A CN110522447 A CN 110522447A CN 201910793338 A CN201910793338 A CN 201910793338A CN 110522447 A CN110522447 A CN 110522447A
Authority
CN
China
Prior art keywords
participant
attention
brain
score value
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910793338.XA
Other languages
English (en)
Other versions
CN110522447B (zh
Inventor
王卫群
侯增广
王佳星
梁旭
任士鑫
石伟国
彭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910793338.XA priority Critical patent/CN110522447B/zh
Publication of CN110522447A publication Critical patent/CN110522447A/zh
Application granted granted Critical
Publication of CN110522447B publication Critical patent/CN110522447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A63B22/0605Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing a circular movement, e.g. ergometers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A63B22/0605Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing a circular movement, e.g. ergometers
    • A63B2022/0635Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing a circular movement, e.g. ergometers specially adapted for a particular use

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dentistry (AREA)

Abstract

本发明属于认知及运动康复领域,具体涉及一种基于脑‑机接口的注意力调控系统,旨在为了解决现有的康复训练系统不能有效调动患者积极性,患者神经参与度低下,从而导致康复训练效果不明显的问题。本发明包括信号采集装置、中央处理装置、第一目标生成装置、第二目标生成装置、反馈装置。通过信号采集装置采集脑电波数据和参与者的运动状态数据,通过中央处理装置得到第一调整变量和第二调整变量,基于第一调整变量、第二调整变量和运行状态数据分别控制第一目标和第二目标的运行,并将运行状态实时反馈给参与者。本发明能够在康复训练过程中提高训练内容的趣味性和娱乐性,调动患者积极性,提高康复训练效果。

Description

基于脑-机接口的注意力调控系统
技术领域
本发明属于认知及运动康复领域,具体涉及一种基于脑-机接口的注意力调控系统。
背景技术
脑电信号是人体一种基本生理信号,蕴涵着丰富的生理、心理及病理信息,在临床医学方面,脑电信号处理不仅可为某些脑疾病提供诊断依据,而且还为某些脑疾病提供了有效的治疗手段。在工程应用方面,人们也尝试利用脑电信号实现脑-计算机接口。由于人对不同的感觉、运动或认知活动产生的脑电不同,通过对脑电信号的有效的提取和分类达到某种控制目的。
目前,由于脑血管阻塞或破裂而导致的中风患者越来越多。为了恢复患者的日常生活能力,他们在经过急性期治疗以后,需要经历长时间的康复锻炼。然而,中风患者,尤其是有注意力缺陷障碍的患者,很难长时间投入到日常的高重复性锻炼中去,从而导致中风患者在训练过程中神经参与度及注意力低下的现象。研究表明,患者主动参与的康复训练对于中风病人的运动及认知功能的康复有显著的促进作用。
现有的康复训练系统不能有效调动患者积极性,中风病人在康复训练过程中神经参与度低下,从而导致康复训练效果不明显,因此亟需一种能够调动患者积极性、实现患者主动参与的基于脑-机接口的注意力调控系统。
发明内容
为了解决现有技术中的上述问题,即为了解决现有的康复训练系统不能有效调动患者积极性,中风病人在康复训练过程中神经参与度低下,从而导致康复训练效果不明显的问题,本发明提出了一种基于脑-机接口的注意力调控系统,该系统包括信号采集装置、中央处理装置、第一目标生成装置、第二目标生成装置、反馈装置;
所述信号采集装置包括脑电波采集单元和运动状态采集单元;所述脑电波采集单元用于获取参与者训练时的脑电波数据,所述运动状态采集单元用于获取参与者训练时的运动状态数据;
所述中央处理装置,配置为通过对所述脑电波数据进行注意力水平计算,得到参与者注意力分值;基于所述参与者注意力分值,通过预先设定的第一调整策略生成第一调整变量,通过预先设定的第二调整策略生成第二调整变量;所述第一调整策略为参与者注意力分值与调整变量的映射函数,所述第二调整策略为参与者注意力分值落入预设区间时预设速度变量计算函数;
所述第一目标生成装置,配置为生成第一目标,并基于所述第一调整变量和所述运动状态数据的乘积获取第一目标运行参数,所述第一目标以所述第一目标运行参数运行;
所述第二目标生成装置,配置为生成第二目标,并基于所述第二调整变量和当前时刻第二目标运行状态数据获取下一时刻第二目标运行参数;所述第二目标,当参与者注意力分值落入预设区间时以所述下一时刻第二目标运行参数运行,当参与者注意力分值未落入预设区间时保持当前时刻运行状态;
所述反馈装置,配置为将所述第一目标和所述第二目标的运行状态输出。
在一些优选的实施方式中,所述第一目标生成装置和所述第二目标生成装置分别采用虚拟现实技术生成所述第一目标和所述第二目标。
在一些优选的实施方式中,所述第一目标和第二目标为同一竞技游戏中的仿真人物。
在一些优选的实施方式中,所述第一目标运行参数和所述第二目标运行参数为运行速度和运行距离。
在一些优选的实施方式中,所述参与者注意力分值落入预设区间时预设速度变量z计算函数为:
其中,Δvt是归一化后的陪伴者和参与者速度差,Δxt是是归一化后的陪伴者和参与者距离差。
在一些优选的实施方式中,所述参与者注意力分值,其计算方法为:
其中,c表示脑电通道索引值,范围是1到n;E(theta)表示theta波的能量;E(beta)表示beta波的能量。
在一些优选的实施方式中,所述参与者注意力分值TBR与调整变量y的映射函数为:
其中,Boundrylow是低注意力区间的左端点,也是中注意力区间的右端点;Boundrymid是中注意力区间的左端点,也是高注意力区间的右端点。
在一些优选的实施方式中,所述脑电波采集单元为多通道的脑电波采集单元。
在一些优选的实施方式中,所述运动状态采集单元包含一个或多个运动状态传感器,每个运动状态传感器对应一个运动状态下一个指标数据的信号采集。
在一些优选的实施方式中,所述反馈装置将运行状态以多模态形式输出。
本发明的有益效果:本发明基于信号采集装置采集的脑电波数据和参与者的运动状态数据,生成第一目标和第二目标的运行参数,实现第一目标和第二目标的控制;本发明能够在康复训练过程中提高训练内容的趣味性和娱乐性,调动患者积极性,提高康复训练效果;还可根据参与者的注意力水平,调整虚拟场景中参与者的骑行速度与实际骑行速度的关系,不断调整游戏难度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明一种实施例的基于脑-机接口的注意力调控系统结构示意图;
图2是本发明一种实施例的不同注意力区间平均注意力分值的矫正范式示意图;
图3是本发明一种实施例的第一目标和第二目标示例图;
图4是本发明一种实施例的不同实验范式下额叶区的平均脑频谱图;
图5是本发明一种实施例的不同实验范式下颞叶区的平均脑频谱图;
图6是本发明一种实施例的不同实验范式下顶叶区的平均脑频谱图;
图7是本发明一种实施例的不同实验范式下枕叶区的平均脑频谱图;
图8是本发明一种实施例的不同实验范式下运动区域的平均脑频谱图;
图9是本发明一种实施例的基于脑-机接口的注意力调控系统使用示例图;
图10是本发明一种实施例的实验组中一名参与者在实验过程中的注意力变化曲线图;
图11是本发明一种实施例的控制组和实验组参与者注意力分值个数统计图;
图12是本发明一种实施例的控制组和实验组参与者的注意力水平和跟踪精度示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于脑-机接口的注意力调控系统100,如图1所示,该系统包括信号采集装置110、中央处理装置120、第一目标生成装置130、第二目标生成装置140、反馈装置150;
信号采集装置110包括脑电波采集单元111和运动状态采集单元112;脑电波采集单元111用于获取参与者训练时的脑电波数据,运动状态采集单元112用于获取参与者训练时的运动状态数据;
中央处理装置120,配置为通过对脑电波数据进行注意力水平计算,得到参与者注意力分值;基于参与者注意力分值,通过预先设定的第一调整策略生成第一调整变量,通过预先设定的第二调整策略生成第二调整变量;第一调整策略为参与者注意力分值与调整变量的映射函数,第二调整策略为参与者注意力分值落入预设区间时预设速度变量计算函数;
第一目标生成装置130,配置为生成第一目标,并基于第一调整变量和运动状态数据的乘积获取第一目标运行参数,第一目标以第一目标运行参数运行;
第二目标生成装置140,配置为生成第二目标,并基于第二调整变量和当前时刻第二目标运行状态数据获取下一时刻第二目标运行参数;第二目标以,当参与者注意力分值落入预设区间时以下一时刻第二目标运行参数运行,当参与者注意力分值未落入预设区间时保持当前时刻运行状态;
反馈装置150,配置为将第一目标和第二目标的运行状态输出。
为了更清晰地对本发明进行说明,下面结合图对本发明系统一种实施例从系统组成、验证方案设计和结果两方面进行展开详述。需要说明的是,本实施例中的训练内容为脚踏车骑行训练,因此信号采集装置所采集的信号均为参与者骑行时的脑电波数据和运行状态数据。
1、系统组成
信号采集装置110包括脑电波采集单元111和运动状态采集单元112;其中,脑电波采集单元111包括32导脑电帽和脑电放大器,运动状态采集单元112包括无线收发器,关节角度传感器。32导脑电帽用来采集参与者在踏车运动过程中的实时脑电信号,通过脑电放大器将信号放大输出。无线收发器用于接收传感器采集的信号,通过无线方式发送至中央处理装置120。关节角度传感器绑在参与者膝关节,用来记录参与者在骑脚踏车运动时膝关节的角度变化,从而通过过零点检测的方法来计算参与者的实时踏车速度。
中央处理装置120,配置为通过对脑电波数据进行注意力水平计算,得到参与者注意力分值;基于参与者注意力分值,通过预先设定的第一调整策略生成第一调整变量,通过预先设定的第二调整策略生成第二调整变量;第一调整策略为参与者注意力分值与调整变量的映射函数,第二调整策略为参与者注意力分值落入预设区间时预设速度变量计算函数。
参与者在训练过程中的注意力水平是决定游戏中两个虚拟人物的骑行速度的关键因素。随着注意力水平的提高,人体脑电信号中的theta波的能量逐渐降低,beta波能量逐渐增加,所以根据公式(1)计算theta波与beta波能量的比值来定量的衡量病人在进行康复训练时的注意力分值。
其中,c表示脑电通道索引值,范围是1到n;E(theta)表示的是theta波能量,E(beta)表示beta波的能量。参与者的注意力水平越高,所计算出来的注意力分值(TBR)越低。
本发明中只有分布在额叶通道和颞叶通道的脑电信号被用来计算注意力分值,通道数为13个。在对采集的脑电信号进行完滤波、去均值等预处理以后,通过公式(1)计算得到注意力分值。
在本发明中,病人在训练过程中的注意力水平被划分为三个区间:低注意力区间(Region1)、中注意力区间(Region2)、高注意力区间(Region3)。为了标定每个参与者不同注意力区间的范围,在真正试验前,每个参与者都需要先做三个小试验(试验A,B,C),来分别诱发三种不同注意力状态下(低、中、高)的脑电信号,并计算低、中、高注意力状态下的平均注意力水平,以此来标定每个注意力区间的范围。对三个参数校正的具体试验范式如图2所示。在完成实验准备后,每次采集前参与者需进行放松和休息,之后再进行相应训练和数据采集。每个试验持续2.5分钟,每3s根据实时获取的脑电信号计算出一个注意力分值TBR。
低注意力区间(Region1)的标定方法如下:参与者要求进行2.5分钟左右的传统训练。在训练过程中,他们只需要盯着黑色的屏幕,自由的进行骑行运动(试验A)。在这个过程中记录的脑电信号被用来计算低注意力水平下的平均注意力分值LAS(Low attentionscore),如公式(2)所示。
其中,TBRi是试验A中以3秒为计算间隔,根据第i个计算间隔实时获取的脑电信号计算得到的注意力分值;N是试验A中计算得到的注意力分值TBR的数目。
中注意力区间(Region2)的标定方法如下:基于所提出的虚拟场景,设计了一个简单的游戏来诱发参与者的中等注意力脑电信号。在该场景中,只有一个虚拟人物在骑行,同时他的骑行速度和参与者实际的骑行速度同步。参与者的任务是控制虚拟场景中的人物骑行到终点,但是对于骑行速度和完成任务所需要的时间没有任何限制(试验B)。在这个过程中记录的脑电信号被用来计算中等注意力水平下的平均注意力分值MAS(Moderateattention score),如公式(3)所示。
其中,TBRi是试验B中以3秒为计算间隔,根据第i个计算间隔实时获取的脑电信号计算得到的注意力分值;N是试验B中计算得到的注意力分值TBR的数目。
高注意力区间(Region3)的标定方法如下:所提出的虚拟场景被用来诱发参与者的高等注意力信号。与所提出的虚拟场景的区别是,该场景中“参与者”的骑行速度和实际的骑行速度同步,“陪伴者”的骑行速度保持不变。参与者的任务是通过调整自己的速度控制“参与者”尽可能的跟踪上“陪伴者”的位置(试验C)。在这个过程中记录的脑电信号被用来计算高注意力水平下的平均注意力分值HAS(High attentionscore)。
其中,TBRi是试验C中以3秒为计算间隔,根据第i个计算间隔实时获取的脑电信号计算得到的注意力分值;N是试验C中计算得到的注意力分值TBR的数目。
这三个参数(LAS,MAS,HAS)被用来标定不同参与者的三个注意力区间(Region1,Region2,Region3)。
根据公式(5)计算低注意力区间的左端点。
根据公式(6)计算高注意力区间的右端点。
那么低注意力区间(Region1)、中注意力区间(Region2)、高注意力区间(Region3)分别定义为式(7)、(8)、(9)。
Region1=[Boundrylow,+∞) (7)
Region2=[Boundrymid,Boundrylow) (8)
Region3=[0,Boundrymid) (9)
通过预先设定的第一调整策略生成第一调整变量,第一调整策略为参与者注意力分值TBR与调整变量y的映射函数,如公式(10)所示。
其中,Boundrylow是低注意力区间的左端点,也是中注意力区间的右端点;Boundrymid是中注意力区间的左端点,也是高注意力区间的右端点。
通过预先设定的第二调整策略生成第二调整变量;第二调整策略为参与者注意力分值落入预设区间时预设速度变量计算函数。
参与者注意力分值落入高注意力区间(Region3)时速度变量计算函数,如公式(11),根据该公式计算得到第二调整变量z。
其中,Δvt为“陪伴者”和“参与者”归一化后的速度差,Δxt为“陪伴者”和“参与者”归一化后的距离差。
“陪伴者”和“参与者”归一化后的速度差Δvt和距离差Δxt根据公式(12)和公式(13)计算得到。
其中,vt和xt分别代表“陪伴者”的当前时刻实时速度和位置信息,vsubj和xsubj分别代表“参与者”的当前时刻实时速度和位置信息。
第一目标生成装置130,配置为生成第一目标,并基于第一调整变量和运动状态数据的乘积获取第一目标运行参数,第一目标以第一目标运行参数运行;
第二目标生成装置140,配置为生成第二目标,并基于第二调整变量和当前时刻第二目标运行状态数据获取下一时刻第二目标运行参数;第二目标以,当参与者注意力分值落入预设区间时以下一时刻第二目标运行参数运行,当参与者注意力分值未落入预设区间时保持当前时刻运行状态。
第一目标生成装置和第二目标生成装置分别采用虚拟现实技术生成第一目标和第二目标。第一目标和第二目标为同一竞技游戏中的仿真人物。本实施例中为交互式位置跟踪游戏,如图3所示,具体游戏场景为:第一目标为命名为“参与者”的虚拟人物,第二目标为命名为“陪伴者”的虚拟人物,他们在一个条长500米的马路上骑自行车,同时,他们的骑行里程和实时速度信息分别在屏幕下方显示出来。虚线为陪伴着的实时里程/速度曲线,实线为参与者的实时里程/速度曲线。t1、t2、t3、t4分别为不同的时间节点;其中,(0,t1)和(t3,t4)时间段参与者注意力分值分布在高注意力区间(Region3),(t1,t2)时间段参与者的注意力分值分布在中注意力区间(Region2),(t2,t3)时间段参与者的注意力分值分布在低注意力区间(Region1)。“陪伴者”的初始速度是2.5米/秒,“参与者”和“陪伴者”的实时速度是由参与者在进行踏车训练时的实际速度和注意力水平决定的。参与者在训练时的任务是通过调整自己的状态来控制“参与者”尽可能跟踪上“陪伴者”的位置。
在所设计的虚拟游戏中,参与者与陪伴者的速度调整策略是根据每3秒计算一次得到的注意力分值,该分值属于哪个注意力区间(Region1,Region2,Region3),就使用哪个区间的速度调整策略。
“参与者”的速度根据式(14)计算得到。
Speed1=Sactual×y (14)
其中,Speed1表示虚拟游戏中“参与者”的速度;Sactual表示的是参与者的实际踏车速度,y表示第一调整变量。
当参与者注意力分值落入高注意力区间(Region3)时,“陪伴着”的下一时刻运行速度vt+1根据式(15)计算得到。
vt+1=vt×(1+z) (15)
其中,vt为“陪伴者”的当前时刻实时速度。
“陪伴者”的速度根据式(16)计算得到。
其中,Speed2表示虚拟游戏中“陪伴者”的速度;keep表示“陪伴者”的速度保持不变,vt+1为根据更新策略得到的下一时刻速度。
第一目标运行参数和第二目标运行参数的更新周期与参与者注意力分值计算间隔一致,因此“参与者”和“陪伴者”的速度更新周期为3秒,并且二者同步进行更新。
从以上公式可以看出,当病人作为参与者参加训练时的注意力水平较低时(Region1),无论他骑多快,虚拟场景中“参与者”的速度一直是0,但是“陪伴者”的速度却保持不变。为了尽可能快的跟踪上“陪伴者”,病人不得不及时提高自己的注意力来驱动“参与者”继续骑行,从而快速跟踪上“陪伴者”。当病人的注意力水平中等时(Region2),“参与者”的骑行速度将会低于病人实际的骑行速度,病人不得不付出更大的努力来保证与“陪伴者”的位置一致。这样就增加了跟踪难度,从而增强参与者的注意力水平。最后,如果病人当前的注意力高度集中,“参与者”的骑行速度就等于病人的实际骑行速度,作为对病人好的训练状态的奖励,“陪伴者”会根据两者之间的速度和位置误差,通过反双曲正切函数,主动的调整自身的速度,从而降低两者之间的跟踪误差。
反馈装置150,配置为将第一目标和第二目标的运行状态输出。
电脑作为反馈装置通过设计的虚拟场景提供反馈,如果参与者当前的注意力水平不理想(中等或者低)时,所设计的游戏会通过多模态反馈来提醒参与者集中注意力在当前的训练中。具体来讲,“您当前的注意力水平较低,请提高注意力”的语音会被播放(听觉反馈)来提醒参与者;其次,游戏中两个虚拟人物的骑行速度会根据预前制定好的速度调整策略进行调整(视觉反馈),增加游戏难度,从而达到提高患者注意力的目的。
2、验证方案设计和结果
为了确保三个试验范式所诱发出的脑电信号确实能够表征参与者的不同注意力水平,以下通过分析他们不同脑区的脑频谱图,如图4-图8所示,来进一步说明三个试验范式所诱发出的脑电信号表征了参与者的不同注意力水平。
图4-图8分别为A、B、C试验范式下额叶区、颞叶区、顶叶区、枕叶区、运动区域的平均脑频谱图,横轴为脑电信号的频率,纵轴为特定脑区脑电信号的平均功率,其中每幅图右上角为脑拓扑图,深色部分为相应的脑区。图中不同频段对应五种脑电信号波,分别为:delta波(0.5-3Hz)、theta波(3-8Hz)、alpha波(8-12Hz)、beta波(12-30Hz)和gamma(>30Hz)波。
在图4-图8中,只有包含在脑拓扑图深色区域中的脑电信号被用来计算该脑区的平均脑频谱图。从图中可以看出,每一幅图基本呈现以下规律:与其他两组实验相比,在传统训练试验A中,theta波的能量最高,beta波的能量最低;试验C训练反之。以往的研究已经表明,好的训练表现和高注意力水平一般都和theta波能量的降低和beta波能量的升高有关。而从图4-图8分析到的结果和这个现象一致,从而证明了所提出的范式在诱发参与者不同注意力水平下的脑电信号的可行性。
除此以外,从图4-图8可以看出,不同训练所诱发的额叶和颞叶的平均脑频谱图相差最为显著,因此,只有分布在这两个脑区的通道的脑电信号被用来计算平均注意力水平。
1)验证方案设计
为了验证所提出的系统在提高注意力水平方面的可行性,采用10个健康人员作为参与者。他们被随机分配到控制组和实验组,每组5人。
在实验之前,参与者需要佩戴好32通道的脑电帽,保证脑电信号能够正常接收,所接收的脑电信号用来计算参与者的注意力水平。其次,需要在膝关节绑上关节角度传感器,用来记录参与者在进行踏车运动时膝关节的角度变化,从而通过过零点检测的方法来表征参与者的实时踏车速度。其中一个参与者的实验准备阶段的如图9所示。电脑作为反馈装置提供多模态的虚拟现实(VR)反馈。
在控制组,虚拟游戏中“参与者”的骑行速度一直等于参与者实际的骑行速度,而“陪伴者”的速度则保持在一个固定值(2.5m/s)。实验组中这两个虚拟人物的骑行速度则是由参与者的骑行速度和注意力水平共同决定的(公式(8)(9))。除此以外,当他们的注意力较低或中等时,还会给予听觉反馈来提醒参与者提高注意力。
如果参与者的注意力分值分布在Region1区域,则说明参与者当前的注意力水平很低,我们会通过使虚拟游戏中“参与者”的踏车速度等于零来提醒参与者提高注意力,同时还会给与听觉反馈。此时参与者不得不及时调整自己的注意力水平再次驱动“参与者”骑行,从而跟踪上“陪伴者”。如果参与者的注意力分值分布在Region2区域,则说明参与者当前的注意力水平中等,“参与者”的骑行速度会低于参与者实际的骑行速度,参与者不得不付出更大的努力来保证与“陪伴者”的位置一致。这样就增加了跟踪难度,从而增强参与者的注意力水平。此外,听觉反馈也会被用来提醒参与者提高注意力。如果参与者的注意力分值分布在Region3区域,则说明参与者当前的注意力高度集中,“参与者”的骑行速度就等于参与者的实际骑行速度,作为对参与者好的训练状态的奖励,“陪伴者”会根据两者之间的速度和位置误差,主动的调整自身的速度,从而降低两者之间的跟踪误差。
2)验证方案结果
实验组中其中一个人在实验过程中的注意力水平变化如图10所示。参与者的注意力分值每3秒更新一次,每次更新是通过计算最近3秒内的脑电数据的注意力分值TBR得到的。从图中可以看出,在整个实验过程中,参与者的注意力分值主要分布在Region3区域,说明在此次实验中,他的整体注意力水平相对较高。
不同参与者的三个注意力区间(低,中,高)的范围不同。为了简洁、清晰的描绘出不同参与者在整个实验过程中的注意力状态的变化,本方案给出了不同参与者不同注意力区间所包含的注意力分值的个数。为了保证在每个实验中脑电信号长度的一致性,在每个实验中,只有前150秒的脑电数据被用来计算注意力分值。既然注意力水平每3秒计算一次,那么每个参与者在一次实验中的总注意力分值数目是50个。根据每个参与者之前校正好的三种注意力区间的范围,就可以计算出不同参与者不同注意力区间所包含的注意力分值的个数,具体如图11所示。
图11中(a)为控制组的不同注意力区间所包含的注意力分值的个数统计图,横轴为注意力区间,纵轴为注意力分值数目,1、2、3、4、5分别表示控制组中的5个参与者;(b)为实验组的不同注意力区间所包含的注意力分值的个数统计图,横轴为注意力区间,纵轴为注意力分值数目,1、2、3、4、5分别表示实验组中的5个参与者。
从图中可以看出,在控制组,参与者的注意力水平主要集中在中注意力区间(Region2),而在实验组中,参与者的注意力水平则主要集中在高注意力区间(Region3)。这个现象证明了我们提出的注意力调控系统在提高整体注意力水平上的可行性。
除此以外,每个参与者在实验过程中的跟踪精度在图12中给出。图12中(a)为实验组和控制组中参与者的注意力水平示意图;图中1、2、3、4、5分别表示实验组和控制组中的5个参与者,纵轴为参与者的注意力分值的平均值;(b)为实验组和控制组中参与者的跟踪精度示意图;图中1、2、3、4、5分别表示实验组和控制组中的5个参与者,纵轴为第一目标“参与者”与第二目标“陪伴着”跟踪精度。图12的(a)和(b)中的虚线表示控制组,实线表示实验组,每个参与者对应的竖直线段两个端点表示±1个标准差。
参与者的跟踪精度具体计算方法如公式(17)所示。
其中,xcomp代表“陪伴者”的位置信息,xsubj代表“参与者”的位置信息。
从图12中可以看出,虽然这两组(控制组和实验组)的位置跟踪精度差不多,但是,实验组的注意力水平却显著提高。
从图11和图12可以看出,本发明能够显著的提高参与者的注意力水平,但是跟踪精度没有明显提高。一个可能的原因是:对于一个健康的参与者,骑行是一个简单的任务,参与者不需要投入太多的注意力就能轻松的完成跟踪任务。相反,在实验组中,所提出的速度调整策略增加了位置跟踪任务的难度,可能会导致跟踪精度下降。一旦参与者的注意力水平中等或者较低,虚拟场景中“参与者”的骑行速度就会低于实际的骑行速度,甚至等于0。参与者需要付出更多的努力(骑得更快)或者提高自身的注意力水平来尽可能提高跟踪效果。这个现象也说明本发明不仅能通过提高参与者的神经参与度,还能通过提高肌肉的整体激活度来加快参与者的康复进度。
需要说明的是,上述实施例提供的基于脑-机接口的注意力调控系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于脑-机接口的注意力调控系统,其特征在于,该系统包括信号采集装置、中央处理装置、第一目标生成装置、第二目标生成装置、反馈装置;
所述信号采集装置包括脑电波采集单元和运动状态采集单元;所述脑电波采集单元用于获取参与者训练时的脑电波数据,所述运动状态采集单元用于获取参与者训练时的运动状态数据;
所述中央处理装置,配置为通过对所述脑电波数据进行注意力水平计算,得到参与者注意力分值;基于所述参与者注意力分值,通过预先设定的第一调整策略生成第一调整变量,通过预先设定的第二调整策略生成第二调整变量;所述第一调整策略为参与者注意力分值与调整变量的映射函数,所述第二调整策略为参与者注意力分值落入预设区间时预设速度变量计算函数;
所述第一目标生成装置,配置为生成第一目标,并基于所述第一调整变量和所述运动状态数据的乘积获取第一目标运行参数,所述第一目标以所述第一目标运行参数运行;
所述第二目标生成装置,配置为生成第二目标,并基于所述第二调整变量和当前时刻第二目标运行状态数据获取下一时刻第二目标运行参数;所述第二目标,当参与者注意力分值落入预设区间时以所述下一时刻第二目标运行参数运行,当参与者注意力分值未落入预设区间时保持当前时刻运行状态;
所述反馈装置,配置为将所述第一目标和所述第二目标的运行状态输出。
2.根据权利要求1所述的基于脑-机接口的注意力调控系统,其特征在于,所述第一目标生成装置和所述第二目标生成装置分别采用虚拟现实技术生成所述第一目标和所述第二目标。
3.根据权利要求2所述的基于脑-机接口的注意力调控系统,其特征在于,所述第一目标和第二目标为同一竞技游戏中的仿真人物。
4.根据权利要求2所述的基于脑-机接口的注意力调控系统,其特征在于,所述第一目标运行参数和所述第二目标运行参数为运行速度和运行距离。
5.根据权利要求4所述的基于脑-机接口的注意力调控系统,其特征在于,所述参与者注意力分值落入预设区间时预设速度变量z计算函数为:
其中,Δvt是归一化后的陪伴者和参与者速度差,Δxt是是归一化后的陪伴者和参与者距离差。
6.根据权利要求1所述的基于脑-机接口的注意力调控系统,其特征在于,所述参与者注意力分值,其计算方法为:
其中,c表示脑电通道索引值,范围是1到n;E(theta)表示theta波的能量;E(beta)表示beta波的能量。
7.根据权利要求1所述的基于脑-机接口的注意力调控系统,其特征在于,所述参与者注意力分值TBR与调整变量y的映射函数为:
其中,Boundrylow是低注意力区间的左端点,也是中注意力区间的右端点;Boundrymid是中注意力区间的左端点,也是高注意力区间的右端点。
8.根据权利要求1所述的基于脑-机接口的注意力调控系统,其特征在于,所述脑电波采集单元为多通道的脑电波采集单元。
9.根据权利要求1所述的基于脑-机接口的注意力调控系统,其特征在于,所述运动状态采集单元包含一个或多个运动状态传感器,每个运动状态传感器对应一个运动状态下一个指标数据的信号采集。
10.根据权利要求1所述的基于脑-机接口的注意力调控系统,其特征在于,所述反馈装置将运行状态以多模态形式输出。
CN201910793338.XA 2019-08-27 2019-08-27 基于脑-机接口的注意力调控系统 Active CN110522447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910793338.XA CN110522447B (zh) 2019-08-27 2019-08-27 基于脑-机接口的注意力调控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910793338.XA CN110522447B (zh) 2019-08-27 2019-08-27 基于脑-机接口的注意力调控系统

Publications (2)

Publication Number Publication Date
CN110522447A true CN110522447A (zh) 2019-12-03
CN110522447B CN110522447B (zh) 2020-09-29

Family

ID=68664304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910793338.XA Active CN110522447B (zh) 2019-08-27 2019-08-27 基于脑-机接口的注意力调控系统

Country Status (1)

Country Link
CN (1) CN110522447B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224364A (zh) * 2022-02-21 2022-03-25 深圳市心流科技有限公司 用于专注力训练的脑电波信号处理方法、装置及存储介质
CN116370788A (zh) * 2023-06-05 2023-07-04 浙江强脑科技有限公司 专注力训练的训练效果实时反馈方法、装置及终端设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102553222A (zh) * 2012-01-13 2012-07-11 南京大学 一种支持对战模式的脑功能反馈训练方法与系统
CN202762092U (zh) * 2012-07-03 2013-03-06 北京理工大学珠海学院 一种电动玩具车的控制系统
CN103764021A (zh) * 2011-05-20 2014-04-30 南洋理工大学 一种用于协同神经-生理学修复和/或功能提升的系统、仪器、装置和方法
CN103933739A (zh) * 2013-01-19 2014-07-23 袁囡囡 意控智能玩具车
CN104958911A (zh) * 2015-06-18 2015-10-07 杭州回车电子科技有限公司 基于脑机接口的路轨赛车系统及控制方法
CN205323219U (zh) * 2016-01-07 2016-06-22 广州大学 一种脑电波控制的坦克游戏机器人
US20160196765A1 (en) * 2014-12-24 2016-07-07 NeuroSpire, Inc. System and method for attention training using electroencephalography (EEG) based neurofeedback and motion-based feedback
WO2016196784A1 (en) * 2015-06-02 2016-12-08 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
TWI566762B (zh) * 2015-12-30 2017-01-21 Virtual reality rehabilitation system
CN106691441A (zh) * 2016-12-22 2017-05-24 蓝色传感(北京)科技有限公司 基于脑电与运动状态反馈的注意力训练系统及方法
CN108836347A (zh) * 2018-05-10 2018-11-20 中国科学院宁波材料技术与工程研究所 帕金森患者康复训练方法和系统
CN109009171A (zh) * 2018-08-01 2018-12-18 深圳市心流科技有限公司 注意力测评方法、系统及计算机可读存储介质
CN109350907A (zh) * 2018-09-30 2019-02-19 浙江凡聚科技有限公司 基于虚拟现实的儿童注意力缺陷多动障碍测训方法和系统
CN109859821A (zh) * 2018-12-21 2019-06-07 睿远空间教育科技(深圳)有限公司 基于脑波采集的专注力训练方法、装置、系统及存储介质
CN109875501A (zh) * 2013-09-25 2019-06-14 迈恩德玛泽控股股份有限公司 生理参数测量和反馈系统
US20190212816A1 (en) * 2018-01-09 2019-07-11 Holland Bloorview Kids Rehabilitation Hospital Eeg brain-computer interface platform and process for detection of changes to mental state

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103764021A (zh) * 2011-05-20 2014-04-30 南洋理工大学 一种用于协同神经-生理学修复和/或功能提升的系统、仪器、装置和方法
CN102553222A (zh) * 2012-01-13 2012-07-11 南京大学 一种支持对战模式的脑功能反馈训练方法与系统
CN202762092U (zh) * 2012-07-03 2013-03-06 北京理工大学珠海学院 一种电动玩具车的控制系统
CN103933739A (zh) * 2013-01-19 2014-07-23 袁囡囡 意控智能玩具车
CN109875501A (zh) * 2013-09-25 2019-06-14 迈恩德玛泽控股股份有限公司 生理参数测量和反馈系统
US20160196765A1 (en) * 2014-12-24 2016-07-07 NeuroSpire, Inc. System and method for attention training using electroencephalography (EEG) based neurofeedback and motion-based feedback
WO2016196784A1 (en) * 2015-06-02 2016-12-08 Battelle Memorial Institute Non-invasive motor impairment rehabilitation system
CN104958911A (zh) * 2015-06-18 2015-10-07 杭州回车电子科技有限公司 基于脑机接口的路轨赛车系统及控制方法
TWI566762B (zh) * 2015-12-30 2017-01-21 Virtual reality rehabilitation system
CN205323219U (zh) * 2016-01-07 2016-06-22 广州大学 一种脑电波控制的坦克游戏机器人
CN106691441A (zh) * 2016-12-22 2017-05-24 蓝色传感(北京)科技有限公司 基于脑电与运动状态反馈的注意力训练系统及方法
US20190212816A1 (en) * 2018-01-09 2019-07-11 Holland Bloorview Kids Rehabilitation Hospital Eeg brain-computer interface platform and process for detection of changes to mental state
CN108836347A (zh) * 2018-05-10 2018-11-20 中国科学院宁波材料技术与工程研究所 帕金森患者康复训练方法和系统
CN109009171A (zh) * 2018-08-01 2018-12-18 深圳市心流科技有限公司 注意力测评方法、系统及计算机可读存储介质
CN109350907A (zh) * 2018-09-30 2019-02-19 浙江凡聚科技有限公司 基于虚拟现实的儿童注意力缺陷多动障碍测训方法和系统
CN109859821A (zh) * 2018-12-21 2019-06-07 睿远空间教育科技(深圳)有限公司 基于脑波采集的专注力训练方法、装置、系统及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224364A (zh) * 2022-02-21 2022-03-25 深圳市心流科技有限公司 用于专注力训练的脑电波信号处理方法、装置及存储介质
CN114224364B (zh) * 2022-02-21 2022-05-17 深圳市心流科技有限公司 用于专注力训练的脑电波信号处理方法、装置及存储介质
CN116370788A (zh) * 2023-06-05 2023-07-04 浙江强脑科技有限公司 专注力训练的训练效果实时反馈方法、装置及终端设备
CN116370788B (zh) * 2023-06-05 2023-10-17 浙江强脑科技有限公司 专注力训练的训练效果实时反馈方法、装置及终端设备

Also Published As

Publication number Publication date
CN110522447B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
Calabrò et al. The role of virtual reality in improving motor performance as revealed by EEG: a randomized clinical trial
Weiskopf et al. Self-regulation of local brain activity using real-time functional magnetic resonance imaging (fMRI)
Nakata et al. Characteristics of the athletes' brain: evidence from neurophysiology and neuroimaging
Park et al. Making the case for mobile cognition: EEG and sports performance
Voss et al. Effects of training strategies implemented in a complex videogame on functional connectivity of attentional networks
Prosperini et al. Functional and structural brain plasticity enhanced by motor and cognitive rehabilitation in multiple sclerosis
Leeb et al. Walking through a virtual city by thought
Tononi Slow wave homeostasis and synaptic plasticity
CN110522447A (zh) 基于脑-机接口的注意力调控系统
Wang et al. Toward improving engagement in neural rehabilitation: Attention enhancement based on brain–computer interface and audiovisual feedback
Scanlon et al. Does the electrode amplification style matter? A comparison of active and passive EEG system configurations during standing and walking
WO2023239647A2 (en) Systems and methods to measure, predict and optimize brain function
CN103169470A (zh) 群体神经反馈训练方法及群体神经反馈训练系统
Pangelinan et al. Electrocortical dynamics reflect age-related differences in movement kinematics among children and adults
Pereira et al. Understanding task-and expertise-specific motor acquisition and motor memory formation and consolidation
Rönnqvist et al. Influences of synchronized metronome training on soccer players’ timing ability, performance accuracy, and lower-limb kinematics
Kober et al. Effects of a 3D virtual reality neurofeedback scenario on user experience and performance in stroke patients
Kober et al. Does Feedback Design Matter? A Neurofeedback Study Comparing Immersive Virtual Reality and Traditional Training Screens in Elderly.
Masaki et al. Neural mechanisms of timing control in a coincident timing task
Reddy et al. A brain-computer interface and augmented reality neurofeedback to treat ADHD: a virtual telekinesis approach
Trobia et al. Combined use of music and virtual reality to support mental practice in stroke rehabilitation
CN112245756A (zh) 一种基于单通道脑电的注意力训练方法
Liu et al. Parkinson’s disease predictive analytics through a pad game based on personal data
CN117956947A (zh) 用于远程生理群体脑波同步的方法
Bailey et al. Psychogeography of a marathon runner: An exploratory EEG approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant