CN115067971B - 基于脑电信号反馈控制虚拟对象的神经反馈系统 - Google Patents

基于脑电信号反馈控制虚拟对象的神经反馈系统 Download PDF

Info

Publication number
CN115067971B
CN115067971B CN202210542943.1A CN202210542943A CN115067971B CN 115067971 B CN115067971 B CN 115067971B CN 202210542943 A CN202210542943 A CN 202210542943A CN 115067971 B CN115067971 B CN 115067971B
Authority
CN
China
Prior art keywords
index
feedback
virtual object
nerve
electroencephalogram signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210542943.1A
Other languages
English (en)
Other versions
CN115067971A (zh
Inventor
李伟明
何熲
高军晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Nuanhenao Science And Technology Co ltd
Original Assignee
Shanghai Nuanhenao Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Nuanhenao Science And Technology Co ltd filed Critical Shanghai Nuanhenao Science And Technology Co ltd
Priority to CN202210542943.1A priority Critical patent/CN115067971B/zh
Publication of CN115067971A publication Critical patent/CN115067971A/zh
Application granted granted Critical
Publication of CN115067971B publication Critical patent/CN115067971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种基于脑电信号反馈控制虚拟对象的神经反馈系统，包括彼此通信连接的脑电信号采集设备和脑电信号处理设备，脑电信号处理设备上安装有神经反馈指标获取模块和沉浸式交互程序；脑电信号采集设备设置为实时采集脑电信号，神经反馈指标获取模块设置为根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值，所述沉浸式交互程序可被脑电信号处理设备执行以显示具有一个虚拟对象的游戏界面，且所述神经反馈指标被映射到所述虚拟对象的行为参数上。本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统提高了沉浸度，使神经反馈系统的效果更加显著。

Description

基于脑电信号反馈控制虚拟对象的神经反馈系统
技术领域
本发明属于神经反馈领域，具体涉及一种神经反馈系统。
背景技术
头皮脑电图(Electro encephalography,EEG)是一种以非侵入式的方式记录头皮上电压的变化，反映的是大脑大量锥体细胞兴奋时突触后电位的权重和。神经反馈是通过实时测量脑电信号，提取相关特征，然后以声音、图片或游戏的形式提供反馈信号，使用者根据反馈信号调节大脑的状态，以改善注意力等大脑认知功能。
当前，基于脑电信号神经反馈系统的方法包括：
2019年，Shereena等人使用基于脑电信号的神经反馈技术，对患有注意缺陷多动症的儿童进行为期5个月的干预，反馈的方式是以图片的方式呈现，比如海豚、板球、虫子等。发现该神经反馈干预可以有效的减少注意力缺陷多动障碍的症状和行为问题(参见文献【Shereena,E.A.,Gupta,R.K.,Bennett,C.N.,Sagar,K.J.V.,&Rajeswaran,J.(2019).EEG neurofeedback training in children with attention deficit/hyperactivitydisorder:a cognitive and behavioral outcome study.Clinical EEG andneuroscience,50(4),242-255.】)。
2021年，Wang等人设计了三种游戏模式与神经反馈方式，对3种注意力进行了实时监控和训练，比如持续性注意、选择性注意和集中注意力(参见文献【Wang,B.,Xu,Z.,Luo,T.,&Pan,J.(2021).EEG-Based Closed-Loop Neurofeedback for Attention Monitoringand Training in Young Adults.Journal of Healthcare Engineering,2021.】)。
上述2种基于脑电信号神经反馈系统的方法，缺点在于：Shereena等人提出的技术没有多种反馈指标，也没有多种反馈场景，也缺乏眨眼监测；Wang等人提出的技术有多种反馈指标有多种反馈场景，但缺乏眨眼监测。
眨眼或眼动会影响脑电信号的分析，使相应的脑电特征指标失真、不准确。因此为了准确地衡量反馈指标，需要进行眨眼检测，并去除脑电信号中眨眼或眼动地成分。同时，由于神经反馈系统是实时地获取脑电信号，因此需进行在线地眨眼检测，需要优化现有的眨眼检测算法，以应对该神经反馈系统。此外，仅仅根据脑电信号控制虚拟对象，效果比较单一。增加眨眼检测，可以使控制虚拟对象的方式变得更加丰富。
发明内容
本发明的目的在于提供一种基于脑电信号反馈控制虚拟对象的神经反馈系统，以提高沉浸度，使神经反馈系统的效果更加显著。
为了实现上述目的，本发明提供一种基于脑电信号反馈控制虚拟对象的神经反馈系统，包括彼此通信连接的脑电信号采集设备和脑电信号处理设备，所述脑电信号处理设备上安装有神经反馈指标获取模块和沉浸式交互程序；所述脑电信号采集设备设置为实时采集脑电信号，神经反馈指标获取模块设置为根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值，所述沉浸式交互程序可被脑电信号处理设备执行以显示具有一个虚拟对象的游戏界面，且所述神经反馈指标被映射到所述虚拟对象的行为参数上。
所述脑电信号采集设备的记录电极放置在FPz记录电极通道所对应的位置，参考电极和接地电极放置在耳朵上。
所述神经反馈指标的定义是用户自定义的，或者通过用户在存储于所述脑电信号处理设备上的多个神经反馈指标的定义中进行选择来得到。
所述神经反馈指标包含放松指数、注意力指标、压力指数和冲动控制指数中的至少一种。
所述脑电信号的各个脑波频率的范围包括delta、theta、low alpha、high alpha、low beta、high beta和gamma，所述神经反馈指标为注意力指标，所述注意力指标的定义是high beta频率范围的平均功率/(theta频率范围的平均功率+low alpha频率范围的平均功率)。
根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值，包括：
A1：对实时采集的脑电信号进行0.5-45Hz的带通滤波；
A2：每隔0.5秒，选取最后2秒脑电信号，通过Welch算法进行功率谱密度的计算；
A3：根据脑电信号的各个脑波频率的范围，计算各个脑波频率的范围内的平均功率，得到high beta频率范围的平均功率、theta频率范围的平均功率和low alpha频率范围的平均功率；
A4：通过所述注意力指标的定义，得到注意力指标。
当所述脑电信号采集设备为多通道的脑电信号采集设备时，在所述步骤A2中，计算所有通道的功能谱密度，并在所述步骤A3和步骤A4中，提取每一个通道的各个脑波频率的范围内的平均功率以获得每一个通道的注意力指标，然后对所有通道的注意力指标取均值，以得到最终的注意力指标。
当所述神经反馈指标为注意力指标时，反馈场景是赛车游戏场景，虚拟对象的行为参数是赛车的速度；当所述神经反馈指标为放松指数时，反馈场景是雨天场景，虚拟对象的行为参数是雨滴的大小和声音；当所述神经反馈指标为压力指数时，反馈场景是天空中的热气球，虚拟对象的行为参数是热气球的高度和膨胀大小；当所述神经反馈指标为冲动控制指数时，反馈场景是指数表，虚拟对象的行为参数是指针的位置。
所述沉浸式交互程序是一个利用PyGame制作的赛车游戏，所述虚拟对象的行为参数是赛车的速度，所述赛车的速度是由注意力指标再乘以一个经验系数得到的。
所述脑电信号处理设备还包括一个眨眼频率识别模块；且所述沉浸式交互程序可被脑电信号处理设备执行，以实现如下步骤：
当神经反馈指标达到启动阈值时，虚拟对象的行为开始；
根据眨眼频率识别模块所识别的眨眼频率，若眨眼频率大于每秒2次，则虚拟对象的行为停止；和/或
当虚拟对象的行为参数保持在第一行为参数阈值之上一固定时间后，得分加一；反之，当速度一直在第二行为参数阈值之下一固定时间后，得分减一。
相较于传统的训练调节注意力指标的神经反馈系统，本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统采用沉浸式交互程序来显示游戏界面，在使用者玩游戏时，同时利用脑电采集设备记录其脑电信号，提取注意力指标，以此来控制游戏车前进的速度参数，在训练使用者调节大脑状态的能力的同时，通过游戏界面的场景提高了沉浸度，使神经反馈系统的效果更加显著。此外，本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统可以由用户自定义神经反馈指标，从而增加了神经反馈的功能，能够训练相应的多种大脑认知功能或情绪如调节注意力或放松度水平。再者，本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统根据脑电信号来识别眨眼频率并相应地控制虚拟对象停止行为，从而避免眨眼或眼动对脑电信号的分析的影响。
附图说明
图1是本发明的本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统的系统框图。
具体实施方式
如图1所示，本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统包括彼此通信连接的脑电信号采集设备10和脑电信号处理设备20(即电脑)，其中，所述脑电信号处理设备20上安装有神经反馈指标获取模块21和沉浸式交互程序22。
脑电信号采集设备10设置为实时采集脑电信号。其中，脑电信号采集设备10的记录电极放置在FPz记录电极通道所对应的位置(即记录电极通道选在FPz)，参考电极和接地电极放置在耳朵上。脑电信号采集设备10的阻抗控制在10kΩ以下，采样频率为512Hz。脑电信号采集设备10与脑电信号处理设备20通过蓝牙连接，使得脑电信号通过蓝牙传输到脑电信号处理设备20上。受试者被要求尽可能保持静止，避免身体和头部过度运动。
神经反馈指标获取模块21设置为根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值。
其中，神经反馈指标的定义是用户自定义的，或者通过用户在存储于所述脑电信号处理设备20上的多个神经反馈指标的定义中进行选择来得到。
由此，在利用基于脑电信号控制游戏小车的神经反馈系统进行训练之前，用户需要自行输入想要训练的神经反馈指标的定义，或者在存储于所述脑电信号处理设备20上的多个神经反馈指标的定义中选择自己想要训练的神经反馈指标的定义。
神经反馈指标包含放松指数、注意力指标(即专注度)、压力指数、冲动控制指数等等中的至少一种。人的注意力是多元且复杂的，包括选择性注意力、持续性注意力和集中注意力等。可以细分注意力，建立不同注意力指标所对应的脑电数理模型和算法，设计不同的游戏环境，从而得到不同的注意力指标，增加该神经反馈系统的功能。基于本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统的开放性，只要反馈指标可以用不同脑波频率范围的平均功率表示，就可以应用于该神经反馈系统(参见文献【Marzbani,H.,Marateb,H.R.,&Mansourian,M.(2016).Neurofeedback:a comprehensive review on systemdesign,methodology and clinical applications.Basic and clinical neuroscience,7(2),143】)。
另外，将脑电信号和其它生理信号结合，比如肌电、心电等，建立更丰富的注意力电生理模型，从而获取其他反馈神经指标，以增加虚拟对象的行为参数的控制维度，增加游戏的趣味性。
在本实施例中，所述神经反馈指标为注意力指标，其中，注意力是一个复杂人类心理活动。不同的文献采用不同的脑电信号特征来衡量大脑的注意力水平。我们参考以往文献的注意力指标，并用自主研发的脑电设备验证这些注意力指标与neurosky注意力指标的相关性，最终选择了注意力指标。最终选择的所述注意力指标的定义是high beta频率范围的平均功率/(theta频率范围的平均功率+low alpha频率范围的平均功率)。
相应地，根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值，包括：
步骤A1：对实时采集的脑电信号进行0.5-45Hz的带通滤波，以消除低频漂移和不需要的频带，去除眼球运动的低频伪影和肌肉的高频噪声。
步骤A2：每隔0.5秒，选取最后2秒脑电信号，通过Welch算法进行功率谱密度的计算，其中，计算时的频率分辨率为0.25Hz。
步骤A3：根据脑电信号的各个脑波频率的范围，比如delta(0.5-4Hz)，theta(4-8Hz)，low alpha(8-10Hz)，high alpha(10-12Hz)，low beta(12-20Hz)，high beta(20-30Hz)和gamma(30-45Hz)，计算各个脑波频率的范围内的平均功率，得到high beta频率范围的平均功率、theta频率范围的平均功率和low alpha频率范围的平均功率。
步骤A4：通过所述注意力指标的定义，得到注意力指标。
其中，由于在注意力集中的状态下，beta节律强。在困倦和注意力不集中的状态下，theta和alpha节律强。因此通过所述注意力指标的定义，计算high beta频率范围的平均功率/(theta频率范围的平均功率+low alpha频率范围的平均功率)的值，可以得到注意力指标。
此外，当所述脑电信号采集设备10为多通道的脑电信号采集设备时，在所述步骤A2中，计算所有通道的功能谱密度，并在所述步骤A3和步骤A4中，提取每一个通道的各个脑波频率的范围内的平均功率以获得每一个通道的注意力指标，然后对所有通道的注意力指标取均值，以得到最终的注意力指标。
此外，脑电信号处理设备20还可以包括一个眨眼频率识别模块23。所述眨眼频率识别模块23设置为：将脑电信号进行离散卷积平滑处理，并对脑电信号进行采样计算脑电信号的各个采样点的幅度的平均值和标准差，作为脑电信号的幅度平均值和幅度标准差；设定波峰突起阈值，选取大于该波峰突起阈值的波峰，若脑电信号在该波峰处的幅度与脑电信号的幅度平均值的差值超过3个幅度标准差，则将这个波峰被判定为眨眼；随后根据判定为眨眼的波峰的数量确定眨眼频率。
所述沉浸式交互程序22可被脑电信号处理设备20执行以显示具有一个虚拟对象的游戏界面，且所述神经反馈指标被映射到所述虚拟对象的行为参数上。所述沉浸式交互程序22可以是一个游戏程序，其中，虚拟对象可以是游戏赛车、游戏角色等，相应地，该游戏界面的反馈场景是可切换的，其可切换为赛车游戏场景，雨天场景等等。神经反馈系统的效果跟反馈的方式有着直接的关系，需要根据神经反馈指标设计相应反馈场景，使使用者更容易调控反馈指标。比如，当所述神经反馈指标为注意力指标时，反馈场景是赛车游戏场景，虚拟对象的行为参数是赛车的速度；当所述神经反馈指标为放松指数时，反馈场景是雨天场景，虚拟对象的行为参数是雨滴的大小和声音；当所述神经反馈指标为压力指数时，反馈场景是天空中的热气球，虚拟对象的行为参数是热气球的高度和膨胀大小；当所述神经反馈指标为冲动控制指数时，反馈场景是指数表，虚拟对象的行为参数是指针的位置。在本实施例中，所述沉浸式交互程序22是一个利用PyGame制作的赛车游戏，所述虚拟对象的行为参数是赛车的速度，具体来说，赛车的速度是由注意力指标再乘以一个经验系数得到的。由此，在使用者玩游戏时，同时利用脑电采集设备记录其脑电信号，提取神经反馈指标，所述神经反馈指标被映射到所述虚拟对象的行为参数上，以此来控制虚拟对象的行为参数(如游戏赛车的前进速度)，在训练使用者调节大脑状态的能力的同时通过游戏提高了沉浸度，使神经反馈系统的效果更加显著。
所述沉浸式交互程序22还可被脑电信号处理设备20执行，以实现如下步骤：
1)当神经反馈指标(如注意力指标)达到启动阈值时，虚拟对象的行为开始(例如游戏车启动)；
2)根据眨眼频率识别模块23所识别的眨眼频率，若眨眼频率大于每秒2次，则虚拟对象的行为停止(例如游戏车停止)；和/或
3)当虚拟对象的行为参数(如速度参数)保持在第一行为参数阈值之上一固定时间后，得分加一；反之，当速度一直在第二行为参数阈值之下一固定时间后，得分减一。
每个使用者在使用本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统来进行神经反馈训练前，会采集1分钟的脑电信号，计算其平均注意力水平，随后将平均注意力水平乘以经验系数，得到平均速度，并将平均速度的1.2倍作为第一行为参数阈值，将平均速度的0.8倍作为第二行为参数阈值。由此，在使用神经反馈训练中，当速度超过阈值上界连续5秒钟时，得分加一；当速度小于阈值下界连续5秒钟时，得分减一。
其中，游戏界面通常是二维的游戏界面。将该神经反馈系统跟虚拟现实(VirtualReality,VR)或增强现实(Augmented Reality,AR)设备结合，提供移动端的3D的赛车游戏，提高使用者的沉浸感，从而可以增强神经反馈系统的效果。
由此，使用者根据虚拟对象的行为参数如游戏车的速度参数，可以意识到当下自己注意力的水平，从而调节自己的大脑状态，提高大脑注意力水平。
基于上文所述的基于脑电信号反馈控制虚拟对象的神经反馈系统，所实现的基于脑电信号反馈控制虚拟对象的神经反馈方法，其包括：
步骤S1：提供彼此通信连接的脑电信号采集设备10和脑电信号处理设备20，所述脑电信号处理设备20上安装有神经反馈指标获取模块21和沉浸式交互程序22；
步骤S2：将脑电信号采集设备10的记录电极放置在用户的FPz记录电极通道所对应的位置，参考电极和接地电极放置在用户的耳朵上；
步骤S3：用户自行输入想要训练的神经反馈指标的定义，或者在存储于所述脑电信号处理设备20上的多个神经反馈指标的定义中选择想要训练的神经反馈指标的定义；
步骤S4：利用脑电信号采集设备10实时采集脑电信号，随后利用神经反馈指标获取模块21，根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值；
步骤S5：利用脑电信号处理设备20执行沉浸式交互程序22，以显示具有一个虚拟对象的游戏界面，且所述神经反馈指标被映射到所述虚拟对象的行为参数上。
由此，使用者通过观看所述游戏界面中的虚拟对象，能够在相应的训练场景实现神经反馈的训练。
此外，在执行所述步骤S4之前，还包括：采集1分钟的脑电信号，计算其平均注意力水平，随后将平均注意力水平乘以经验系数，得到平均速度，并将平均速度的1.2倍作为第一行为参数阈值，将平均速度的0.8倍作为第二行为参数阈值。
相应的，所述步骤S5还包括，利用脑电信号处理设备20执行所述沉浸式交互程序22，以实现如下步骤：
1)当神经反馈指标(如注意力指标)达到特定阈值时，虚拟对象的行为开始(例如游戏车启动)；
2)根据眨眼频率识别模块23所识别的眨眼频率，若眨眼频率大于每秒2次，则虚拟对象的行为停止(例如游戏车停止)；和/或
3)当虚拟对象的行为参数(如速度参数)保持在第一行为参数阈值之上一固定时间后，得分加一；反之，当速度一直在第二行为参数阈值之下一固定时间后，得分减一。
下表对现有的2种基于脑电信号神经反馈系统与本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统进行比较。
表1现有的2种基于脑电信号神经反馈系统与本发明的基于脑电信号反馈控制虚拟对象的神经反馈系统的比较
多种反馈指标 多种反馈场景 眨眼监测
Shereena等人，2019 否 是 否
Wang等人，2021 是 是 否
本发明 是 是 是
由表1可知，Shereena等人提出的技术，没有多种反馈指标，也没有多种反馈场景，也缺乏眨眼监测；Wang等人提出的技术有多种反馈指标，也有多种反馈场景，但缺乏眨眼监测；本专利有多种反馈指标(放松指数、专注度、压力指数、冲动控制指数)，也有多种反馈场景，同时包含眨眼监测。
以上记载的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。

Claims (4)

1.一种基于脑电信号反馈控制虚拟对象的神经反馈系统，其特征在于，包括彼此通信连接的脑电信号采集设备(10)和脑电信号处理设备(20)，所述脑电信号处理设备(20)上安装有神经反馈指标获取模块(21)和沉浸式交互程序(22)；所述脑电信号采集设备(10)设置为实时采集脑电信号，神经反馈指标获取模块(21)设置为根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值，所述沉浸式交互程序(22)可被脑电信号处理设备(20)执行以显示具有一个虚拟对象的游戏界面，且所述神经反馈指标被映射到所述虚拟对象的行为参数上；
所述脑电信号采集设备(10)的记录电极放置在FPz记录电极通道所对应的位置，参考电极和接地电极放置在耳朵上；脑电信号采集设备(10)的阻抗控制在10kΩ以下；
所述神经反馈指标包含放松指数、注意力指标、压力指数和冲动控制指数中的至少一种，并且均用不同脑波频率范围的平均功率表示；
所述脑电信号的各个脑波频率的范围包括delta、theta、low alpha、high alpha、lowbeta、high beta和gamma，所述神经反馈指标为注意力指标，所述注意力指标的定义是highbeta频率范围的平均功率/(theta频率范围的平均功率+low alpha频率范围的平均功率)；
根据实时采集的脑电信号和神经反馈指标的定义来获取神经反馈指标的实时值，包括：
步骤A1：对实时采集的脑电信号进行0.5-45Hz的带通滤波；
步骤A2：每隔0.5秒，选取最后2秒脑电信号，通过Welch算法进行功率谱密度的计算；
步骤A3：根据脑电信号的各个脑波频率的范围，计算各个脑波频率的范围内的平均功率，得到high beta频率范围的平均功率、theta频率范围的平均功率和low alpha频率范围的平均功率；
步骤A4：通过所述注意力指标的定义，得到注意力指标；
当所述脑电信号采集设备(10)为多通道的脑电信号采集设备时，在所述步骤A2中，计算所有通道的功率谱密度，并在所述步骤A3和步骤A4中，提取每一个通道的各个脑波频率的范围内的平均功率以获得每一个通道的注意力指标，然后对所有通道的注意力指标取均值，以得到最终的注意力指标；
所述脑电信号处理设备(20)还包括一个眨眼频率识别模块(23)；且所述沉浸式交互程序(22)可被脑电信号处理设备(20)执行，以实现如下步骤：
当神经反馈指标达到启动阈值时，虚拟对象的行为开始；
根据眨眼频率识别模块(23)所识别的眨眼频率，若眨眼频率大于每秒2次，则虚拟对象的行为停止；和/或
当虚拟对象的行为参数保持在第一行为参数阈值之上一固定时间后，得分加一；反之，当速度一直在第二行为参数阈值之下一固定时间后，得分减一。
2.根据权利要求1所述的基于脑电信号反馈控制虚拟对象的神经反馈系统，其特征在于，所述神经反馈指标的定义是用户自定义的，或者通过用户在存储于所述脑电信号处理设备(20)上的多个神经反馈指标的定义中进行选择来得到。
3.根据权利要求1所述的基于脑电信号反馈控制虚拟对象的神经反馈系统，其特征在于，当所述神经反馈指标为注意力指标时，反馈场景是赛车游戏场景，虚拟对象的行为参数是赛车的速度；
当所述神经反馈指标为放松指数时，反馈场景是雨天场景，虚拟对象的行为参数是雨滴的大小和声音；
当所述神经反馈指标为压力指数时，反馈场景是天空中的热气球，虚拟对象的行为参数是热气球的高度和膨胀大小；
当所述神经反馈指标为冲动控制指数时，反馈场景是指数表，虚拟对象的行为参数是指针的位置。
4.根据权利要求3所述的基于脑电信号反馈控制虚拟对象的神经反馈系统，其特征在于，所述沉浸式交互程序(22)是一个利用PyGame制作的赛车游戏，所述虚拟对象的行为参数是赛车的速度，所述赛车的速度是由注意力指标再乘以一个经验系数得到的。
CN202210542943.1A 2022-05-18 2022-05-18 基于脑电信号反馈控制虚拟对象的神经反馈系统 Active CN115067971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210542943.1A CN115067971B (zh) 2022-05-18 2022-05-18 基于脑电信号反馈控制虚拟对象的神经反馈系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210542943.1A CN115067971B (zh) 2022-05-18 2022-05-18 基于脑电信号反馈控制虚拟对象的神经反馈系统

Publications (2)

Publication Number Publication Date
CN115067971A CN115067971A (zh) 2022-09-20
CN115067971B true CN115067971B (zh) 2023-12-19

Family

ID=83250191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210542943.1A Active CN115067971B (zh) 2022-05-18 2022-05-18 基于脑电信号反馈控制虚拟对象的神经反馈系统

Country Status (1)

Country Link
CN (1) CN115067971B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116474235B (zh) * 2023-06-09 2023-09-12 深圳市心流科技有限公司 脑电神经训练设备、工作方法、电子设备和存储介质
CN116671938B (zh) * 2023-07-27 2024-07-23 之江实验室 一种任务执行方法、装置、存储介质及电子设备
CN117796821A (zh) * 2024-02-29 2024-04-02 北京万物成理科技有限公司 神经反馈干预方法、装置及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2201694A1 (en) * 1996-04-05 1997-10-05 Richard Frederick Kaplan Alertness and drowsiness detection and tracking system
CN101234224A (zh) * 2008-01-29 2008-08-06 河海大学 一种利用虚拟现实技术帮助用户进行训练康复的方法
CN106708261A (zh) * 2016-12-05 2017-05-24 深圳大学 一种基于脑机交互的注意力训练方法及系统
WO2019040665A1 (en) * 2017-08-23 2019-02-28 Neurable Inc. BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS
CN110367975A (zh) * 2019-07-10 2019-10-25 南京邮电大学 一种基于脑机接口的疲劳驾驶检测预警方法
CN111920408A (zh) * 2020-08-11 2020-11-13 深圳大学 结合虚拟现实的脑电神经反馈系统的信号分析方法及组件
CN112890831A (zh) * 2021-01-15 2021-06-04 褚明礼 一种基于脑电信息的效率管理方法
CN113552941A (zh) * 2021-07-02 2021-10-26 上海厉鲨科技有限公司 多感官模态的bci-vr控制方法、系统及vr设备
CN114003129A (zh) * 2021-11-01 2022-02-01 北京师范大学 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2201694A1 (en) * 1996-04-05 1997-10-05 Richard Frederick Kaplan Alertness and drowsiness detection and tracking system
CN101234224A (zh) * 2008-01-29 2008-08-06 河海大学 一种利用虚拟现实技术帮助用户进行训练康复的方法
CN106708261A (zh) * 2016-12-05 2017-05-24 深圳大学 一种基于脑机交互的注意力训练方法及系统
WO2019040665A1 (en) * 2017-08-23 2019-02-28 Neurable Inc. BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS
CN110367975A (zh) * 2019-07-10 2019-10-25 南京邮电大学 一种基于脑机接口的疲劳驾驶检测预警方法
CN111920408A (zh) * 2020-08-11 2020-11-13 深圳大学 结合虚拟现实的脑电神经反馈系统的信号分析方法及组件
CN112890831A (zh) * 2021-01-15 2021-06-04 褚明礼 一种基于脑电信息的效率管理方法
CN113552941A (zh) * 2021-07-02 2021-10-26 上海厉鲨科技有限公司 多感官模态的bci-vr控制方法、系统及vr设备
CN114003129A (zh) * 2021-11-01 2022-02-01 北京师范大学 一种基于非侵入式脑机接口的意念控制虚实融合反馈方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
眼动技术在体验设计研究中的应用;王炜等;《南京艺术学院学报(美术与设计)》(第6期);第75-81页 *
结节性硬化症一家系临床分析;李伟明等;《中国社区医师》;第31卷(第11期);第141-143页 *

Also Published As

Publication number Publication date
CN115067971A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN115067971B (zh) 基于脑电信号反馈控制虚拟对象的神经反馈系统
CN111920408B (zh) 结合虚拟现实的脑电神经反馈系统的信号分析方法及组件
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
CN108236464B (zh) 基于脑电信号的特征提取方法及其检测提取系统
CN103019383B (zh) 一种稳态视觉诱发电位脑—机接口信号识别方法
KR100508885B1 (ko) 뇌파 파라미터를 사용한 뉴로피드백 훈련을 위한 무선 시스템
US9173582B2 (en) Adaptive performance trainer
WO2021109601A1 (zh) 一种麻醉深度的测量方法、存储介质及电子设备
Kanna et al. Computational Cognitive Analysis for Intelligent Engineering Using EEG Applications
CN106974621B (zh) 一种基于脑电信号重心频率的视觉诱导晕动症检测方法
CN109620257B (zh) 基于生物反馈的精神状态干预与调节系统及其工作方法
CN109171770B (zh) 一种用于注意力训练的脑-机接口系统
CN108836319B (zh) 一种融合个体化脑节律比和前额肌电能量的神经反馈系统
CN110302460B (zh) 一种注意力训练方法、装置、设备及系统
CN110037696A (zh) 基于眼电开关的脑电生物反馈系统
McMahan et al. Evaluating Electroencephalography Engagement Indices During Video Game Play.
Bastos et al. Robotic wheelchair commanded by SSVEP, motor imagery and word generation
KR102420359B1 (ko) 감정맞춤형 cbt용 ai제어모듈을 통한 메타버스공간에서의 1:1 감정맞춤형 인지적행동치료 생성장치 및 방법
CN113576496B (zh) 视觉追踪的脑机接口检测系统
KR20150123423A (ko) 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템
US11154234B2 (en) Method for the management of nociception
CN207503648U (zh) 神经反馈装置及系统
CN112245756A (zh) 一种基于单通道脑电的注意力训练方法
Carra et al. Evaluation of sensorimotor rhythms to control a wheelchair
CN116088686A (zh) 一种脑电溯源的运动想象脑机接口训练方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant