CN102573619B - 用于生成注意力水平表示的设备和方法 - Google Patents

用于生成注意力水平表示的设备和方法 Download PDF

Info

Publication number
CN102573619B
CN102573619B CN200980157260.7A CN200980157260A CN102573619B CN 102573619 B CN102573619 B CN 102573619B CN 200980157260 A CN200980157260 A CN 200980157260A CN 102573619 B CN102573619 B CN 102573619B
Authority
CN
China
Prior art keywords
mark
experimenter
attention
spectral space
grader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980157260.7A
Other languages
English (en)
Other versions
CN102573619A (zh
Inventor
关存太
布莱姆·哈马蒂查莱弗
张海宏
王传初
郑敬平
洪介卿
陈政扬
兰嘉·克里什楠
李迪士
林春源
冯舜圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INST OF MENTAL HEALTH
Agency for Science Technology and Research Singapore
National University of Singapore
Original Assignee
INST OF MENTAL HEALTH
Agency for Science Technology and Research Singapore
National University of Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INST OF MENTAL HEALTH, Agency for Science Technology and Research Singapore, National University of Singapore filed Critical INST OF MENTAL HEALTH
Publication of CN102573619A publication Critical patent/CN102573619A/zh
Application granted granted Critical
Publication of CN102573619B publication Critical patent/CN102573619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/375Electroencephalography [EEG] using biofeedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/46Computing the game score
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6027Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/61Score computation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

一种用于生成受试者注意力水平表示的设备和方法。该设备包括:测量来自受试者的大脑信号的装置;从大脑信号提取时间特征的装置;使用分类器将提取的时间特征分类以给出分数x1的装置;从大脑信号提取谱空间特征的装置;从提取的谱空间特征集合中选择含有专注状态与非专注状态之间的区别信息的谱空间特征的装置;使用分类器将提取的谱空间特征分类以给出分数x2的装置;将分数x1和分数x2结合以给出单一分数的装置;以及将所述分数呈现给受试者的装置。

Description

用于生成注意力水平表示的设备和方法
技术领域
本发明大致涉及用于生成受试者注意力水平表示的设备和方法,并涉及计算机储存媒介,该计算机储存媒介上储存有计算机代码装置,该计算机代码装置用于命令计算机设备执行生成受试者注意力水平表示的方法。
背景技术
注意力缺陷多动障碍(ADHD)是小孩中常见的行为障碍,其具有诸如注意力不集中和多动的症状。目前对ADHD的管理常常导致使用药理学兴奋剂药物。然而,家长可能关心这些药物的潜在的未知副作用,包括头痛、胃疼、失眠、食欲不振、身体生长迟缓,等等。
最近,人们对基于心理社会方面的ADHD的治疗越来越感兴趣。虽然重要,但迄今为止,这种治疗已经证实不如药物治疗。
然而,已经注意到,先进技术诸如脑-机接口(BCI)能够被用来改善基于心理方面的ADHD治疗。BCI在人脑和外部设备之间提供直接通信路径。其依赖诸如脑电图(EEG)的生物信号,因此是低成本和非侵入性的接口。各种研究已经证明了神经反馈(NFB)或EEG生物反馈在ADHD治疗中的功效。
美国专利第6402520号描述了基于各自的平均毫伏活动调整所测量的θ和β波活动(更具体地,为了减少θ波活动并增加β波活动)。然而,还没有建立所测量的平均毫伏θ和β活动与注意力之间的清楚和直接的对应。因此,该文献中的训练方法所涉及的用户仅学会控制它们的被测量的平均毫伏θ和β活动,这些活动并不是注意力的直接测量。因此,虽然用户可以开发用于控制被测量平均毫伏θ和β活动的机构,但这与获得更高的注意力水平并不直接对应。
因此需要提供用于生成受试者注意力水平表示设备和方法,以求解决至少一个上述问题。
发明内容
根据本发明的第一方面,提供了一种用于生成受试者注意力水平表示的设备,包括:
测量来自受试者的大脑信号的装置;
从大脑信号提取时间特征的装置;
使用分类器将提取的时间特征分类以给出分数x1的装置;
从大脑信号提取谱空间特征的装置;
从提取的谱空间特征集合中选择含有专注状态与非专注状态之间的区别信息的谱空间特征的装置;
使用分类器将提取的谱空间特征分类以给出分数x2的装置;
将分数x1和分数x2结合以给出单一分数的装置;以及
将所述单一分数呈现给受试者的装置。
呈现装置可以以游戏的形式呈现所述分数。
呈现所述分数的装置可以基于所述分数自适应地调整游戏的至少一个控制参数。
所述一个参数的调整可以包括:
使用所述分数与所述一个控制参数之间的关系在第一段时间内呈现所述游戏;
确定受试者在第一段时间内的分数的代表值;
基于代表值调整关系;以及
使用所述分数与所述一个控制参数之间的被修改的关系在第二段时间内呈现所述游戏。
所述关系的调整可以是这样的,游戏在第二段时间内的难度水平与在第一段时间内的代表值成比例。
从大脑信号提取时间特征的步骤可以包括:
在多个电极通道中的每个电极通道中计算大脑波形的统计量;以及
将统计量连接成联合特征向量。
大脑波形的统计量可以是标准偏差。
从大脑信号提取谱空间特征的步骤可以包括:
使用滤波器组在离散频率窗口中提取各个大脑信号分量以获得大脑信号的谱特征;以及
使用CSP阵列将CSP算法应用于每个谱特征以获得大脑信号的谱空间特征。
从提取的谱空间特征集合选择含有专注状态和非专注状态之间的区别信息的谱空间特征的步骤还可以包括:基于与专注状态和非专注状态相关的特征的相互依赖性选择谱空间特征。
将分数x1和x2结合以给出单一分数的步骤还可以包括:
根据等式(x-mx)/sx将分数x1和x2标准化以给出x1n和x2n,其中mx和sx分别是使用训练抽样从分类器得到的输出的平均值和标准偏差;
将权重w1和w2分别分配给标准化的分数x1n和x2n;以及
根据等式x1n*w1+x2n*w2将分数x1n和x2n结合以给出单一的分数。
权重w1和w2可以根据等式wi=(yi)p计算,其中,如果i=1,yi则是将提取的时间特征分类的分类精确度,如果i=2,yi则是将提取的谱空间特征分类的分类精确度,并且p(p>0)在单一分数的计算中控制wi的功率。
分类器可以包括线性判别分析分类器、神经网络、支持矢量机器、模糊接口系统、树基分类器,模糊类型2和相关性矢量机器中的一个或多个。
该设备可以使用训练数据以生成参数,该参数用于通过使用分类器将提取的时间特征分类、用于从大脑信号提取谱空间特征、用于从提取的谱空间特征集合选择包含专注状态和非专注状态之间的区别信息的谱空间特征、以及用于通过使用分类器将所选择的谱空间特征分类。
该参数可以包括用于CSP算法的CSP的投影矩阵、用于基于交互信息选择谱空间特征的参数、和用于分类器的模型中的一个或者多个。
使用训练数据生成参数的步骤还可以包括:
从执行一组任务的受试者收集训练数据;以及
通过机器学习方法确定所述参数。
根据本发明的第二方面,提供了一种用于生成受试者注意力水平表示的方法,包括:
测量来自受试者的大脑信号;
从大脑信号提取时间特征;
使用分类器将提取的时间特征分类以给出分数x1
从大脑信号提取谱空间特征;
从提取的谱空间特征集合中选择含有专注状态与非专注状态之间的区别信息的谱空间特征;
使用分类器将提取的谱空间特征分类以给出分数x2
将分数x1和分数x2结合以给出单一分数;以及
将所述单一分数呈现给受试者。
将所述单一分数呈现给受试者的步骤可以包括以游戏的形式呈现所述分数。
将所述单一分数呈现给受试者的步骤可以包括基于所述分数自适应地调整游戏的至少一个控制参数。
调整所述一个参数的步骤可以包括:
使用所述分数与所述一个控制参数之间的关系在第一段时间内呈现所述游戏;
确定受试者在第一段时间内的分数的代表值;
基于代表值调整关系;以及
使用所述分数与所述一个控制参数之间的被修改的关系在第二段时间内呈现所述游戏。
调整所述关系的步骤可以是这样的,游戏在第二段时间内的难度水平与在第一段时间内的代表值成比例。
从大脑信号提取时间特征的步骤可以包括:
在多个电极通道中的每个中计算大脑波形的统计量;以及
将统计量连接成联合特征向量。
大脑波形的统计量可以是标准偏差。
从大脑信号提取谱空间特征的步骤可以包括:
使用滤波器组在离散频率窗口中提取各个大脑信号分量以获得大脑信号的谱特征;以及
使用CSP阵列将CSP算法应用于每个谱特征以获得大脑信号的谱空间特征。
从提取的谱空间特征集合选择含有专注状态和非专注状态之间的区别信息的谱空间特征的步骤还可以包括:基于与专注状态和非专注状态相关的特征的相互依赖性选择谱空间特征。
将分数x1和x2结合以给出单一分数的步骤还可以包括:
根据等式(x-mx)/sx将分数x1和x2标准化以给出x1n和x2n,其中mx和sx分别是使用训练抽样从分类器得到的输出的平均值和标准偏差;
将权重w1和w2分别分配给标准化的分数x1n和x2n;以及
根据等式x1n*w1+x2n*w2将分数x1n和x2n结合以给出单一的分数。
权重w1和w2可以根据等式wi=(yi)p计算,其中,如果i=1,yi则是将提取的时间特征分类的分类精确度,如果i=2,yi则是将提取的谱空间特征分类的分类精确度,并且p(p>0)在单一分数的计算中控制wi的功率。
分类器可以包括线性判别分析分类器、神经网络、支持矢量机器、模糊接口系统、树基分类器,模糊类型2和相关性矢量机器中的一个或多个。
该设备可以使用训练数据以生成参数,该参数用于通过使用分类器将提取的时间特征分类、用于从大脑信号提取谱空间特征、用于从提取的谱空间特征集合选择包含专注状态和非专注状态之间的区别信息的谱空间特征、以及用于通过使用分类器将所选择的谱空间特征分类。
该参数可以包括用于CSP算法的CSP的投影矩阵、用于基于交互信息选择谱空间特征的参数、和用于分类器的模型中的一个或者多个。
使用训练数据生成参数的步骤还包括:
从执行一组任务的受试者收集训练数据;以及
通过机器学习方法确定所述参数。
根据本发明的第三方面,提供了一种计算机存储媒介,其上存储有计算机代码工具,该计算机代码工具用于命令计算机设备执行生成受试者注意力水平表示的方法,该方法包括如下步骤:
测量来自受试者的大脑信号;
从大脑信号提取时间特征;
使用分类器将提取的时间特征分类以给出分数x1
从大脑信号提取谱空间特征;
从提取的谱空间特征集合中选择含有专注状态与非专注状态之间的区别信息的谱空间特征;
使用分类器将提取的谱空间特征分类以给出分数x2
将分数x1和分数x2结合以给出单一分数;以及
将所述单一分数呈现给受试者。
附图说明
对本领域技术人员来说,通过阅读下面的描述,仅通过实施例并结合附图,本发明的实施方式将被更好地理解并更容易显而易见,其中:
图1示出说明根据一个示例实施方式的用于生成受试者注意力水平表示的设备的概观的原理图;
图2是根据示例实施方式的图1的设备对一个客户端实施的详细原理图;
图3示出说明根据本发明的实施方式的专注度检测方法的流程图;
图4示出根据本发明的实施方式的用于依赖受试者的模型训练方法的数据收集协议;
图5示出说明根据本发明的实施方式的用于专注度检测的方法与依赖受试者的训练方法之间的连接的原理框图;
图6示出用于实施示例实施方式的方法和系统的实验设备的图像;
图7示出说明根据示例实施方式的用于生成受试者注意力水平表示的方法的流程图;
图8示出说明用于实施示例实施方式的方法和系统的计算机系统的原理图。
具体实施方式
本发明的示例实施方式提供基于BCI的系统,以求改善ADHD治疗,例如,改善用户的注意力。示例实施方式的BCI技术已经以计算机游戏的方式实施。玩家可以使用它们的注意力级别/水平和BCI设备来控制各种游戏参数,例如,鱼跃、速度赛车、解密部分等等。
图1示出说明根据示例实施方式的用于生成受试者注意力水平表示设备100的概观的原理图。设备100包括多个客户端102a、102b...102n,这些客户端通过网络连接104(例如内联网或互联网)连接至服务器106。服务器106还连接至玩家管理器112,玩家管理器112优选地管理各客户端102的互联和数据流。
在示例实施方式中,客户端102启动会话,例如,通过请求服务器106提供游戏。随后客户端102从服务器106下载游戏。由服务器106提供给客户端102的游戏程序110包括,用于EEG处理、分析和分类的算法114,注意力模型116以及嵌入其中的游戏118。可以开发各种类型的游戏以用于示例实施方式。在进行游戏时,客户端102能够保存信息(即数据108)并将其发回服务器106以更新储存在玩家管理器112上的相应玩家档案。此外,示例实施方式的系统100有利地能够多用户操作。此外,当进行游戏时,用户(即玩家)能够示出他/她的注意力水平,例如,作为视觉反馈。这能够有利地帮助用户执行得更好。
以下描述的一部分明确地或者暗含地涉及算法和对计算机存储器内数据的操作的功能或者符号表示。这些算法的描述和功能或者符号表示是数据处理领域内技术人员用于更有效地向本领域内其它技术人员表达他们工作实质的方法。此处通常将算法设想为生成期望结果的一系列有条理的步骤。这些步骤是命令对诸如能够存储、传送、组合、对比以及通过其它方式操控的电、磁或者光信号等物理量进行物理操控的步骤。
除非特别说明,否则如以下可显而易见地,应该理解本说明书通篇使用的诸如“扫描”、“计算”、“确定”、“置换”、“生成”、“初始”、“输出”、“并置”、“提取”、“分类”“调节”等术语的讨论,涉及计算机系统或者类似电子设备的动作和处理,上述的电子设备将表示为计算机系统内物理量的数据操控和转换成同样表示为计算机系统或者其它信息存储、传输或者显示设备内物理量的其它数据。
本说明书还公开了用于执行方法操作的设备。这种设备为所需的目的而特别构成,或者可以包括通用计算机或者其它由存储在计算机中的计算机程序选择性启动或者重新配置的其它设备。此处介绍的算法和显示不是固有地与任何具体计算机或者其它设备相关。各种通用机器可以根据此处讲授的程序一起使用。作为一种选择,用于执行所要求的方法步骤的更特殊的设备构造是可以适用的。常规的通用计算机的结构将在以下描述中介绍。
此外,由于可以由计算机代码实施本文描述方法的各步骤对本领域的普通技术人员是显而易见的,因此本说明书还暗含地公开计算机程序。该计算机程序不趋向于限制于任何具体的编程语言及其执行。应该理解,可以使用多种编程语言及其代码以执行本文包含的公开的讲授。此外,该计算机程序不趋向于限制于任何具体的控制流。在不脱离本发明精神或者范围的情况下,有许多其它种类的、可以使用不同控制流的计算机程序。
而且,可以并行地而不是顺序地执行计算机程序的一个或者多个步骤。这种计算机程序可以存储在任何计算机可读媒介上。计算机可读媒介可以包括诸如磁盘或者光盘、存储器芯片或者适于与通用计算机接口的其它存储设备等存储设备。计算机可读媒介还可以包括诸如在因特网系统中的硬接线媒介,或者诸如在GSM移动电话系统中的无线媒介。当在这种通用计算机上加载和执行计算机程序时,计算机程序有效地产生实施优选方法的步骤的设备。
图2是根据示例实施方式的图1的设备对一个客户端的实施的详细原理图。该系统包括生理学数据采集模块204,注意力检测模块206,自适应控制模块210,接口控制模块212,以及具有刺激生成器(用于向受试者(即玩家)202提供反馈)的呈现模块214。
在示例实施方式中,生理数据采集模块204获得来自玩家202的生物信号并将结果提供给注意力检测模块206。注意力检测结果进而被提供给自适应控制模块210。接口控制模块210在自适应控制模块210与呈现模块214之间提供链接。
物理数据采集
在示例实施方式中,生理数据采集模块204用于记录来自受试者202的生理生物信号。该生物信号包括脑电图(EEG)、眼电图(EoG)、肌电图(EMG)。不同的传感器画面剪辑能够用于示例实施方式中的数据采集。例如,对于依赖刺激的应用(例如基于P300的游戏),从头皮的中央顶骨区域收集EEG信号。对于随意注意力控制,从前额(pre-frontal)区域收集EEG信号。
在示例实施方式中,EEG信号首先穿过滤波器组并被分解成子频带,其中频带的数量N可以根据任务变化。
设X(t)为多通道EEG/EMG/EOG信号,其被滤波以生成N个子频带信号:
Xi(t)=f(X(t),Ai,Bi),i=1,...,N    (1)
其中Ai,Bi是带通滤波器的系数。
示例实施方式中的滤波器可以是无限脉冲响应(IIR)或有限脉冲响应(FIR)滤波器。此外,通过排除示例实施方式中的更低频率的滤波器(0-4Hz),有利地去除的人为因素并改善了后续阶段中的检测精度。
滤波信号随后被发送至对应于各频带的空间滤波器。示例实施方式中的空间滤波器基于公共空间模式(CSP)。CSP滤波器通过所涉及的两个等级的方差的连接最大化/最小化来训练。对于第i个频带,空间滤波信号Yi(t)如下面所给出
Yi(t)=WXi(t)    (2)
其中W是CSP的投影矩阵。
W的行是稳态空间滤波器,W-1的列是公共空间模式。等式(2)中所给出的空间滤波信号使EEG测量的两个等级的方差中的差异最大化。然而,仅将少量的m个空间滤波信号的方差在示例实施方式中用作分类特征。Yi(t)的前m行与后m行形成特征向量
O i t =log ( var ( Y i ( t ) ) / Σ i = 1 2 m var ( Y i ( t ) ) ) - - - ( 3 )
var ( Y i ( t ) ) = Σ τ = t 1 t = t 1 + t 2 ( Y 1 ( t + τ ) - Y i ‾ ) T ( Y 1 ( t + τ ) - Y i ‾ ) - - - ( 4 )
其中t1和t2分别是移动窗口的开始时间和结束时间。
用于分类的特征向量通过连接来自子频带的全部CSP特征而形成,如下所示
O t = [ O 1 t , O 2 t . . . , O N t ] - - - ( 5 )
在示例实施方式的方法和系统中,这些特征向量被用作注意力检测。基于特定任务,选择不同的特征并且最后分类应用。
注意力检测
通常,在注意力检测模块206中,先进模式识别方法被用于示例性实施方式以处理引入的EEG信号并通过可计量分数将其分类为注意/不注意状态,以指示受试者202的注意力水平。
此外,示例实施方式的注意力检测能够处理两种类型的情境。在一种情境下,受试者202被施加刺激并且记录EEG从而监测注意力的预期方面,从而对呈现的与任务有关的信号进行分类。在示例实施方式中,这被称为反应的/依赖的注意。在另一种情境下,受试者202主动地将他/她的注意力引导至听觉和/或视觉刺激,并且这被称为自定步调注意。因此,示例实施方式的注意力检测优选地提供有用的方式来抓住注意力的特定方面,诸如空间的、口头的、以及物体方向。
在示例实施方式中,为了在ADHD训练会话中使用注意力检测,从注意力检测模块206获得代表注意力水平的分数即:
S a t = F ( O t , Λ a ) - - - ( 6 )
其中F表示函数,Ot可从等式(5)获得,Λa表示用于注意力检测的模型参数,其建立基于当受试者被要求执行注意/放松任务时在校正周期内收集的EEG/EMG/EOG数据。
在下文中,将详细描述从大脑信号获得分数的示例实施方式,这种实施方式又被称为“混合EEG模型”。
图3示出说明根据本发明实施方式的专注度检测方法300的流程图。在步骤302中,通过使用实时数据采集和处理平台,执行多通道EEG采集。在一个示例中,数据采集和处理平台执行以下步骤。首先使用Neuroscan公司的NuAmps设备测量头皮大脑信号。然后从设置在用户头部表面的Ag-AgCl电极记录大脑信号。用于大脑信号记录的数字转换器工作在250Hz的采样率。然后使用例如具有[0.5Hz,40Hz]通带的第5阶数字Butterworth滤波器,对记录的大脑信号进行时域滤波以便除去高频噪声和非常慢的波。随后通过因子4对经过滤波的大脑信号进行下采样以便减少计算的复杂性。
在步骤304,执行窗口化和预处理。通过使用运行的窗口化机构,步骤304选择感兴趣的电极通道并且将进来的数据流划分成组块。通过使用训练数据,确定窗口尺寸和切换步骤。步骤304还通过滤波除去噪声和人为因素。
在步骤306,执行时间特征提取。步骤306在每个通道中计算诸如窗口化和预处理后的EEG波形的标准偏差等统计量。然后将统计量连接成联合特征矢量。随后将该特征矢量输入步骤308。在步骤308,执行诸如线性判别式分析(LDA)等的分类器以生成分数,例如x1,指示假设的可能性,此处假设是受试者处于专注状态,即集中注意力的状态。可以使用的其它分类器包括神经网络(NNs)、支持矢量机器(SVM)、模糊接口系统(FIS)、树基分类器等,以及它们的诸如模糊类型2和相关性矢量机器(RVM)等变型。在方法300中,步骤306和308形成时间特征提取模块。
在步骤310,在窗口化和预处理后的EEG上执行带通滤波器阵列,即滤波器组。每个滤波器组以特定的频率为中心,以固定间隔进行抽样,并且在每个离散频率窗口提取EEG分量。例如,对于从4赫兹到36赫兹的EEG频率范围,固定间隔可以是4赫兹。在一个示例中,滤波器组是具有低阶和线性相位的数字滤波器。这种滤波器组可以是有限脉冲响应(FIR)滤波器或者无限脉冲响应(IIR)滤波器。在优选的实施方式中,该滤波器组是具有4赫兹通带宽度的低阶带通Chebyshev II型滤波器。可以使用MATLAB(MathWorks公司)工具来设计和执行滤波器组。在滤波器组的输出,对于每个滤波器组均获得EEG分量,每个分量进一步包含来自每个选择的电极通道的分离分量。
在步骤312,执行公共空间模式(CSP)阵列。步骤312将CSP算法应用于在步骤310获得的每个EEG分量以使两个等级(即当受试者分别专注和非专注时,对应于大脑状态的专注度和非专注度等级)之间能量的空间分布差异明显。等式(7)详述CSP算法,其中对于第j个EEG分量,根据等式(7)提取CSP特征cf(j)。在等式(7)中,Wl是包括W的前l1行和最后l2行的矩阵,其中将l1和l2标准化用于数据处理效率,且l1和l2之间的比例保持恒定。此外,Ej是第j个EEG分量的m×n数据矩阵,其中m是选择的电极通道数且n是在一个通道中的EEG分量的抽样数。等式(8)给出W和EEG分量的协方差矩阵之间的关系,其中∑(1)和∑(2)是对应于大脑信号的两个不同等级(即不同的大脑状态)的EEG分量的协方差矩阵,I是单位矩阵且D是对角矩阵。
cf ( j ) = diag ( W l E j E j T trace ( E j E j T ) W l T ) - - - ( 7 )
W∑(1)WT=D,W∑(2)WT=I-D    (8)
通过下文详述的依赖受试者的模型训练方法,从两个等级的示例获得空间滤波参数即诸如矩阵W的空间模式。CSP阵列生成谱空间特征阵列,每个谱空间特征表示投影到具体空间模式上的EEG分量的能量。由于不是每个谱空间特征都与大脑中的专注状态或者非专注状态相关,因此这种特征阵列通常是过冗余的。优选地,删除不必要的(即冗余的)特征。
在步骤314,执行交互信息特征选择以删除不必要特征。步骤314选择包含专注状态和非专注状态之间的区别信息的一系列特征。经由下文详述的依赖受试者的模型训练方法,通过模型训练程序确定上述一系列特征。在步骤314结束时,获得特征矢量并将该特征矢量输入步骤316。
在步骤316,执行诸如LDA的分类器。利用来自步骤314的特征矢量输入,通过分类器生成分数,例如x2。该分数指示这样一种假设的可能性,其中该假设是受试者处于专注状态,即集中注意力状态。步骤310-316形成方法300的谱空间特征提取模块。
步骤318将从时间特征提取模块和谱空间特征提取模块输出的结果进行融合以获得单一输出。在步骤318,将时间特征提取模块和谱空间特征提取模块中的分类器的连续输出进行标准化。在一个实施方式中,如果输出是分数x,标准化的输出xn是(x-mx)/sx,其中mx和sx分别是使用训练样本获得的输出的平均值和标准偏差。因此便获得了分别来自时间特征模块和谱空间模块的两个标准化输出x1n和x2n。在一个示例中,根据等式(9)通过使用权重w1和w2,将这两个标准化输出x1n和x2n结合,其中权重w1和w2分别对应于x1n和x2n并且反应每个模块的各自的性质。然而,还可以通过使用诸如非线性加权回归等非线性方法将标准化输出x1n和x2n结合。根据公式wi=(yi)p计算权重w1和w2,其中yi是单独模块的分类精度并且通过训练抽样而获得,而且p(p>0)控制结合中精度权重的功率。在一个示例中,p设为1。
S a t = x 1 n * w 1 + x 2 n * w 2 - - - ( 9 )
在步骤320,生成定量的输出
由于在EEG模型中不同受试者之间具有较大差异,因此在本发明实施方式中使用依赖受试者的模型训练方法以获得用于方法300的参数和模型。
在示例实施方式的依赖受试者的模型训练方法中,执行训练数据收集会话以在导航会话期间收集受试者的EEG。图4示出了根据本发明实施方式的用于依赖受试者的模型训练方法的数据收集协议400。该协议包括由受试者执行的4个不同的任务。在任务402中,要求受试者阅读技术论文,因此在该任务中,受试者在专注状态且保持眼睛张开。在任务404中,要求受试者放松且四下观望,因此在该任务中,受试者不在专注状态且保持眼睛张开。在任务406中,要求受试者执行心算,例如重复地用400减7,因此在该任务中,受试者在专注状态且保持眼睛闭合。在任务408中,要求受试者保持身体和思想在休息状态且保持眼睛闭合,因此在该任务中,受试者不在专注状态且保持眼睛闭合。在图4中绘制出了每个任务的注意力理想水平,如线410,其中,当要求受试者在专注状态时注意力理想水平高,且当要求受试者不在专注状态时注意力理想水平低。在一个示例中,要求受试者参加几个会话,每个会话涉及一组交替任务。
另外,在示例实施方式中,在依赖于受试者的训练方法中,通过机器学习方法确定几组参数。机器学习方法的示例是自动参数最优化,这是一种重复方法。以下给出机器学习方法的进一步详述。在一个示例中,生成三组参数。
首先,获得谱空间特征提取模块(见图3)中用于CSP算法的CSP投影矩阵。通过使用CSP方法执行这些投影矩阵的学习,该CSP方法将两个等级(即专注度等级和非专注度等级)的两个协方差矩阵联合地对角化。
在一个示例中,CSP方法包括以下步骤。
在步骤1,根据等式(10)计算EEG测量的标准化空间协方差∑。在等式(10)中,E是表示单次试验的原始EEG测量数据的N×T矩阵,N是通道数,T是每通道的测量抽样数,′表示转置算符,且trace( )表示将对角线元素相加的运算。
Σ = EE ′ trace ( EE ′ ) - - - ( 10 )
在步骤2,根据等式(11)计算合成空间协方差∑c。在等式(11)中,将一个分布的空间协方差用作每个等级试验的平均值,且d∈{1,2}是等级指数。
Σ c = Σ ‾ 1 + Σ ‾ 2 - - - ( 11 )
在步骤3,根据等式(12)计算白化转换矩阵P。在等式(12)中,I是单位矩阵。
P∑cP′=I    (12)
在步骤4,根据等式(13)计算两个等级的白化空间协方差。在等式(13)中,∑1和∑2分享如等式(14)中示出的共同特征向量B,其中I是单位矩阵且λ是向量值的对角线矩阵。
Σ 1 = P Σ ‾ 1 P ′ Σ 2 = P Σ ‾ 2 P ′ - - - ( 13 )
1=BλB′和∑2=B(I-λ)B′(14)
在步骤5,根据等式(15)计算CSP投影矩阵W。在等式(15),W的行是稳态空间滤波器,且W-1的列是公共空间模式。
W=B′P        (15)
根据等式(16)给出单次试验EEG的E的空间滤波信号Z。
Z=WE    (16)
等式(16)等价于等式(2)。
等式(16)给出的空间滤波信号Z将EEG测量的两个等级的方差的差异最大化。通常,仅将少量的m个空间滤波信号的方差用作分类特征。将使EEG的两个等级的方差中的差异最大化的信号Zp,p∈{1..2m},与最大的特征值λ和(I-λ)相关联。在一个示例中,将这些信号用于形成等式(17)中给出的特征向量Xp,其中将特征向量Xp输入分类器。
X p = log ( var ( Z p ) / Σ i = 1 2 m var ( Z p ) ) - - - ( 17 )
等式(17)等价于等式(3)。
其次,确定用于谱空间特征选择模块中的交互信息特征选择的一系列参数。该交互信息特征选择方法基于交互信息,该交互信息指示与等级有关特征的相互依赖性。以下是交互信息特征选择的进一步详述。
考虑矢量变量X,例如,在等式(17)中获得的CSP特征,及其对应的等级标号Y,等式(18)给出了这两个随机变量X和Y之间的交互信息。在等式(18)中,H(X)表示特征变量X的熵,并且H(Y|X)表示在给定特征变量X的情况下等级标号变量Y的条件熵。等式(19)和等式(20)中分别给出了上述的熵和条件熵。
I(X;Y)=H(X)-H(Y|X)(18)
H ( X ) = - ∫ x ∈ X xp ( x ) log 2 p ( x ) dx - - - ( 19 )
H ( Y | X ) = - ∫ x ∈ X p ( x ) Σ y ∈ Y log 2 p ( y | x ) dx - - - ( 20 )
在一个示例中,交互信息特征选择过程包括以下步骤。
在步骤1,将d个特征的候选集合初始化为F={f1,f2,...,fd},且将选择的特征集合初始化为空集
在步骤2,对于候选集合中的每个特征fk,形成试验性的特征矢量Fk=Fopt∪{fk}。然后,用FkBayesian Parzen窗口预测等级标号Yk。然后计算预测的等级标号和真正的标号的交互信息,即,I(Yk;Y)。
在步骤3,然后选择将I(Yk;Y)最大化的特征fk
在步骤4,如果且交互信息中的增益小于预置阈值δ,即,I(Yk;Y)-I0<δ,则结束该过程。否则,在步骤5,令I0=I(Yk;Y)。
在步骤6,通过F→F\{fk}更新候选集合,而通过Fopt→Fopt∪S{fk}将选择特征更新。
在步骤7,如果候选集合为空,则结束该过程。否则,从步骤2开始重复上述过程。
在示例实施方式中,特征是指来自滤波器组的CSP特征,并且可以在不同情况下取不同值。将以上描述的示例实施方式中的交互信息特征选择过程应用于具有加标号的抽样的训练集合。在完成特征选择过程后,选择的特征集合包括确定为对基于加标号抽样之间的相关性进行专注度检测“重要的”或特征性的CSP特征。当处理用于专注度检测的未标号的数据时,在特征选择过程期间,使用该特征集合。
第三,使用加标号的训练数据抽样,通过传统的Fisher线性判别方法获得用于方法300中的分类器的模型。在一个示例中,如果加标号的训练数据抽样是记录自专注任务,则其具有正标号;而如果是记录自非专注任务,则其具有负标号。
在示例实施方式中,通过使用计算机程序可以使用从依赖于受试者的训练方法获得的参数集合重建用于专注度检测的模型。在一个示例中,创建设置/结构(setup/configuration)文件夹,此处该文件夹包括分类器的投影矢量和偏置、每个CSP滤波器的投影矩阵、选择用于滤波器组的带、以及用于将来自时间特征提取模块和谱空间特征提取模块的输出结合的权重。
图5示出了说明根据本发明实施方式的用于专注度检测的方法和依赖于受试者的训练方法之间连接的示意框图。在一个示例中,单元502、504和506对应于依赖于受试者的训练方法,单元508、510和512对应于图3中方法300的谱空间特征提取模块,单元514和516对应于图3中方法300的时间特征提取模块。
在图5中,当受试者在示例实施方式中的依赖受试者的训练方法中执行的训练数据收集会话期间执行要求的任务时,从受试者获得训练多个EEG。然后使用训练EEG在图5中的特征提取训练单元502、特征选择训练单元504和模型化单元506中执行机器学习技术。这将获得特征提取单元508、特征选择单元510和分类单元512和516所需的参数和模型,用于实时EEG的联机处理。
在图5中,在一个示例中,特征提取单元508执行图3中的步骤310和312,而特征提取单元514执行步骤306。此外,特征选择单元510执行步骤314。而且,分类单元516和512分别执行图3中的步骤308和316,而后处理单元520执行图3中的步骤318和320。
通过本发明实施方式赋予的优点可以包括:
首先,示例实施方式中的专注度检测方法提供了对受试者注意力或者关注度水平的精确的量化测量,这是任何现有技术都没有提供的。示例实施方式中的方法针对于特定受试者且使用优化的参数。另一方面,现有技术方法仅基于谱特征,其输出通常基于大量结果的平均值和在检测专注度的窄范围内执行的比较。例如,该范围可以从平均值减去标准偏差延展到平均值加上结果的标准偏差。因此,示例实施方式中的方法更精确。而且,在本发明示例实施方式中,可以连续地获得精确的分数,并且这在需要快速且精确的分数的(近)实时条件中是重要的。
其次,在本发明的示例实施方式中执行的混合模型方法考虑了EEG的全部维度。具体地,这些维度是EEG的时间的、空间的和谱的信息,然后结合这些维度以给出单一的结果。在另一方面,通过与本发明实施方式的对比,现有技术仅集中于EEG的谱信息且因此提供受试者EEG特性的较不详细的图片。此外,在示例实施方式中,窗口化方法允许专注度检测的方法通过将时间划分窗口尺寸改变成最佳的窗口尺寸来调整时间分辨率。这允许在不同的环境下选择不同的窗口尺寸。例如,当需要长期分数时,EEG记录会话优选地较长,而在实时条件下,EEG记录划分优选地较短。
第三,本发明示例实施方式的方法允许对于每个受试者创建最佳模型。该方法还可以基于小的组群创建模型,且因此可以研究特殊组群的问题,例如,一组ADHD男孩。此外,通过使用大数据库,在研究普遍化问题上,该方法也可以是有用的,例如基于人口的医学研究。
第四,在示例实施方式中,由于从特殊受试者模型化自动获得关于方法的参数和模型,因此实现了特征的自动选择和结合。这可以改善示例实施方式中的专注度检测方法的性能。在示例实施方式中的交互信息特征选择提供新颖的方式以创建特殊受试者模型化,例如,对于个别的卫生保健、博彩、体育运动等。而且,在示例实施方式中的特殊受试者模型的使用达到更高的精确度并且用于创建特殊受试者模型的机器学习方法允许示例实施方式中的方法更加灵活。
第五,在示例实施方式中,在总体性能评估中使用的度量基于接收器操作特性(ROC)分析。在示例实施方式中,将绘制假阳性率(FPR)对假阴性率的性能曲线用于分析ROC。通过使用简单的曲线,该度量(ROC)客观地示出示例实施方式中方法的真实性能。也将允许确定对每个受试者使用的最好的模型,并且还允许选择沿着ROC曲线适合灵敏性和特殊性要求的模型,同时注意到灵敏性和特殊性之间的权衡。
此外,可以以例如软件工具的形式实施示例实施方式中的方法,例如附加到EEG系统或者如基于网络的网页服务。也可以将该方法嵌入类似PDA的医药设备。甚至仅在低抽样率并且仅从前部的几个EEG传感器获得低成本的EEG,示例实施方式中的方法仍能够提供稳定的注意力或者专注度检测和计分。因此,示例实施方式中的方法可以在仅具有前部传感器的简单且便利的系统中实现。
因此,由于示例实施方式基于提取的、并进一步通过使用EEG的多元(空间的、谱的和时间的)分析进一步选择、并通过使用机器学习进一步分类的特征,因此本发明的示例实施方式可以提供对于受试者注意力或者专注度水平的连续的、量化的、精确的且稳定的计分机构。此外,本发明的示例实施方式提供了将特定受试者的EEG特性捕获到计算模型的系统,以及可以找到最好的参数和模型的自动化参数选择过程。另外,本发明的示例实施方式提供了后处理融合方案,其通过多尺度方法改进性能。
为了进一步说明本发明示例实施方式的优点,执行了包括5个参与受试者(全是男性并且健康)的实验性研究。从具有15个通道的标准10/20EEG系统(NeuroScan NuAmps)和从前通道(Fp1/Fp2)记录来自这些受试者的EEG。
表1示出了由根据本发明实施方式的专注度检测方法以及Monastra和Lubar的现有方法[Monastra和Lubar,于2000年公开的US06097980,题为“Quantitative electroencephalographic(QEEG)process and apparatus for assessing attention deficit hyperactivitydisorder”;V.J.Monastra、S.Lynn、M.Linden、J.F.Lubar、J.Gruzelier和T.J.Lavaque的题为“Electroencephalographic Biofeedback in theTreatment of Attention Deficit/Hyperactivity Disorder”的文章,发表于Applied Psychophysiology and Biofeedback,卷30,第2章,第95-114页,2005年6月]完成的结果。在表1中,对应于“θ/β(现有技术)”的行示出由根据现有技术的方法获得的平均精确性,对应于“仅波形”的行示出了仅从时间特征提取模块获得的平均精确性,对应于“仅谱”的行示出了仅从谱空间特征提取模块获得的平均精确度,以及对应于“混合技术”的行示出了从示例实施方式方法获得的平均精确度。而且,表1中的结果是百分数,以“平均值±标准偏差”的形式表达,并且通过2×2折交叉有效性方法获得。从表1,可以看到示例实施方式方法的平均精确度比现有技术的方法明显更好。更具体地,相对于现有技术的方法,示例实施方式的方法的总体性能改进(绝对值)是14.8%。因此,这些结果证明了示例实施方式方法能创建胜过现有技术方法的优化的特殊受试者模型。
表1
表2进一步示出由根据本发明实施方式的用于专注度检测的方法和Monastra和Lubar的现有技术方法获得的结果。在表2中,对于每个受试者,对应于“θ/β(现有技术)”的行示出了由根据现有技术方法获得的相等错误率(EER),对应于“仅波形”的行示出了仅从时间特征提取模块获得的EER,对应于“仅谱”的行示出了仅从谱空间特征提取模块获得的EER,以及对应于“混合技术”的行示出了从示例实施方式方法获得的EER。该EER是假阳性率和假阴性率相等的比率。而且,表2中的结果是百分数,以“平均值±标准偏差”的形式表达,并且通过2×2折交叉有效性方法获得。对于每个受试者,在表2中列出了每个方法的最好性能。根据等式(18)计算相对误差减少比率。从表2可以看到,总体误差比率减少是42.5%,表示示例实施方式方法比现有技术方法执行得明显好。而且,表2还显示了即使示例实施方式中的仅时间特征提取模块(“仅波形”)或者仅谱空间特征提取模块(“仅谱”)的性能也比现有技术方法更好。这说明依赖于受试者的训练方法可以明显地改善专注度检测方法的性能。
表2
应理解,由于示例实施方式的系统使用直接的注意力检测以控制例如游戏,该游戏随后向受试者202提供反馈提示,故其实际上是前馈系统而不是反馈系统。换言之,该游戏仅提供专注度水平的视觉表示。还可以使用其它形式的表示,例如简单的条状指示器。这是示例实施方式的系统与现有技术的方法之间的主要区别,现有技术的方法完全依赖于反馈信号,并且在现有技术的方法中,注意力与反馈训练程序之间的连接是隐含的。在示例实施方式的系统中,游戏的控制有利地通过直接注意力控制。也就是说,受试者202仅需要专注而不需要遵循任何反馈提示,并且所提供的结果(即专注度水平的表示)是直接的。因此,受试者202明确知道他正在控制(如果他是这么希望的)。
自适应控制
示例实施方式的自适应控制模块210接收注意力检测模块206的结果以及来自呈现模块214的信息,并自动地和自适应地调整注意力训练游戏的难度水平。此外,嵌入自适应控制模块210中的规则是可编程的。
在示例实施方式中,使用了分级时序控制。首先,通过利用高斯分布拟合注意力分数来从注意力分数学习概率模型,即
P ( S a t ) = 1 2 π σ 2 exp { 1 2 σ 2 ( S a t - μ ) 2 } - - - ( 22 )
来自等式(22)的值随后被转换为0-100之间的固定范围,如下所示:
Q t = 100 1 + exp { - βP ( S a t ) } - - - ( 23 )
其中β是预定常数。
有利地,Qt是与游戏控制的执行直接关联的注意力分数。在示例实施方式中,阈值R被设定,从而游戏控制(例如车速)与Δ成比例,其中
例如,在赛车游戏的情况下,车速与Δ成比例。车速被设定为:
v(t)=αΔ(t)    (25)
其中α是常数,其可以在最初被设定并能够例如从配置文档中充分调整。车在一定时间T内运动的距离D如下所示:
D = ∫ = 0 T v ( t ) dt = α ∫ = 0 T Δ ( t ) dt = α Q - T - αRT - - - ( 26 )
其中是在Qt时间T内的平均值。
通过可计量的注意力分数和速度控制,示例实施方式的自适应控制模块210能够当特定受试者202在他的初次试验中进行游戏时基于从该受试者202获得的执行指示器对阈值R进行更新。在示例实施方式中,受试者202执行特定任务(例如控制赛车沿屏幕上的赛道)的时间被定义为Tg,并且赛道的总距离被定义为D′。自适应控制模块210有利地能够基于下列等式调整难度水平:
R ′ = Q ‾ - D ′ αT g - - - ( 27 )
因此,示例实施方式的系统根据当时的前景调整难度水平(以使其更难或更易)。还应理解,示例实施方式的系统优选地基于不同时的BCI模式,即受试者202不需要遵循任何提示来控制游戏。
基于上面描述,自适应控制模块210通过首先设定默认难度等级来进行工作。受试者202随后在在默认难度水平下进行第一段时间的游戏。在随后的延迟时间(即学习阶段),估算相关参数诸如Q′和T。自适应控制模块210随后基于估计出的参数改变难度水平。
根据游戏和/或呈现的类型,示例实施方式中的延迟时间的范围从约1秒至19秒。系统还可以基于受试者各自的游戏档案的统计量自动地和自适应地调整时间延迟。
随后,在训练会话器件,连续地计算参数并对难度水平作出相应的调整。在示例实施方式中,可以为各难度水平设定不同的阈值R。例如,如果玩家的注意力水平高(例如,完成赛道所花的时间低于下限),则增加难度水平。类似地,如果玩家的注意力水平低(例如,完成赛道所花的时间高于上限),则降低难度水平。可以根据例如是否打算使游戏具有更多或更少的挑战性实施多种其他调整难度水平的方案。在已经超过被分配的时间段后,会话结束,并且在系统中储存相关会话信息诸如最高分数/水平、最高水平的持续时间、分数的分布等等。
接口控制
示例实施方式的接口控制模块212包括典型的BCI设备,BCI设备包括多通道EEG帽,放大器和应用程序接口(API)代码,应用程序接口代码允许客户端102记录并储存生理大脑信号(EEG、EoG、EMG,等等)。
呈现
呈现模块214包括游戏部件,游戏部件是客户端102(图1)上的游戏的实施,并允许与受试者的互动。已经开发了各种与示例实施方式的系统一起使用的游戏示例。应理解,游戏运行在客户端上,同时客户端连接至接口212以记录受试者的生理大脑信号。在示例实施方式中,可以使用例如图形用户界面(GUI)充分配置接口和游戏参数。在呈现模块214中还设置有刺激生成器,以允许在训练阶段产生附加的听觉和视觉障碍。这种障碍可以有利地影响受试者的执行并因此影响他/她的EEG/EoG/EMG。
图6示出用于实施示例实施方式的方法和系统的试验设备的图像。如图6可见,示例实施方式中的客户端102(图1)具有配备显示器602的标准个人电脑的形式。所述显示器602上提供游戏110和其它图形用户界面(GUI),例如分数。玩家202进行游戏110,同时戴上具有各种传感器的帽606,这些传感器用于获取他/她的头部的不同区域所产生的大脑信号。
图7示出说明根据示例实施方式的生成受试者注意力水平表示的方法700的流程图700。在步骤702,测量来自受试者的大脑信号。在步骤704,从大脑信号中提取时间特征。在步骤706,使用分类器将提取的时间特征分类以给出分数X1。在步骤708,从大脑信号获得谱空间特征。在步骤710,从提取的谱空间特征集合中选择包含在专注和非专注状态之间的区别信息的谱空间特征。在步骤712,使用分类器将被选谱空间特征分类以给出X2。在步骤714,将分数X1和X2结合以给出单一分数。在步骤716,将所述分数呈现给受试者。
上述示例实施方式的方法和系统有利地提供用于注意力训练的注意力前馈训练协议。此外,注意力训练游戏具有在时间限制下可调整的难度水平。此外,训练系统优选是不同步的,即由用户而不是计算机启动。有利地,难度的等级/水平通过来源于生理大脑信号(例如EEG、EOG、EMG,等等)的信息自适应地和自动地调整。
示例实施方式的方法和系统还提供用于可编程和自动化的难度水平自适应的规则/策略(例如通过图形界面接口(GUI)和游戏)。此外,GUI/游戏的参数优选地允许学习曲线(例如与训练有关的时间内的难度水平)的产生。此外,在训练期间能够产生具有附加干扰的多序列中的刺激的呈现。这些干扰可以是听觉或/和视觉的,并且有利地允许主动控制难度水平。训练游戏还可以是定制的以迎合注意力的多个方面(例如空间的、口头的、物体方向)并提供自适应学习的测量。
示例实施方式的方法和系统可以在图8示意性地示出的计算机系统800上实施。其可以被实施为软件,诸如在计算机系统800内执行并命令计算机系统800实行示例实施方式的方法的计算机程序。
计算机系统800包括:计算机模块802,输入模块,诸如键盘804和鼠标806;和多个输出设备,诸如显示器808、和打印机810。计算机模块802通过合适的收发器814连接至计算机网络812,以允许访问例如互联网或其它网络系统,诸如局域网(LAN)或广域网(WAN)。
示例实施方式中的计算机模块802包括处理器818、随机存取存储器(RAM)820和只读存储器(ROM)822。计算机模块802还包括多个输入/输出(I/O)接口,例如至显示器808的I/O接口824、至键盘804的I/O接口826。计算机802的部件通常通过互联总线828并且以相关领域技术人员公知的方式进行通信。
应用程序通常被提供给计算机800的用户,并且被编码在数据存储媒介(诸如CD-ROM或闪存载体)上,并使用相应的数据存储设备的数据存储媒介驱动器830来读取。应用程序在其通过处理器818执行过程中被读取和控制。可以使用RAM 820来完成程序数据的中间存储。
虽然本发明主要描述关于ADHD治疗进行描述,但其还可以用于其它精神障碍,诸如抑郁症、退化的工作记忆、认知障碍(MIC)、老年痴呆症(AD),等等。此外,虽然本发明的实施已经被描述为系统,但其还可以具有计算机上的与CDROM/DVD一起的软件程序、互联网上的网络服务器、或操作台的磁带盒,等等。
本领域技术人员应理解,在不脱离广义描述的本发明的精神或者范围的情况下,可以对在具体实施方式中示出的本发明进行大量的变形和/或修改。因此,给出的实施方式在全部方面都应视为是示例性而非限制性的。

Claims (30)

1.一种用于生成受试者注意力水平表示的设备,包括:
测量来自所述受试者的大脑信号的装置;
从所述大脑信号提取时间特征的装置;
使用分类器基于提取的时间特征确定第一分数的装置;
从所述大脑信号提取谱空间特征的装置;
从提取的谱空间特征集合中选择含有专注状态与非专注状态之间的区别信息的谱空间特征的装置;
使用分类器基于所选择的谱空间特征确定第二分数的装置;
将所述第一分数和所述第二分数结合以给出第三分数的装置;
基于代表所述受试者在试验期内的第三分数集合的概率模型计算注意力分数的装置;以及
将所述注意力分数呈现给所述受试者的装置。
2.如权利要求1所述的设备,其中呈现装置以游戏的形式呈现所述注意力分数。
3.如权利要求2所述的设备,其中呈现所述注意力分数的装置基于所述注意力分数自适应地调整所述游戏的至少一个控制参数。
4.如权利要求3所述的设备,其中所述至少一个控制参数的调整包括:
使用所述注意力分数与所述至少一个控制参数之间的关系在第一段时间内呈现所述游戏;
确定所述受试者在第一段时间内的注意力分数的代表值;
基于所述代表值调整所述关系;以及
使用所述注意力分数与所述至少一个控制参数之间的被修改的关系在第二段时间内呈现所述游戏。
5.如权利要求4所述的设备,其中所述关系被调整为使得所述游戏在所述第二段时间内的难度水平与在所述第一段时间内的代表值成比例。
6.如权利要求1-5中任一项所述的设备,其中从所述大脑信号提取所述时间特征的步骤包括:
在多个电极通道中的每个电极通道中计算大脑波形的统计量;以及
将所述统计量连接成联合特征向量。
7.如权利要求6所述的设备,其中所述大脑波形的统计量是标准偏差。
8.如权利要求1-5中任一项所述的设备,其中从所述大脑信号提取谱空间特征的步骤包括:
使用滤波器组在离散频率窗口中提取各个大脑信号分量以获得大脑信号的谱特征;以及
使用CSP阵列将CSP算法应用于每个所述谱特征以获得大脑信号的谱空间特征。
9.如权利要求1-5中任一项所述的设备,其中所述计算注意力分数的装置在计算所述注意力分数之前将代表所述受试者在试验期内的第三分数集合的概率模型转换为固定的分数范围。
10.如权利要求1-5中任一项所述的设备,其中将所述第一分数和所述第二分数结合以给出第三分数的步骤还包括:
根据公式(x-mx)/sx将所述第一分数和所述第二分数标准化以给出标准化的分数x1n和x2n,其中x是所述第一分数或所述第二分数中的一个,mx和sx分别是使用训练抽样从所述分类器得到的输出的平均值和标准偏差;
将权重w1和w2分别分配给标准化的分数x1n和x2n;以及
根据公式x1n*w1+x2n*w2将标准化的分数x1n和x2n结合以给出所述第三分数。
11.如权利要求10所述的设备,其中所述权重w1和w2根据公式wi=(yi)p计算,其中,如果i=1,yi则是将所述提取的时间特征分类的分类精确度,如果i=2,yi则是将所述提取的谱空间特征分类的分类精确度,并且p(p>0)在所述第三分数的计算中控制wi的功率。
12.如权利要求1-5中任一项所述的设备,其中所述分类器包括线性判别分析分类器、神经网络、支持矢量机器、模糊接口系统、树基分类器、模糊类型2和相关性矢量机器的一个或多个。
13.如权利要求1-5中任一项所述的设备,其中所述设备使用训练数据以生成用于通过使用分类器基于所述提取的时间特征确定所述第一分数、用于从大脑信号提取所述谱空间特征、用于从提取的谱空间特征集合选择包含所述专注状态和非专注状态之间的区别信息的谱空间特征、以及用于通过使用分类器基于所选择的谱空间特征确定所述第二分数的参数。
14.如权利要求13所述的设备,其中所生成的参数包括用于CSP算法的CSP的投影矩阵、用于基于互信息选择谱空间特征的参数、和用于所述分类器的模型中的一个或者多个。
15.如权利要求13所述的设备,其中使用训练数据生成参数的步骤还包括:
从执行一组任务的受试者收集训练数据;以及
通过机器学习方法确定参数。
16.一种用于生成受试者注意力水平表示的方法,包括:
测量来自所述受试者的大脑信号;
从所述大脑信号提取时间特征;
使用分类器基于提取的时间特征确定第一分数;
从所述大脑信号提取谱空间特征;
从提取的谱空间特征集合中选择含有专注状态与非专注状态之间的区别信息的谱空间特征;
使用分类器基于所选择的谱空间特征确定第二分数;
将所述第一分数和所述第二分数结合以给出第三分数;
基于代表所述受试者在试验期内的第三分数集合的概率模型计算注意力分数;以及
将所述注意力分数呈现给所述受试者。
17.如权利要求16所述的方法,其中将所述注意力分数呈现给所述受试者的步骤包括以游戏的形式呈现所述注意力分数。
18.如权利要求17所述的方法,其中将所述注意力分数呈现给所述受试者的步骤包括基于所述注意力分数自适应地调整所述游戏的至少一个控制参数。
19.如权利要求18所述的方法,其中调整所述至少一个控制参数的步骤包括:
使用所述注意力分数与所述至少一个控制参数之间的关系在第一段时间内呈现所述游戏;
确定所述受试者在第一段时间内的注意力分数的代表值;
基于所述代表值调整所述关系;以及
使用所述注意力分数与所述至少一个控制参数之间的被修改的关系在第二段时间内呈现所述游戏。
20.如权利要求19所述的方法,其中调整所述关系是这样的,所述游戏在所述第二段时间内的难度水平与在所述第一段时间内的代表值成比例。
21.如权利要求16至20中任一项所述的方法,其中从所述大脑信号提取所述时间特征的步骤包括:
在多个电极通道中的每个电极通道中计算大脑波形的统计量;以及
将所述统计量连接成联合特征向量。
22.如权利要求21所述的方法,其中所述大脑波形的统计量是标准偏差。
23.如权利要求16至20中任一项所述的方法,其中从所述大脑信号提取谱空间特征的步骤包括:
使用滤波器组在离散频率窗口中提取各个大脑信号分量以获得大脑信号的谱特征;以及
使用CSP阵列将CSP算法应用于每个所述谱特征以获得大脑信号的谱空间特征。
24.如权利要求16至20中任一项所述的方法,其中所述计算注意力分数的步骤包括在计算所述注意力分数之前将代表所述受试者在试验期内的第三分数集合的概率模型转换为固定的分数范围。
25.如权利要求16至20中任一项所述的方法,其中将所述第一分数和所述第二分数结合以给出第三分数的步骤还包括:
根据公式(x-mx)/sx将所述第一分数和所述第二分数标准化以给出标准化的分数x1n和x2n,其中x是所述第一分数或所述第二分数中的一个,mx和sx分别是使用训练抽样从所述分类器得到的输出的平均值和标准偏差;
将权重w1和w2分别分配给标准化的分数x1n和x2n;以及
根据该式x1n*w1+x2n*w2将标准化的分数x1n和x2n结合以给出所述第三分数。
26.如权利要求25所述的方法,其中所述权重w1和w2根据公式wi=(yi)p计算,其中,如果i=1,yi则是将所述提取的时间特征分类的分类精确度,如果i=2,yi则是将所述提取的谱空间特征分类的分类精确度,并且p(p>0)在所述第三分数的计算中控制wi的功率。
27.如权利要求16至20中任一项所述的方法,其中所述分类器包括线性判别分析分类器、神经网络、支持矢量机器、模糊接口系统、树基分类器、模糊类型2和相关性矢量机器中的一个或多个。
28.如权利要求16至20中任一项所述的方法,其中所述方法还包括使用训练数据以生成用于通过使用分类器基于所述提取的时间特征确定所述第一分数、用于从大脑信号提取所述谱空间特征、用于从提取的谱空间特征集合选择包含所述专注状态和非专注状态之间的区别信息的谱空间特征、以及用于通过使用分类器基于所选择的谱空间特征确定所述第二分数的参数。
29.如权利要求28所述的方法,其中所生成的参数包括用于CSP算法的CSP的投影矩阵、用于基于互信息选择谱空间特征的参数、和用于所述分类器的模型中的一个或者多个。
30.如权利要求28所述的方法,其中使用训练数据生成参数的步骤还包括:
从执行一组任务的受试者收集训练数据;以及
通过机器学习方法确定参数。
CN200980157260.7A 2008-12-19 2009-09-14 用于生成注意力水平表示的设备和方法 Active CN102573619B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13929108P 2008-12-19 2008-12-19
US61/139,291 2008-12-19
PCT/SG2009/000337 WO2010071604A1 (en) 2008-12-19 2009-09-14 Device and method for generating a representation of a subject's attention level

Publications (2)

Publication Number Publication Date
CN102573619A CN102573619A (zh) 2012-07-11
CN102573619B true CN102573619B (zh) 2015-04-22

Family

ID=42269057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980157260.7A Active CN102573619B (zh) 2008-12-19 2009-09-14 用于生成注意力水平表示的设备和方法

Country Status (7)

Country Link
US (1) US9149719B2 (zh)
EP (1) EP2385789B1 (zh)
CN (1) CN102573619B (zh)
AU (1) AU2009327552A1 (zh)
CA (1) CA2747631A1 (zh)
SG (1) SG172262A1 (zh)
WO (1) WO2010071604A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072730A (ko) * 2009-12-23 2011-06-29 한국과학기술원 적응형 뇌-컴퓨터 인터페이스 장치
WO2012100081A2 (en) * 2011-01-19 2012-07-26 California Institute Of Technology Aggregation of bio-signals from multiple individuals to achieve a collective outcome
AU2012329088A1 (en) * 2011-10-24 2014-05-29 President And Fellows Of Harvard College Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy
GB2514726B (en) * 2012-03-27 2017-05-03 Myndplay Ltd Improvements relating to control mechanisms
WO2014031083A1 (en) 2012-08-24 2014-02-27 Agency For Science, Technology And Research Autodidactic cognitive training device and method thereof
US10606353B2 (en) 2012-09-14 2020-03-31 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
EP3441896B1 (en) * 2012-09-14 2021-04-21 InteraXon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
IN2013MU03025A (zh) * 2013-09-19 2015-07-03 Tata Consultancy Services Ltd
US20150230020A1 (en) * 2014-02-12 2015-08-13 Kee Sook Jeon Headset
CN103971124B (zh) * 2014-05-04 2017-02-15 杭州电子科技大学 一种基于相位同步的多类别运动想象脑电信号分类方法
KR102359739B1 (ko) 2014-05-21 2022-02-08 아킬리 인터랙티브 랩스 인크. 인지 훈련 양생을 개인화함으로써 인지 능력을 향상시키기 위한 프로세서로 구현되는 시스템 및 방법
AU2016228778A1 (en) 2015-03-12 2017-09-28 Akili Interactive Labs, Inc. Processor implemented systems and methods for measuring cognitive abilities
IL239191A0 (en) * 2015-06-03 2015-11-30 Amir B Geva Image sorting system
US11998350B2 (en) 2015-06-08 2024-06-04 Thynk, Inc. Functional EEG montage for cognitive skill development
JP6018266B1 (ja) * 2015-07-17 2016-11-02 株式会社スクウェア・エニックス ビデオゲーム処理プログラム及びビデオゲーム処理システム
US10328340B2 (en) * 2015-07-20 2019-06-25 Neowiz Games Corporation Method, apparatus, and recording medium for controlling a game
WO2017023792A1 (en) 2015-07-31 2017-02-09 Atentiv Llc Method and system for monitoring and improving attention
CN108471991A (zh) 2015-08-28 2018-08-31 艾腾媞乌有限责任公司 认知技能训练系统和程序
CN106128201B (zh) * 2016-06-14 2018-12-21 北京航空航天大学 一种沉浸式视觉和离散力控制任务结合的注意力训练系统
CN106108893B (zh) * 2016-06-20 2019-03-01 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法
EP3487392A4 (en) 2016-07-19 2020-07-29 Akili Interactive Labs, Inc. PLATFORMS FOR IMPLEMENTING SIGNAL DETECTION METRICS IN ADAPTIVE RESPONSE DEVICES
WO2018039610A1 (en) 2016-08-26 2018-03-01 Akili Interactive Labs, Inc. Cognitive platform coupled with a physiological component
US10490092B2 (en) 2017-03-17 2019-11-26 Age Of Learning, Inc. Personalized mastery learning platforms, systems, media, and methods
US11402909B2 (en) * 2017-04-26 2022-08-02 Cognixion Brain computer interface for augmented reality
FR3070852B1 (fr) * 2017-09-08 2019-09-20 Centre National De La Recherche Scientifique Decodage de l'attention visuelle d'un individu a partir de signaux electroencephalographiques
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
CN108108763B (zh) * 2017-12-25 2021-07-23 中国科学院深圳先进技术研究院 脑电分类模型生成方法、装置及电子设备
CN107961006B (zh) * 2017-12-28 2023-12-05 出门问问信息科技有限公司 腕式智能穿戴设备和信息提示方法
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
CN108346192B (zh) * 2018-02-13 2020-12-15 福州外语外贸学院 一种计算机机房课程学生专注度的考勤方法及终端
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US10909157B2 (en) * 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
WO2019226947A1 (en) * 2018-05-25 2019-11-28 The Regents Of The University Of California Systems and methods for enhanced wearable attention monitoring
EP3594861B1 (en) 2018-07-09 2024-04-03 Tata Consultancy Services Limited Systems and methods for classification of multi-dimensional time series of parameters
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
US11380211B2 (en) 2018-09-18 2022-07-05 Age Of Learning, Inc. Personalized mastery learning platforms, systems, media, and methods
CN109864749A (zh) * 2019-01-30 2019-06-11 北京津发科技股份有限公司 注意控制能力的训练方法、测评方法及其装置
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110400619B (zh) * 2019-08-30 2023-07-21 上海大学 一种基于表面肌电信号的手功能康复训练方法
CN111563520B (zh) * 2020-01-16 2023-01-13 北京航空航天大学 一种基于空间-光谱联合注意力机制的高光谱图像分类方法
US11645604B2 (en) * 2020-01-31 2023-05-09 International Business Machines Corporation Methods and systems for managing concentration in work environments
US20210386351A1 (en) * 2020-06-12 2021-12-16 Korea University Research And Business Foundation Brain-computer interface apparatus for minimizing signal correction process between users using clustering technology based on brain activity and method of operating the same
CN112244772A (zh) * 2020-10-15 2021-01-22 王映姗 一种基于深度学习的睡眠阶段预测方法、存储介质及终端设备
CN112494774A (zh) * 2020-10-16 2021-03-16 杭州师范大学 一种基于延迟脑电反馈的持续注意调控系统
CN112515685B (zh) * 2020-11-10 2023-03-24 上海大学 基于时频共融的多通道脑电信号通道选择方法
CN112932509B (zh) * 2021-01-28 2022-10-28 福建脉行人生医疗科技有限公司 一种眼电信号捡拾与优化分析方法及装置
CN113143273B (zh) * 2021-03-23 2024-06-28 陕西师范大学 一种在线视频学习中学习者注意状态智能检测系统及方法
CN113143291B (zh) * 2021-05-11 2023-02-03 燕山大学 一种快速序列视觉呈现下的脑电特征提取方法
CN113157101B (zh) * 2021-06-07 2022-08-19 成都华脑科技有限公司 碎片化阅读习惯识别方法、装置、可读介质及电子设备
CN113577495A (zh) * 2021-07-21 2021-11-02 大连民族大学 一种基于bci-vr的儿童多动症辅助治疗系统
WO2023069968A1 (en) * 2021-10-18 2023-04-27 The Regents Of The University Of California Multi channel data aggregation based data compression
CN114209283B (zh) * 2021-12-27 2024-07-26 燕山大学 一种基于脑机空间复杂度的术中疼痛检测方法
CN114209323B (zh) * 2022-01-21 2024-05-10 中国科学院计算技术研究所 一种识别情绪的方法以及基于脑电数据的情绪识别模型
CN114391854A (zh) * 2022-02-16 2022-04-26 北京脑陆科技有限公司 基于偏侧化指数的脑电信号处理装置、方法及介质
CN116807479B (zh) * 2023-08-28 2023-11-10 成都信息工程大学 一种基于多模态深度神经网络的驾驶注意力检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724987A (en) 1991-09-26 1998-03-10 Sam Technology, Inc. Neurocognitive adaptive computer-aided training method and system
US5377100A (en) 1993-03-08 1994-12-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method of encouraging attention by correlating video game difficulty with attention level
US6402520B1 (en) * 1997-04-30 2002-06-11 Unique Logic And Technology, Inc. Electroencephalograph based biofeedback system for improving learning skills
KR20020068825A (ko) 2001-02-23 2002-08-28 학교법인 한양학원 가상 현실과 바이오 피드백을 이용한 집중력 향상 시스템및 방법
CA2446382A1 (en) * 2001-05-04 2002-11-14 University Of Virginia Patent Foundation Method, apparatus, and computer program product for assessment of attentional impairments
AU2005223637A1 (en) * 2004-03-18 2005-09-29 University Of Virginia Patent Foundation Method, apparatus, and computer program product for stochastic psycho-physiological assessment of attentional impairments
US7826894B2 (en) * 2004-03-22 2010-11-02 California Institute Of Technology Cognitive control signals for neural prosthetics
US7520848B2 (en) * 2004-04-09 2009-04-21 The Board Of Trustees Of The Leland Stanford Junior University Robotic apparatus for targeting and producing deep, focused transcranial magnetic stimulation
US20180146879A9 (en) * 2004-08-30 2018-05-31 Kalford C. Fadem Biopotential Waveform Data Fusion Analysis and Classification Method
US20090216146A1 (en) * 2005-07-07 2009-08-27 Mina Teicher Method and System for Processing and Electroencephalograph (Eeg) Signal
EP2027559B1 (en) * 2006-06-09 2012-05-23 Bracco S.P.A. Method of processing multichannel and multivariate signals and method of classifying sources of multichannel and multivariate signals operating according to such processing method
US20090306531A1 (en) * 2008-06-05 2009-12-10 Eric Claude Leuthardt Methods and systems for controlling body parts and devices using ipsilateral motor cortex and motor related cortex
US8244475B2 (en) * 2007-12-27 2012-08-14 Teledyne Scientific & Imaging, Llc Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli
CA2711844A1 (en) * 2008-01-11 2009-07-16 Oregon Health & Science University Rapid serial presentation communication systems and methods
AU2008355778B2 (en) 2008-04-28 2015-02-12 Agency For Science, Technology And Research (A*Star) A method and system for concentration detection
US20100249636A1 (en) * 2009-03-27 2010-09-30 Neurofocus, Inc. Personalized stimulus placement in video games
US8442626B2 (en) * 2010-06-21 2013-05-14 Aleksandrs Zavoronkovs Systems and methods for communicating with a computer using brain activity patterns

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Filter bank common spatial pattern (FBCSP) in brain-computer interface;Kai Keng Ang et al;《Neural Networks》;20080601;2390-2397 *
The temporal and spatial features of event-related EEG spectral changes in 4 mental conditions;Jinhe Wei et al;《Electroencephalography and clinical neurophysiology》;19980101;第106卷;416-423 *

Also Published As

Publication number Publication date
CA2747631A1 (en) 2010-06-24
CN102573619A (zh) 2012-07-11
EP2385789A4 (en) 2012-08-01
AU2009327552A1 (en) 2011-08-11
US20120108997A1 (en) 2012-05-03
WO2010071604A1 (en) 2010-06-24
EP2385789B1 (en) 2019-03-13
SG172262A1 (en) 2011-07-28
EP2385789A1 (en) 2011-11-16
US9149719B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
CN102573619B (zh) 用于生成注意力水平表示的设备和方法
US8862581B2 (en) Method and system for concentration detection
Pal et al. EEG-based subject-and session-independent drowsiness detection: an unsupervised approach
US7580742B2 (en) Using electroencephalograph signals for task classification and activity recognition
CN101711123A (zh) 用于使用生理信号对视听或交互式媒体、产品或者活动的“思考”响应进行测量和分级的方法和系统
CN110390272B (zh) 一种基于加权主成分分析的eeg信号特征降维方法
CN107479702A (zh) 一种使用脑电信号的人类情感优势度分类识别方法
CN114224342A (zh) 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN107292296A (zh) 一种使用脑电信号的人类情感唤醒度分类识别方法
Liu et al. Unsupervised fNIRS feature extraction with CAE and ESN autoencoder for driver cognitive load classification
Mouleeshuwarapprabu et al. Nonlinear vector decomposed neural network based EEG signal feature extraction and detection of seizure
Liu et al. Criminal psychological emotion recognition based on deep learning and EEG signals
Martín-Chinea et al. Effect of time windows in LSTM networks for EEG-based BCIs
Coyle et al. Extracting features for a brain-computer interface by self-organising fuzzy neural network-based time series prediction
Hassani et al. Discrimination of customers decision-making in a like/dislike shopping activity based on genders: a neuromarketing study
Soler et al. EEG source imaging of hand movement-related areas: an evaluation of the reconstruction and classification accuracy with optimized channels
Sun et al. Neuroscience meets building: A comprehensive review of electroencephalogram applications in building life cycle
Tabejamaat et al. Sequential nonlinear encoding: A low dimensional regression algorithm with application to EEG-based driving fatigue detection
Assali et al. Comparison by multivariate auto-regressive method of seizure prediction for real patients and virtual patients
Hoseini et al. Enhancing Anxiety Diagnosis Through ADA BOOST-Assisted Decision-Level Fusion
sara Hosseini et al. Enhancing Anxiety Diagnosis through ADABOOST-Assisted Decision-Level Fusion
Jami et al. A Novel Method Based on ERP and Brain Graph for the Simultaneous Assessment of Various Types of Attention
Kryvinska et al. Demand on Computational Intelligence Paradigms Synergy
Neverlien et al. Automatic emotion decoding from EEG signals using the DEAP dataset
Sasaki EEG data classification with several mental tasks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant