CN104871160B - 用于感觉和认知剖析的系统和方法 - Google Patents

用于感觉和认知剖析的系统和方法 Download PDF

Info

Publication number
CN104871160B
CN104871160B CN201380058185.5A CN201380058185A CN104871160B CN 104871160 B CN104871160 B CN 104871160B CN 201380058185 A CN201380058185 A CN 201380058185A CN 104871160 B CN104871160 B CN 104871160B
Authority
CN
China
Prior art keywords
stimulation
examinee
data
series
physiological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380058185.5A
Other languages
English (en)
Other versions
CN104871160A (zh
Inventor
T·P·科勒曼
R·马
S·金
C·帕克
R·吉尔达科斯塔
R·方格
D·梅萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of CN104871160A publication Critical patent/CN104871160A/zh
Application granted granted Critical
Publication of CN104871160B publication Critical patent/CN104871160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/375Electroencephalography [EEG] using biofeedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/167Personality evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/381Olfactory or gustatory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4011Evaluating olfaction, i.e. sense of smell
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4017Evaluating sense of taste
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Acoustics & Sound (AREA)

Abstract

公开用于产生认知和/或感觉简档的方法、装置和系统。在一个方面中,用于提供被检者的认知或感觉评价的方法包括:从认知性能简档、感觉性能简档、以及认知和感觉性能简档选择简档类别;向被检者呈现一系列的刺激,该一系列的刺激基于所选择的简档类别;在呈现该一系列的刺激之前、之中和之后获取被检者的生理信号,以产生生理数据;和处理生理数据,以产生包含与所选择的简档类别相关的一个或更多个定量值的信息集。

Description

用于感觉和认知剖析的系统和方法
(对相关申请的交叉引用)
本专利文件要求在2012年9月28日提交的发明名称为“METHOD AND APPARATUSFOR ACQUISITION,ANALYSIS AND EVALUATION OF BRAIN SIGNALS AND CORRELATEDINDIVIDUAL KNOWLEDGE AND/OR STATE OF AWARENESS PROFILE”的美国临时专利申请No.61/707613的优先权。作为本申请的公开的一部分,通过引用并入上述的专利申请的整个内容。
技术领域
本专利文件涉及用于分析脑功能的系统、装置和处理。
背景技术
脑电图(EEG)是通过使用位于被检者头皮上的电极记录大脑表现出的电活动,从而形成包括EEG数据集的神经信号振荡的频谱内容。例如,通过EEG技术检测的大脑的电活动可包括例如源自大脑的神经元内的离子电流流动的电压波动。在一些情况下,EEG指的是在例如不到一小时的短时间对大脑自发电活动的记录。EEG可被用于包括癫痫、昏迷、脑病、脑死亡以及其他疾病和缺陷的临床诊断应用以及睡眠和睡眠障碍的研究中。在一些情况下,EEG已用于肿瘤、中风和其它局灶性脑疾病的诊断。
EEG技术的一个例子包括事件相关电位(ERP)的记录,这些事件相关电位指与给定事件(例如,简单的刺激和复杂的过程)相关的EEG记录的脑反应。例如,ERP包括脑电响应-脑波-与感觉、运动神经(motor)和/或认知处理有关。ERP与感觉(例如,视觉,听觉等)和认知(例如,注意力、语言、决策等)的脑测量相关联。典型的ERP波形包括称为成分的正负电压偏转的时间演化。例如,典型的成分通过使用字母(N/P:负/正)和该成分出现的次数(指示从刺激事件算起的反应时间段,单位为毫秒)被分类。
发明内容
公开了用于使用用于引出生理数据(例如,大脑信号)和/或行为数据)以推断和产生属于个体和/或组精神能力(例如,认知和/或感觉性能)、心理状态(例如,清醒水平)和行为偏好的唯一一组信息的专门刺激呈现结构(例如,包含图像和声音)的方法、系统和装置。
在一个方面中,一种用于提供被检者的认知或感觉评价的方法包括:从认知性能简档、感觉性能简档、以及认知和感觉性能简档选择简档类别;向被检者呈现一系列的刺激,该一系列的刺激基于所选择的简档类别;在呈现该一系列的刺激之前、之中和之后获取被检者的生理信号,以产生生理数据;和处理生理数据,以产生包含与所选择的简档类别相关的一个或更多个定量值的信息集。
方法的实现可任选地包括以下的示例性特征中的一个或更多个。在一些例子中,可以在没有由被检者执行的行为响应的情况下实现获取。例如,一系列的刺激可包含基于所选择的简档类别的视觉、听觉、嗅觉、触觉或味觉刺激媒介中的至少一个。例如,一个或更多个定量值可包含指示基于被检者的关注、记忆、学习能力、虚构特性、图案整合能力、语义整合能力、目标检测能力、情绪效价(valence)或偏好中的至少一个的认知和感觉性能中的一个或两个的水平的定量分数,其中,定量分数指示在特定时间的水平。例如,一个或更多个定量值可包含指示在特定时间的被检者的清醒度的水平或状态的定量分数。在该方法的一些实现中,处理可包含:基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。例如,在一些实现中,方法还可包括处理生理数据以增加分组数据集的信号噪声比。例如,分组可基于单个刺激的预先分配的类别或连续刺激的结合关系中的至少一个被确定。在方法的一些实现中,处理可包括:基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和通过使用从被检者或其它被检者获取的先前生理数据提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。在方法的一些实现中,处理可包括:基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个初始分组数据集;通过使用包含初始分组数据集的统计试验,将向被检者呈现的一系列刺激之中的各刺激分类;基于分类的刺激,将与时间间隔对应的生理数据重新组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。例如,在一些实现中,方法还可包括:通过使用被检者的产生的信息集,形成修改的一系列的刺激;和向被检者呈现修改的一系列的刺激。例如,在一些实现中,方法还可包括:在呈现该修改的一系列的刺激之前、之中和之后获取被检者的生理信号,以产生新的生理数据;和处理新的生理数据,以产生包含与所选择的简档类别相关的一个或更多个增强定量值的增强信息集。例如,在一些实现中,方法还可包括:为简档类别中的每一个创建初始序列的刺激。在一些例子中,获取生理数据可包含记录由被检者产生的脑电图(EEG)信号。例如,记录EEG信号可包含使用配戴于被检者的头皮上的一个或更多个柔性EEG电极传感器以测量记录的EEG信号并将其传送到远程处理单元。在一些例子中,获取生理信号可包含记录由被检者产生的肌电图(EMG)信号。例如,在一些实现中,方法还可包括:在处理之前,过滤生理信号以增大生理信号的信号噪声比。例如,在一些实现中,方法还可包括:在处理之前,预处理生理数据,包含以下中的一个或更多个:将生理数据分段,或从生理数据识别特性。例如,在一些实现中,方法还可包括:基于被检者的产生的信息集,产生机器与被检者之间的交互作用。例如,在一些实现中,方法还可包括:在呈现一系列的刺激之前获取被检者的基线生理数据以产生基线生理数据。在一些例子中,向被检者呈现的一系列的刺激可包含用于被动刺激被检者的大脑响应的环境刺激。例如,在一些实现中,方法还可包括:在呈现该一系列的刺激之前、之中和之后获取被检者的行为信号,以产生生理数据;和处理行为数据与生理数据,以产生包含与所选择的简档类别相关的一个或更多个定量值的信息集。
在另一方面中,提供一种包含上面存储有代码的计算机可读存储媒介的计算机程序产品,该代码在被执行时导致计算机或通信网络中的计算机系统的处理器实现用于提供被检者的认知或感觉评价的方法,其中,计算机程序产品由计算机或计算机系统操作以实现方法。计算机实现的方法包括:向被检者提供提示以选择包含认知性能简档、感觉性能简档、以及认知和感觉性能简档的简档类别;通过装置控制向被检者呈现的一系列的刺激,该一系列的刺激基于所选择的简档类别;接收代表在呈现一系列的刺激之前、之中和之后从被检者获取的生理信号的生理数据;和处理生理数据,以产生包含与所选择的简档类别相关的一个或更多个定量值的信息集。
计算机程序产品的实现可任选地包括以下的示例性特征中的一个或更多个。例如,在计算机程序产品中,方法的处理步骤可包括:基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。在一些实现中,计算机程序产品的计算机实现方法还可包括处理生理数据以增加分组数据集的信号噪声比。例如,分组基于单个刺激的预先分配的类别或连续刺激的结合关系中的至少一个被确定。例如,在计算机程序产品中,方法的处理步骤可包括:基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和通过使用从被检者或其它被检者获取的先前生理数据提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。例如,在计算机程序产品中,方法的处理步骤可包括:基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个初始分组数据集;通过使用包含初始分组数据集的统计试验,将向被检者呈现的一系列刺激之中的各刺激分类;基于分类的刺激,将与时间间隔对应的生理数据重新组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。在一些实现中,计算机程序产品的计算机实现方法还可包括:通过使用被检者的产生的信息集,形成修改的一系列的刺激;和控制通过装置向被检者呈现的修改的一系列的刺激。在一些实现中,计算机程序产品的计算机实现方法还可包括:接收代表在呈现该修改的一系列的刺激之前、之中和之后从被检者获取的生理信号的生理数据;和处理新的生理数据,以产生包含与所选择的简档类别相关的一个或更多个增强定量值的增强信息集。
在另一方面中,一种用于提供认知或感觉评价的系统包括:与被检者连接以检测在向被检者呈现一系列的刺激之前、之中和之后由被检者表现的生理信号的传感器装置,该一系列的刺激基于包含认知性能简档、感觉性能简档、以及认知和感觉性能简档的认知-感觉简档类别;和与传感器装置通信并且被构建为包含一个或更多个存储器单元以及被配置为将生理信号处理为生理数据以产生包含与认知-感觉简档类别相关的一个或更多个定量值的信息集的一个或更多个处理器的数据处理系统。
系统的实现任选地包括以下的示例性特征中的一个或更多个。在一些例子中,由传感器装置检测的生理信号不包含被检者的行为响应。在一些实现中,例如,系统还可包括:用于产生向被检者呈现的一系列的刺激的刺激传输装置,其中,刺激包括视觉、听觉、嗅觉、触觉或味觉刺激媒介中的至少一个。例如,刺激传输装置可包括用于产生一系列的图像的显示屏幕。例如,刺激传输装置可包括用于产生一系列的声音的扬声器。例如,刺激传输装置可包括用于产生一系列的嗅觉、触觉或味觉中的至少一种的致动器。在一些实现中,刺激传输装置可被配置为与数据处理系统通信,其中,数据处理系统被配置为基于产生的信息集生成机器过程,并且,由数据处理单元生成的机器过程导致刺激传输装置修改下一次向被检者呈现的一系列的刺激。例如,刺激传输装置可包含桌上型计算机、膝上型计算机或包含智能电话或平板电脑的移动通信装置。例如,数据处理系统可被配置于移动通信装置中。例如,数据处理系统可被配置为基于产生的信息集生成机器过程,其中,机器过程驱动另一装置或系统以执行源自包含于产生的信息集中的信息的功能。例如,一个或更多个定量值可包含指示基于被检者的关注、记忆、学习能力、虚构特性、图案整合能力、语义整合能力、目标检测能力、情绪效价、偏好或清醒度中的至少一个的认知和感觉性能中的一个或两个的水平的定量分数,并且,定量分数指示在特定时间的水平。在系统的一些实现中,例如,传感器装置可包含柔性基板、柔性基板上的传感器电极和与电极电气通信并且处于柔性基板上的传送器,其中,传感器装置被配置为配戴于被检者的头皮上以记录脑电图(EEG)信号并且向数据处理单元或远程计算机系统中的至少一个传送记录的EEG信号的一个或更多个可配戴贴片。在系统的一些实现中,例如,传感器装置可包含可固定于被检者上以接收来自被检者的电信号的电极。例如,传感器装置可包含捕获指示被检者的移动或运动的被检者的图像的成像装置。在一些例子中,成像装置捕获被检者的眼睛运动。例如,在系统的一些实现中,数据处理系统可包含:与传感器装置接近并且通信以从传感器装置接收检测的生理信号的本地计算机,本地计算机被配置为进行检测的生理信号的初始处理以产生初始生理信号数据;和通过通信网络或链接与本地计算机通信以从本地计算机接收初始生理信号数据并且处理初始生理信号数据以产生包含与认知-感觉简档类别相关的一个或更多个定量值的信息集的远程计算机。例如,本地计算机可被配置为产生初始生理信号数据作为被检者特有的个体数据,并且,远程计算机可被配置为处理初始生理信号数据以产生针对被检者个性化的信息集。在一些实现中,例如,系统还可包括:处于被检者的位置上并被配置为产生向被检者呈现的一系列的刺激的刺激传输装置,其中,刺激包含视觉、听觉、嗅觉、触觉或味觉刺激媒介中的至少一个;和与远程计算机通信以接收与包含与认知-感觉简档类别相关的一个或更多个定量值的信息集相关或者源自所述信息集的数据以修改对于被检者的一系列的刺激产生关于被检者个性化的修改的一系列的刺激的刺激呈现计算机,刺激呈现计算机与刺激传输装置耦合以导致向被检者施加修改的一系列的刺激。在一些实现中,例如,远程计算机可被配置为访问被检者的一个或更多个组中的其它被检者的生理信号数据并且在处理初始生理信号数据时使用其它被检者的生理信号数据以产生针对被检者个性化的信息集。例如,在一些实现中,系统还可包括:配置于远程计算机与刺激呈现计算机之间并且被配置为将针对被检者个性化的信息集转换成被刺激呈现计算机使用的适应性变化或调整以在产生关于被检者个性化的修改的一系列的刺激时修改对于被检者的一系列的刺激的大脑-机器界面模块。
在另一方面中,一种用于提供被检者的认知或感觉评价的方法包括:响应基于认知-感觉简档类别创建的一系列的刺激的呈现,处理个体的生理数据和行为数据中的一个或两个,其中,处理产生包含表征个体的认知性能水平、感觉性能水平、或者认知和感觉性能水平的一个或更多个定量值的信息集。处理包含:基于呈现的刺激和所选择的简档类别在生理数据和/或行为数据内选择关注的时间间隔;将与选择的关注的时间间隔对应的生理数据和/或行为数据组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量以产生一个或更多个定量值。
方法的实现可任选地包括以下的示例性特征中的一个或更多个。在方法的一些实现中,例如,提供统计测量包含使用从一个或更多个组中的个体或其它个体获取的先前生理数据和/或行为数据以产生一个或更多个定量值。在一些实现中,例如,方法还可包括通过使用产生的个体的信息集,形成修改的一系列的刺激。
在另一方面中,一种用于提供被检者的认知或感觉评价的系统包括通过通信网络或链接与远程计算机装置通信的一个或更多个计算机。一个或更多个计算机被配置为通过响应基于认知-感觉简档类别创建的一系列的刺激的呈现处理从个体获取的生理数据和行为数据中的一个或两个产生包含表征个体的认知性能水平、感觉性能水平、或者认知和感觉性能水平的一个或更多个定量值的信息集。一个或更多个计算机被配置为向远程计算机装置提供产生的信息集。
系统的实现可任选地包含以下的示例性特征中的一个或更多个。例如,一个或更多个计算机可处理生理数据和行为数据中的一个或两个以产生信息集,其中,处理包含:基于呈现的刺激和所选择的简档类别在生理数据和/或行为数据内选择关注的时间间隔;将与选择的关注的时间间隔对应的生理数据和/或行为数据组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量以产生一个或更多个定量值。
在另一方面中,一种用于提供被检者的认知或感觉评价的方法包括:选择指示认知感觉功能的一个或更多个方面的认知-感觉简档类别;向被检者呈现一系列的刺激,该一系列的刺激基于选择的认知-感觉简档类别;在呈现该一系列的刺激之前、之中和之后获取被检者的生理信号,以产生生理数据;和处理生理数据,以产生包含与选择的认知-感觉简档类别相关的一个或更多个定量值的信息集。
方法的实现可任选地包括以下的示例性特征中的一个或更多个。例如,一系列的刺激可包含基于选择的认知-感觉简档类别的视觉、听觉、嗅觉、触觉或味觉刺激媒介中的至少一个。例如,一个或更多个定量值包含指示基于被检者的关注、记忆、学习能力、虚构特性、图案整合能力、语义整合能力、目标检测能力、情绪效价、偏好或清醒度状态中的至少一个的认知和感觉性能中的一个或两个的水平的定量分数,并且,定量分数指示在特定时间的水平。在方法的一些实现中,例如,处理可包含:基于呈现的刺激和选择的认知-感觉简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的认知-感觉简档类别的一个或更多个定量值。在一些实现中,例如,方法还可包括:处理生理数据以增加分组数据集的信号噪声比。例如,分组可基于单个刺激的预先分配的类别或连续刺激的结合关系中的至少一个被确定。在方法的一些实现中,例如,处理可包括:基于呈现的刺激和选择的认知-感觉简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和通过使用从被检者或其它被检者获取的先前生理数据提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。在方法的一些实现中,例如,处理可包括:基于呈现的刺激和选择的认知-感觉简档类别识别与生理信号相关的时间间隔;将与时间间隔对应的生理数据组成为一个或更多个初始分组数据集;通过使用包含初始分组数据集的统计试验,将向被检者呈现的一系列刺激之中的各刺激分类;基于分类的刺激,将与时间间隔对应的生理数据重新组成为一个或更多个分组数据集;和提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的认知-感觉简档类别的一个或更多个定量值。在一些实现中,例如,方法还可包括:通过使用产生的被检者的信息集,形成修改的一系列的刺激;和向被检者呈现修改的一系列的刺激。在一些实现中,例如,方法还可包括:在呈现该修改的一系列的刺激之前、之中和之后获取被检者的生理信号,以产生新的生理数据;和处理新的生理数据,以产生包含与选择的认知-感觉简档类别相关的一个或更多个增强定量值的增强信息集。在一些实现中,例如,方法还可包括:创建认知-感觉简档类别中的每一个的初始序列的刺激。在一些实现中,例如,方法还可包括:基于产生的被检者的信息集,产生机器与被检者之间的交互作用。
附图说明
图1A表示用于获取、分析和评价生理信号以产生清醒简档的个体或组知识和/或状态的公开技术的示例性系统的示图。
图1B~1D表示用于产生示例性认知和/或感觉简档的定量信息集的示例性方法的处理示图。
图2表示呈现的视觉刺激的示例性次序的示图。
图3表示提供来自组统计分析的示例性结果的数据示图,该组统计分析表示使用视觉刺激的概念类别变化之间的区分的大脑图案。
图4表示通过使用视觉刺激跨着多个尝试收集的代表350ms~450ms的时间窗口的一个轴上的EEG数据的三维示图。
图5A和图5B表示在不同的视觉刺激条件下来自两个示例性电极信道的个体示例性被检者的平均和标准偏差的数据示图。
图6表示视觉刺激范例的被检者监督分类器的示例性性能的数据示图和相应的表格。
图7表示用于提供个性化知识和/或清醒简档的引导分类算法和它们的随后的总结统计的示例性实现的说明图。
图8表示属于来自示例性被检者的示例性电极信道的监督分类器的示例性特征。
图9表示被检者的示例性个体知识评价简档(IKEP)的示图。
图10表示用于估计属于规定来自类A的数据和来自类B的数据是否来自同一统计分布有关的示例性假说试验的p值的非参数过程的示图。
图11表示使用视觉刺激的AA-B的示例性rANOVA分析的数据示图和相应的数据表格。
图12表示使用视觉刺激的AA-B的示例性NML参数分析的数据示图和相应的数据表格。
图13表示使用视觉刺激的AA-B的示例性NML非参数分析的数据示图和相应的数据表格。
图14表示个体被检者的个体知识评价简档和基于组的被检者的组知识评价简档的例子的示图。
图15表示呈现的听觉刺激的示例性序列的示图。
图16表示提供来自组统计分析的示例性结果的数据示图,该组统计分析表示听觉刺激的语境变化之间的区分的大脑图案。
图17表示通过使用听觉刺激跨着多个尝试收集的代表350ms~450ms的时间窗口的一个轴上的EEG数据的三维示图。
图18A和图18B表示在不同的听觉刺激条件下来自两个示例性电极信道的个体示例性被检者的平均和标准偏差的数据示图。
图19表示听觉刺激范例的被检者监督分类器的示例性性能的数据示图和相应的表格。
图20表示用于提供个性化知识和/或清醒简档的引导分类算法和它们的随后的总结统计的示例性实现的说明图。
图21表示属于来自示例性被检者的示例性电极信道的监督分类器的示例性特征。
图22表示被检者的示例性清醒简档个体状态(ISAP)的示图。
图23表示使用听觉刺激的I-C的示例性rANOVA分析的数据示图和相应的数据表格。
图24表示使用听觉刺激的I-C的示例性NML参数分析的数据示图和相应的数据表格。
图25表示使用听觉刺激的I-C的示例性NML非参数分析的数据示图和相应的数据表格。
图26表示个体被检者的清醒简档个体状态和基于组的被检者的清醒简档组状态的例子的示图。
图27表示呈现的视觉刺激的示例性序列的示图。
图28A和图28B表示使用示例性刚性电极EEG系统的示例性方法的实现的示例性结果的图像和数据示图。
图29A和图29B表示使用示例性柔性电子EEG系统的示例性方法的实现的示例性结果的图像和数据示图。
图30~33表示使用刚性电极EEG系统和柔性表皮电子传感器EEG系统的IKEP定量分析的示例性结果的示图。
图34A表示用于在用于提炼认知和/或感觉简档的公开方法中使用大脑机器界面的示例性模型的框图。
图34B表示用于自适应地设计最佳地提取希望的信息的刺激范例的示例性方法的处理示图。
图35表示单位间隔[0,1]线向所有可能的字符次序的组的映射。
图36表示计算示例性最佳地图之后的映射,例如,其中,系统应用它并且重新绘制所有可能的语句。
图37表示用于代表单个知识或清醒(W)作为示图、例如反映分类和关系的例子的说明图。
图38表示内部知识W是两个维度中的点、例如反映图片中的点的示例性情况的示例性图像。
具体实施方式
对于各种各样的应用来说,建立某人的大脑信号与他/她的认知/感觉状态(例如,思想)之间的可靠的相关性是有价值的希望的目的。在基础科学上得到深入研究的这些相关性是各种翻译成专门化的应用的尝试的焦点,诸如评价认知损伤和使得身体受损者能够通信。
用于表征认知和生理状态的一些系统依赖于各种行为和大脑成像技术,例如,诸如功能共振磁成像(fMRI)和脑电图(EEG)。例如,fMRI通过相关代谢功能(例如,血流中的氧消耗)间接测量大脑功能,而EEG通过记录源自由神经细胞产生的电气活动的在头皮上呈现的电场的变化直接测量大脑活动。现有的技术一般着眼于一种类别的“大脑读取”,因此是出于该目的被设计的。
与使用的特定的大脑成像系统无关,当前技术主要通过使用依赖于被测试被检者“操作行为”(例如,请求被检者响应呈现的刺激产生行为)的方法框架推断个体认知信息,并且,基于并且限于通过数学算法创建“大脑响应模板”的先验被测试特定知识类别推断知识。这种技术在几个方面受到限制,包括需要来自被检者的活动参与和协作、通过“训练”数学算法的类别的类型和数量评价知识和使用被检者特定模板(即,只适用单个被检者)。
为了确定关于被检者的感觉和/或认知信息,方法应考虑用于引起被检者响应的刺激的类型(例如,对于视觉刺激,为图像,书面文字等;对于听觉刺激,为口头语言、动物的叫声、声音合成等)、持续时间、跨刺激间隔,每个呈现的重复次数、声音或亮度或对比度水平、与各刺激的呈现的开始相关的数字标记、记录传感器和系统。并且,使用的生理参数(例如,电压、功率、频率等)、用于分析的有关时间窗口和分析结构可影响大脑信号记录和相关认知评价。来自这些参数中的一个或多个的偏差或错误可产生有用或伪像从动无用方法之间的差异。
公开用于使用生理(例如,大脑信号)和/或行为信息以产生与个体和/或组认知和/或感觉性能、生理状态和行为偏好有关的认知和/或感觉简档的方法、系统和装置。
例如,公开的方法和系统可用于评价和推断个体概念知识(例如,一些人如何归类不同的信息以及他们会在特定的主题上具有什么知识)、清醒度的状态(例如,在不表示任何明显行为的情况下,个体如何有意识或者没有意识)和心理和行为偏好(例如,对于诸如鞋、汽车、书籍等的某些项目的个人更多意图和/或偏好)。例如,公开的技术可被用于各种教育、健康、娱乐和市场应用中。
在一些实现中,例如,刺激引起的脑电图(EEG)信号数据和行为响应数据被一起使用以产生新颖和专门化的一组测试和分析方法(例如,包括但不限于视觉和听觉刺激、机器掌握和其它统计算法等)以关联个体大脑信号与认知信息并且潜在地引导大脑机器界面。
公开的方法可使用每个人共同的大脑标记。例如,公开的方法和系统可使用不是被检者或类别特有的呈现刺激。公开的技术的实现可允许推断不限于先验类别的知识和清醒度,可跨着每个人被一般化,并且可通过完全被动的方式提取信息(例如,不需要人的服从或任何类型的明显行为响应)。该方法可用于个体感觉和认知性能和清醒度状态的直接评价/评估以及大脑-机器界面系统的驱动。例如,公开的系统和方法的实现可提供个性化的认知和/或感觉性能评价,并且,在些实现中,提供组认知和/或感觉性能评价。
公开的技术可扩展并且适用于广泛的应用并且可提供“非触知的”大脑读取或评价情况的方案(例如,在个体不能或者不愿产生明显的行为响应时)。例如,公开的系统和方法可在临床环境中被用于昏迷或以其他方式没有响应的患者身上,例如,包括处于生命支持系统上的患者的实例,提供关于患者的认知状态和/或认知能力的简档。
公开的系统和方法可以有效地被诸如既不是神经学家、心理学家也不是专门医师的用户的非专家使用,以提供被检者或多个被检者的认知和/或感觉简档。例如,公开的系统可安全精确地被一般的顾客使用,从而允许自由用于广泛的环境和位置中,从而明显降低使用成本并减少使用要求。例如,非专家用户可实现公开的系统和方法以获得被评价的人的清醒和思想信息简档,例如,该被评价的人任意为他们自身或其它人。
公开的方法和系统的示例性实施例
图1A表示用于获取、分析和评价生理信号以产生个体或组认知和/或感觉简档的公开技术的示例性模块系统100的示图。例如,系统可被实现为提供指示被检者在评价时的认知和/或感觉能力的认知性能简档、感觉性能简档、以及认知和感觉性能简档。例如,认知和/或感觉简档的类型可由用户(例如,诸如被检者或系统操作系统)选择以提供包含认知和/或感觉性能的定量水平的一组信息,例如,包含但不限于:关注、记忆、学习、虚构、图案整合、语义整合、目标检测、情绪效价、偏好和清醒度状态。系统允许操作员选择产生的简档的类型。
在一些实现中,系统可被实现为仅通过使用从被检者获取的生理数据、例如在没有从被检者激发的明显的行为响应的情况下提供认知和/或感觉简档。在其它的实现中,系统可被实现为通过使用行为数据或来自被检者的生理和行为数据提供认知和/或感觉简档。在一些实现中,系统可被实现为提供包含来自被检者的先前获取的生理和/或行为数据或来自其它被检者的数据(例如,组数据)的认知和/或感觉简档。由此,系统可例如被实现为提供关于组的认知和/或感觉简档。
如图1A所示,系统100被配置为包含可在各种不同的实施例中配置的独立的模块单元或装置。
系统100包括用于配置特定的刺激呈现结构111以向被检者121呈现刺激或一系列的刺激的刺激呈现模块110。在一些例子中,刺激呈现模块110体现于例如包含处理器和存储器单元的计算装置中。例如,刺激可包含任何刺激类型,包含视觉、听觉、嗅觉、触觉或味觉刺激媒介。特定的刺激呈现结构111可以被配置为包括但不限于特定的一种或多种类型的刺激、刺激呈现的持续期、跨刺激间隔、各呈现的重复次数(如果有的话)、与刺激的类型相关联的大小和/或频率参数(例如,声音的强度或光的亮度或对比度水平)、与各刺激的呈现相关的数字标记和刺激的标签或类别(例如,目标或非目标)。
例如,基于刺激呈现模块110,系统100可包含与刺激呈现模块110通信以向被检者121呈现刺激或一系列的刺激的刺激传输模块120。例如,刺激传输模块120可包含视觉显示器、听觉扬声器和致动器中的至少一个,以提供嗅觉、触觉和/或味觉刺激。在一些实现中,例如,刺激呈现模块110和刺激传输模块120可以被配置于例如诸如计算机或移动通信和/或计算装置的同一装置。
系统100包含用于通过刺激传输模块120在刺激或一系列的刺激的呈现之前、之中和/或之后获取被检者121的生理信号和/或行为信号的生理和/或行为数据获取模块130。例如,生理和/或行为数据获取模块130可包含但不限于脑电图(EEG)系统、心电图(ECG)系统、肌电图(EMG)系统、电化学感测系统以及眼跟踪系统等。在一些实现中,例如,生理和/或行为数据获取模块130可以包括与信号获取装置耦合的生理传感器,例如,EEG、ECG、EMG,电化学或其他类型的传感器装置,该信号获取装置例如为诸如与存储器耦合的模拟或数字放大器。例如,生理和/或行为数据获取模块130可以配置于具有刚性电极的标准EEG系统或使用可配戴于被检者121身上的柔性电子的便携式EEG系统中。例如,生理和/或行为数据获取模块130可配置于具有刚性电极的标准EMG系统或使用可配戴于被检者121身上的柔性电子的便携式EMG系统中,该系统能够检测与困倦或面部表情相关的运动。
系统100包含用于接收获取的生理信号和/或行为信号作为数据并且在一些实现中在获取的数据上执行预处理分析技术的分析预处理模块140。例如,分析预处理模块140可实现为识别生理数据(例如,EEG数据)中的示例性开始标记、将生理数据分段、过滤原始信号以增加信号噪声等。在一些实现中,例如,分析预处理模块140可体现于与示例性装置通信的计算机装置或体现生理和/或行为数据获取模块130的系统中。在一些实现中,例如,分析预处理模块140可配置于体现生理和/或行为数据获取模块130的同一示例性装置或系统中。
系统100包括用于处理生理和/或行为数据以提供被检者121的认知或感觉评价或者在一些例子提供组的认知或感觉评价的简档产生模块150。例如,简档产生模块150处理生理和/或行为数据以产生包含与所选择的简档类别相关的一个或更多个定量值的信息集152,例如,诸如知识评价或清醒简档的状态。例如,信息集152提供不止生理和神经生理事件的测量。例如,简档可以提供某人(或组)的具体问题的知识水平(例如,确定给定人关于特定主题、事件、掌握的技能或者甚至偏好的知识)和/或者有意识(或无意识的)清醒度状态的个体(或组)评价。
图1B表示的用于产生与例如通过简档产生模块150实现的认知和/或感觉简档相关的信息集的示例性方法170的处理图。方法170可包括基于呈现的刺激和所选择的简档类别识别与生理信号和/或行为信号相关的时间间隔。例如,时间间隔可包含邻接、断开、连续、离散或单个时间点。方法170可包含将与时间间隔对应的数据(例如,生理和/或行为)组成为一个或更多个分组数据集的处理172。例如,处理172可包含基于单个刺激的预先分配的类别和/或连续刺激的结合关系将生理和/或行为数据分组。方法170可包含提供跨着分组数据集的或者分组数据集内的关系的统计测量以产生所选择的简档类别的一个或更多个定量值的处理173。在一些实现中,例如,方法170可包含增强分组数据集中的生理和/或行为数据的信号的处理。
图1C表示用于通过使用例如通过简档产生模块150实现的先前个体和/或组信息产生与认知和/或感觉简档相关的信息集的示例性方法180的处理图。方法180可包括基于呈现的刺激和所选择的简档类别识别与生理信号和/或行为信号相关的时间间隔。方法180可包含将与时间间隔对应的数据(例如,生理和/或行为)组成为一个或更多个分组数据集的处理182。例如,处理182可包含基于单个刺激的预先分配的类别和/或连续刺激的结合关系将生理和/或行为数据分组。方法180可包含通过使用从被检者和/或其它被检者(包含一个或更多个组)获取的先前生理数据和/或行为数据提供跨着分组数据集的或者分组数据集内的关系的统计测量以产生所选择的简档类别的一个或更多个定量值的处理182。
图1D表示用于通过使用例如通过简档产生模块150实现的引导分类技术产生与认知和/或感觉简档相关的信息集的示例性方法190的处理图。方法190可包括基于呈现的刺激和所选择的简档类别识别与生理信号和/或行为信号相关的时间间隔。方法190可包含将与时间间隔对应的数据(例如,生理和/或行为)组成为一个或更多个初始分组数据集的处理192。方法190可包含通过使用包含初始分组数据集的统计测试将向被检者呈现的一系列的刺激的各刺激分类的处理193。方法190可包含基于分类的刺激将与时间间隔对应的生理和/或行为数据重新分组为一个或更多个分组数据集的处理194。方法190可包含提供跨着分组数据集的或者分组数据集内的关系的统计测量以产生所选择的简档类别的一个或更多个定量值的处理195。
在一些例子中,简档产生模块150可通过语境特定参数实现引导分类算法,以从例如包含但不限于基于ANOVA的技术151a、基于支持矢量机器的技术151b和最小描述长度技术151c等的各种分类和统计方法引导和选择。在一些实现中,简档产生模块150可体现于包含一个或更多个远程计算处理装置(例如,云中的服务器)的计算机系统或通信网络(称为“云”)上。
系统100包含大脑-机器界面模块160,以提炼产生的认知和/或感觉简档并且/或者开动用户与机器之间的交互作用。在一个例子中,大脑-机器界面模块160可基于从简档产生模块150产生、例如从系统100的正在进行的实现或者通过系统100先前产生的简档产生的个体被检者或组被检者的认知和/或感觉简档向刺激呈现模块110提供新刺激或多个刺激的反馈传输。例如,大脑-机器界面模块160可适应性地改变或设计最佳地从被分析处理的被检者提取信息的刺激范例,以使希望的目的最大化。例如,大脑-机器界面模块160的一些实现可包含但不限于辅助学习和目标检测应用。
在系统100的一些实现中,简档产生模块150、刺激呈现模块110、刺激传输模块120和大脑-机器界面模块160(在一些情况下,以及数据获取模块130)可体现于例如为桌上型计算机、膝上型计算机或包含智能电话或平板电脑的移动通信装置的单个计算装置中。在其它的构成中,模块150、110、120和160可被配置于相互通信并且包含模块150、110、120和160的各种组合的两个或更多计算装置中。
在一些实现中,系统100可被配置为仅包含生理和/或行为数据获取模块130和简档产生模块150。在这些示例性实现中,系统100可使用当前在被检者周围中可用的环境刺激(例如,光、声音、气味、味道和/或触觉接触)。在这种例子中,例如,在模块130被配置为通过装置的输入从被检者接收行为响应并且/或者记录生理数据的情况下,系统100可体现于单个计算装置上。
公开的方法和系统的示例性实现
描述用于提供被检者的认知和/或感觉评价的公开方法和系统的示例性实现,该评价例如包含以下的简档类别中的至少一个:认知性能简档、感觉性能简档、认知和感觉性能简档和/或清醒简档的状态。描述的示例性实施例包括通过使用各种刺激和听觉刺激引出和提取通过EEG记录测量的各种大脑EPR(例如,N400和P300)以产生提供与认知性能、感觉性能和/或清醒度状态简档对应的定量值的信息集。在公开的方法和系统的一些例子中,除了示例性的EEG记录生理数据以外或者作为其替代,可以使用眼睛跟踪数据。
例如,在记录来自被检者的EEG信号的同时呈现特定的刺激集,以引出事件有关关注电势以及相关神经频率振荡。在示例性实现中使用的示例性ERP包含但不限于N400和P300以及由我们关于奖励的感觉/概念的认知处理识别的ERP响应。如后面的部分所述,公开的方法和系统的示例性应用使用这三种ERP作为解释性的例子,以描述可如何实现示例性方法,例如,刺激设计和呈现、生理信号(例如,EEG)记录、生理数据(例如,ERP)分析和认知和/或感觉简档产生(例如,包含推断的认知和/或清醒度状态)。在一个例子中,通过使用视觉和/或听觉刺激对于N400测量实现示例性的认知和/或感觉简档产生方法的应用。在另一例子中,通过使用视觉和/或听觉刺激,对于P300测量以及与体验“奖励”相关的ERP,实现示例性的认知和/或感觉简档产生方法的应用。另外,通过使用例如包含非便携常规系统和可配戴电子系统的不同EEG记录技术实现示例性的认知和/或感觉简档产生方法的应用。并且,示例性的认知和/或感觉简档产生方法被应用于一组人(例如,如N400示例性实现所示)以及单个个体(例如,如P300示例性实现所示)。公开的认知和/或感觉简档产生方法和系统可被用于测量大脑标记,但是,此外,它将该信息评价和翻译成创建个体知识评价和/或清醒简档的状态的新类型的有目的的数据。并且,在一些实现中,例如,公开的方法和系统可使用该简档以引导大脑-机器界面系统。
还描述通过特定的任务及其底层的心理和生理机制引导各特征调制的图案分类器(例如,例如通过使用软件在计算机系统在实现的算法)。这些示例性分类器类可使用可识别的认知和生理参数以构建分类方法中的相关特征以从神经信号推断大脑状态。例如,示例性分类器可作为提供刺激、获取神经信号并重复的序列处理的一部分被应用于大脑读取应用中。如何提供这些刺激的细节(例如,语境)可影响认知状态,该认知状态又影响获取的信号的统计。可通过语境引导示例性分类器,因此,在该语境中,可调制特征。
I.N400
在超过30岁的人身上发现的N400被识别为用于处理诸如词语、图片、符号等的感觉项目之间的有意义的关系的标记。给予这种类型的大脑波的标记“N400”是由于它是峰值处于项目开始之后约400毫秒的负行进偏移。N400振幅对共享接近语义关联的项目比对不共享接近语义关联的项目更小(例如,对于跟随“猫”的“狗”比跟随“桌子”的“狗”小)。如后面描述的那样,公开的方法可被应用以引出和提取N400ERP(例如,通过听觉刺激、视觉刺激、两者或其它刺激媒介,包含但不限于嗅觉、触觉或味觉)并被用于随后推断认知相关信息。
I.1通过视觉刺激范例的N400
I.1.1示例性刺激
在一个示例性实现中,被检查的是37个成年被检者对八个类别的图像(例如,包括动物身体、动物的脸、人脸、猴子脸、水果、家用物品、实验对象和场所)的大脑响应。例如,每个类别使用18个刺激标本(例如,图像),总共144个标本。图像被分成12个呈现块,并且,向各被检者呈现6个随机选择的块。从各种资源获得图像的池,并且,通过使用照片编辑软件剪切图像并且将其放在测量356×356像素的白色背景上(在到显示器为57厘米的距离上,为13.18°×13.18°的视角)。刺激被放置到1024×768像素的分辨率的全屏幕、黑色的监视器背景上。
通过使用Weber对比度式对亮度控制所有刺激,其中,Lc和Lb代表内容和白色背景的亮度值。计算机实现的处理使用(例如,通过使用MATLAB脚本被编程)上述的公式并且当与白色背景比较时将内容的亮度调整到50%对比度。例如,处理首先使内容与其白色背景分离。在本例子中,使用两个准则以确定像素是否会被识别为背景的一部分:首先,所有背景像素需要具有等于255的RGB值(例如,8位灰度级图像的最大值);其次,所有背景像素需要直接与已识别的背景像素相邻。没有被识别为背景的所有剩余的像素被视为内容。为了实现50%对比度,处理然后计算内容的平均亮度并且通过对于每个内容像素任意地添加或减小RGB值调整其值。
在亮度控制之后,使用另一计算机实现的处理(例如,通过使用MATLAB脚本被编程)以在各刺激标本上放置中心定位的固定点。例如,这有助于被检者保持固定并且使任何频繁的眼睛扫视最小化。该示例性处理首先测量上载的图像的尺寸。它使用这些测量以计算图像的中心并且通过使用圆的标准方程频繁产生固定点。通过将像素的红枪变为255、将绿枪变为0并将蓝枪变为0,修改中心周围7像素长度半径内的像素。
最后,使用两种示例性方法以创建固定点和蓝色正方形刺激。例如,对于固定点,使用另一计算机实现的处理(例如,通过使用MATLAB脚本被编程)以创建具有350像素的高度和宽度的黑色背景图像(例如,红枪等于0;绿枪等于0;蓝枪等于0)。然后,示例性脚本通过使用圆的标准方程运行嵌入的for循环,以例如通过将像素的红枪变为255、将绿枪变为0并将蓝枪变为0,将7像素长度半径内的像素变为红色。例如,对于蓝色正方形刺激,使用成像软件以创建157×157像素尺寸的图像,例如,其红枪等于0、绿枪等于0、蓝枪等于0。
I.1.2用于EEG记录的被检者准备
为了对于EEG记录使示例性被检者做准备,各被检者坐在记录室内的椅子中以开始EEG戴帽处理。例如,该处理包括在被检者的头上放置常规的EEG帽子并且用弹性下巴带子固定它。在一些例子中,基于被检者的头的估计尺寸,任意地使用56cm或58cm直径帽子。然后,在帽子的电极中的每一个下面通过使用弯曲的塑料注射器注入Signa电极凝胶(例如,来自Parker实验室)以在电极自身与被检者的头皮之间创建导电桥。并且,例如,为了通过降低阻抗构建更强的导电性,使用木制的Q尖端以按摩凝胶。例如,使用该技术对于各电极将阻抗水平降低到<5kΩ,例如,包含接地和基准。在开始使用EEG记录的示例性实现之前,被检者坐在呈现监视器前面并且被要求在实验的整个持续期间在红色中心固定点上保持视觉固定并且尽可能地限制其运动以防止神经生理数据中的运动伪像。然后,记录室的灯变暗,并且,开始刺激处理和EEG记录。
I.1.3示例性刺激呈现处理
在本示例性刺激呈现处理中使用的示例性刺激呈现范例通过使用Cogent 2000被编程,例如,该Cogent 2000为对呈现刺激并且通过精确的定时记录响应设计的MATLAB工具箱。示例性刺激呈现结构包含例如每个呈现块串行表示(每个标本25次重复)的300个伪随机呈现图像。例如,每图像被呈现750ms,随后是750ms~1000ms的随机抖动的刺激间间隔(ISI)。例如,为了帮助被检者保持固定,红色中心固定点在各刺激呈现和ISI的过程中存在。为了标记各刺激开始,通过并行的端口从运行示例性刺激呈现范例的呈现计算机发送两个触发器。例如,第一个被发送到EEG记录计算机以相对于正在进行的神经生理记录标记刺激开始。例如,第二个被发送到ISCAN眼睛跟踪计算机(例如,ISCAN ETL-200)以相对于眼睛跟踪记录标记刺激开始、其整个持续期及其偏移。每个触发器将关于手边刺激属于的对象类别的信息编码。例如,在每4到6次尝试之后,向被检者呈现蓝色正方形1500ms。在该点上,不显示固定点。例如,在被检者为人的情况下,该蓝色正方形被信令“mini-recess/Reward”,其中,指示被检者他们做得很好并且被允许暂时休息、挠痒、调整他们的坐姿等,如果他们希望的话。在非人类灵长类动物(NHP)被检体的情况下,该蓝色正方形信令果汁奖励。在蓝色正方形偏移之后,固定点会返回并且在开始下一刺激呈现之前保持750ms。例如,该短中止被用于确保来自固定点的开始的刺激不会干扰来自随后的图像标本的刺激。
通过例如通过使用MATLAB的“randperm()函数”随机置换300个图像的呈现顺序,开始刺激呈现处理的示例性代码。然后,它通过使用“randi( )函数”对各刺激随机计算ISI。然后,显示器、日志文件和并行端口被初始化和配置。例如包含固定点、蓝色正方形和黑色画面(在每个刺激之后在ISI之中显示)的每个刺激标本被加载到存储器缓冲器。例如,刺激呈现包含循环。首先,通过向下迭代置换的呈现次序,计算要呈现的标本。然后,基于标本的与四个对象类别中的一个的关系,计算的触发器代码并将其发送到EEG记录计算机和ISCAN眼睛跟踪计算机。通过使用Sony Trinitron GDM-C520监视器呈现视觉刺激。
图2表示呈现的视觉刺激的示例性次序的示图。该示图给出特定的呈现的标本的图像和呈现的预先编程的伪随机次序。对于关注的各感觉和认知简档具有适当的刺激呈现结构是公开的方法的固有和重要部分。在本例子中,相关的方面是各图像属于什么概念类别(Cat),例如,诸如,Cat“O”-对象;Cat“AB”-动物身体;Cat“AF”-动物的脸;Cat“HF”-人脸。示例性刺激呈现结构可被配置为包含给定类别的重复(例如,A A)以及类别的随后的变化(例如,B),这是后面在本专利文件中描述的刺激呈现结构和随后分析技术的主要特征。
I.1.4示例性大脑波(EEG)记录
在一些实现中,使用具有刚性电极的常规的EEG系统以获取大脑波。示例性EEG系统包含BrainAmp DC 32-信道系统;BrainVision Recorder;Fast n Easy 32-信道EEG记录帽子尺寸56;Fast n Easy 32-信道EEG记录帽子尺寸58;具有5k电阻器的PCB RibbonCable for BrainCap-MR;和BrainCap MR Box 1.2。
I.1.5示例性预处理分析技术
使用视觉刺激范例的公开方法的示例性分析预处理技术可包括用于处理标记数据的技术。例如,在各记录对话之后,示例性EEG记录系统产生三个文件:数据文件(.eeg)、标题文件(.vhdr)和标记文件(.vmrk)。标记文件包含各刺激开始的事件触发器。对于作为人的被检者,例如,各对象类别通过以下的标记代码被标记:实现一-动物身体=“S1”、水果=“S2”、人脸=“S3”、家庭对象=“S4”;实现二-动物的脸=“S1”、猕猴的脸=“S2”、位置=“S3”、实验室有关对象=“S4”。对于NHP被检者,例如,各类别通过以下的标记代码被标记:NGP实现一-动物身体=“S1”、水果=“S2”、猕猴的脸=“S3”、实验室有关对象=“S4”;NHP实现二-动物的脸=“S1”、人脸=“S2”、位置=“S3”、家庭对象=“S4”。分析预处理技术包括用于在标记文件中加载并且检查呈现范例的第一时间的第一处理(例如,通过使用MATLAB脚本被编程)。这些尝试通过“A1”格式被重新编码。例如,第一呈现的人脸标本被重新编码为[A1humanface]。然后,由于图像被伪随机呈现,因此通过使用用于搜索存在对象类别的重复并且在重复之后是对象类别的改变的情况的第二处理(例如,通过使用MATLAB脚本被编程),检查通过EEG记录系统产生的标记文件。例如,可能的N400尝试可以为[fruit;fruit;human face]。这些情况通过使用A、AA、B格式(例如,“A”和“AA”代表来自同一类别的标本,“B”代表来自不同的类别的标本)的示例性MATLAB脚本被重新编码。为了继续上述的例子,[fruit;fruit;human face]会被重新编码为[Afruit;AAfruit;Bhumanface]。然后,实现第三处理(例如,通过使用MATLAB脚本被编程),以找到不存在类别的重复的实例。例如,可能的情况可以是[fruit;human face;animal body]。这些特定的实例会通过使用C、D、E格式(例如,“C”、“D”和“E”分别代表不同的对象类别)的MATLAB脚本被重新编码。在该示例性情况下,[fruit;human face;animal body]会被重新编码为[Cfruit;D;human face;Eanimal body]。
在使用眼睛跟踪数据的例子中,公开的方法的示例性分析预处理技术可包括用于存储和处理眼睛数据的技术。在这些例子中,在各记录对话之后,各被检者眼睛跟踪数据可被保存为ASCII.tda文件。可首先通过分别通过使用代码“100”和“101”标记各刺激的开始和偏移的计算机实现处理(例如,通过使用MATLAB脚本被编程)处理这些数据文件。随后,眼睛跟踪数据文件可被加载到ILAB中,该ILAB例如是用于实验后眼睛运动分析的[MATLAB工具箱]程序。对于各数据文件,例如,可通过关联ISCAN眼睛跟踪照相机的分辨率坐标与呈现监视器的分辨率坐标校准定位数据值。然后,可输入呈现监视器参数,例如,将监视器与被检者之间的距离设定为57cm、将监视器宽度设定为46.64cm并且将监视器高度设定为30.48cm。可通过在ILAB内执行凝视保持检查,计算各被检者的眼睛固定性能。例如,可首先通过使用以红色固定点为中心的5°×5°(视觉角度)正方形窗口,设定关注区域(ROI)。使用该ROI,需要对于总图像呈现的至少75%在刺激的整个持续期(例如,750ms)内使被检者保持固定于该窗口内。在一些例子中,可从示例性EEG/ERP分析排除不能在该性能水平或者更高水平上表现的被检者。凝视保持功能可包含以下的步骤,例如,(1)对于刺激的整个持续期需要固定;(2)选择以中心固定点为中心的关注区域;(3)向处理单元(例如,包含MATLAB工作空间)输出凝视保持结果以计算被检者的精度百分比。
公开的方法的示例性分析预处理技术包括用于一般组统计分析的技术。在这里描述的示例性实现中,对于统计分析使用MATLAB和Statsoft Statistica(版本8.0)软件的组合。在数据处理和分析之后,示例性EEG记录系统的BrainVisonAnalyzer输出包含关于条件、被检者、尝试、电极信道、峰值反应时间段、峰值电压和平均电压振幅的数据值的文本文件。输出的文本文件被加载到计算机实现程序(例如,MATLAB程序)中从而以更可访问的格式从而以更可访问的格式分类和组织数据。具体而言,例如,示例性计算机实现程序例如通过使用MATLAB的变量编辑器允许更容易地通过列选择数据。在选择之后,数据被复制和粘贴到Statistica数据表中。在一些实现中,例如,跨着被检者并且跨着各种类的对象类别比较AA对B、AA对D和B对D的效果,在各电子表上执行重复的测量ANOVA。对于作为人的被检者,各电子表是以下特有的:例如,(1)实验:实验1、实验2或组合的实验1和2(使用来自实验1和2的被检者的总数);和(2)电极信道:F3、Fz、F4、P7、P8、Fp1、Fp2、Tp10、F3+Fz+F4(电极池)、P7+P8(电极池)、或Fp1+Fp2(电极池)。类似地,对于NHP被检者,例如,各电子表是以下特有的:例如,(1)实验:实验1、实验2、或组合的实验1和2(使用来自实验1和2的被检者的总数);和(2)电极信道:Cz、F1、FT3、O1、O2、Pz、Cz+Pz(电极池)、Cz+Pz+O1+O2(电极池)、O1+O2(电极池)。例如,对于单电极信道分析,执行单向(因子1:条件)重复测量ANOVA。例如,对于池化电极分析,执行双向重复测量(因子1:条件;因子2:电极信道)ANOVA。被检者数量被用作两个被检者池的分类预测器。在正面和顶电极中的N400/N300ERP效果(例如,在276与376ms之间)中反映的语义启动和违规条件(例如,“AA”、“D”和“B”)的统计分析揭示了以下的示例性结果。电极(Fz)“AA对B”产生F(1、4175)=4.4527和0.0349的P值;“AA对D”产生F(1,4018)=6.8894和0.0087的P值;电极(P7和P8)“AA对B”产生F(1,4175)=11.669和0.00064的P值;“AA对D”产生F(1,4018)=13.297和0.00027的P值。
例如,公开的方法可在刺激呈现之前、之中和之后“被动”获取和分析被检者的生理数据(例如,包含神经生理数据)。可通过与引出N400 ERP的常规方法不同的方式实现公开的方法,诸如使用“操作”范例(例如,使被检者执行主动区分和行为响应的操作范例)的方式。例如,在通过使用公开的方法从被检者获取生理信号数据时,被检者不需要提供任何明显的行为响应-他/她可做的仅是被动地观看呈现(显示)画面。例如,基于不同的大脑标记(例如,在这种情况下,N400/N300视觉ERP)的振幅的隐含调制,公开的方法可推断被检者如何关联不同的呈现刺激并且在它们之间建立概念类别。具体而言,公开的方法的实现可确定被检者如何关联或者区分序列中的不同刺激。
图3表示提供来自组统计分析的示例性结果的数据图,该组统计分析表示使用例如诸如图2的视觉刺激呈现的视觉刺激的概念类别变化之间的区分的大脑图案。在图3中,曲线301和302示出分别来自与概念/语言类别的变化有关的正面和顶部信道(例如,分别为头皮中的前部和后部解剖局部化)的大脑波形(例如,ERP)。
在图3所示的例子中,如果从被检者的观点(例如,知识)看出图像处于与先前呈现的一个相同的类别中,那么对于该第二图像(A)的大脑波响应将呈现比第一前图像(D)更低的振幅-这是称为“语义起动”的现象。但是,如果被检者然后觉察到以下的刺激属于与前面呈现的一个不同的类别,那么得到的大脑波(B)将重新具有较高的振幅(例如,“语义违反”)。图3的曲线301和302中的箭头指示大脑波中的关注效果。这允许我们探测和解释或推断其关于呈现的刺激的知识和/或理解的水平。借助于公开方法以分析处理成感觉和/或认知简档,例如,诸如个体化的知识评价简档(IKEP),刺激(例如,以普遍存在的方式依次存在的刺激)的特定呈现有利于起动和分类变化,这可引出单独的特定的大脑标记,然后可从该大脑标记提取可然后被转变的数据。
I.1.6示例性处理和引导分类技术(例如,通过语境特定参数)
示例性实现包含通过使用分类方法的框架实现用于关联个体被检者的大脑信号与认知状态的处理技术,这些分类方法使用个体被检者的获取的生理信号(例如,来自EEG记录的神经信号),以提供关于被检者的概念知识(例如,认知和/或感觉性能)和/或状态的例如包含统计信息的信息集。这些示例性处理技术也可被应用以执行组分析以识别概念知识,不仅仅在组的基础上,而且在逐个被检者的基础上。提供该组分析可有益于识别个体如何分类信息,例如,明确地识别或利用个体差异。
例如,公开的方法可被用于通过有意提供关于被探测的特定知识有时在语境上全等且有时在概念上不全等的刺激的序列表征被检者对主题的熟悉程度。基于被检者的测量和分析的大脑响应,方法可向可在特定的认知和/或感觉简档类别(诸如个体知识评价简档)中表达的操作员或者向集成输出(信息集)与大脑-机器界面(BMI)以向个体提供随后的反馈的公开技术的另一处理开发“熟悉程度”输出。
以下描述的公开的利用视觉刺激范例的处理和引导分类技术的示例性实现通过使用与在在逐个被检者的基础上示出概念知识评价的前面的部分中描述的数据集相同的数据集提供例子。
例如,在示例性视觉数据集中使用的独立变量的描述包含:
·被检者数量s,为1~28
·信道数量e,为1~31
·条件c,为1~2(对于没有类别变化,为1=“AA”,对于类别变化,为2=“B”)
·尝试数量k,为1~120
·间隔内的关注时间点t,为1~T。
o例如,使间隔为[352ms,452ms]。采样率为250Hz。然后,T=(0.452-0.352)×250=25
因此,y[s,e,c,k,t]是代表EEG电压的实数。对于任何被检者,将s固定于常数。出于本部分中的示例性分析的目的,还将电极位置e固定于常数。因而,用于本部分中的进一步分析的开始点是y[c,k,t],它是代表EEG电压的实数。
I.1.6.1通过训练数据的监督分类器
在研究个体自身如何组织和分类例如为思想或概念的不同的项目时,例子使用监督分类器。当在完全有意识和清醒的个体上操作时,首先在个体上“训练”监督分类器,从而应对其特有的任何自然可变性。如上面解释的那样,通过首先向被检者提供一组分类全等(AA)和不全等(B)刺激组,执行该训练。这些刺激组被仔细构建,使得它们明确地对于所有的参与方任意地属于AA或B。
一旦分类器被充分训练,就呈现一组新的未标识刺激组。根据各被检者的大脑分类信息,这些刺激代表会引出不同的大脑分类的输入。各个体具有基于包括例如教育水平、种族背景、偏好、创造力等的各种各样的因素将这些组视为全等或不全等的可能性。正是这种非常丰富的可变性空间可通过使用公开的方法被利用和量化,从而深刻地洞察个体的大脑如何将信息分类。
监督分类器的示例性实现过程
为了开发用于分类的一些关注特征,固定条件“c”和时间点“t”以在所有尝试“k”上计算y[c,k,t]的平均和标准偏差。以下表示对于特定时间点“t”产生尝试平均的示例性方法。例如,除了它不是在被检者上平均-它是个体被检者特有的,这与如何产生事件有关电势图类似。
图4表示在垂直轴上表示的三维示图401,该三维示图401表示代表跨着多个尝试收集的350ms~450ms的时间窗口的一个轴上的EEG数据。时间点y[c,k,t]的EEG在所有的尝试k上被平均以产生350ms~450ms间隔内的时间点t的条件c的y[c,k]平均电压。
实现类似的计算以对固定的c和t确定尝试k上的y[c,k,t]的标准偏差。对于两个个体信道(例如,FP1(信道1)和FP2(信道2)),在图5A和图5B中表示平均和方差的最基本特征如何与条件“B”相比随条件“AA”共同变化。例如,各蓝色和绿色圆代表特定时间点“c”的“平均,std”特征。蓝色代表条件“AA”且绿色代表条件“B”。
图5A表示在两个不同的刺激条件即“AA”和“B”下来自FP1(信道1)电极的个体被检者(例如,被检者10)的平均和标准偏差的特征图。图5B表示在两个示例性不同刺激条件即“AA”和“B”下来自FP2(信道2)电极的个体被检者(例如,被检者10)的平均和标准偏差的特征图。如图5A和图5B的曲线所示,特征表明群集,该群集可导致具有高精度的分类方法。例如,对于信道FP1和FP2,具有5倍的交叉核实的精度均为100%。
例如,注意,对于不同的条件,这些特征在脱节的组中群集。例如,通过使用不同的条件中的上述的示例性特征作为输入,在Matlab统计工具箱中实现具有Gaussian核心的支持矢量机。例如,通过使用5倍交叉核实,计算分类百分比:
将数据集分成1/5-测试和4/5训练,
旋转试验集,直到在所有的数据上测试
将分类取平均。
分类器的示例性精度控制
在以下描述的示图中的一些中,例如,跨着多个被检者和信道,表示支持矢量机的性能的示例性概括统计。在各图中,x轴表示不同的信道,y轴表示跨着不同的被检者改变的该信道的盒形图。示例性分类过程使用来自个体被检者的示例性获取神经数据,例如,其中,跨着多个被检者和多个信道,在性能的示例性概括统计中代表分析数据。在各图中,各盒形图代表数据点的五号摘要。例如,该盒的底部和顶部总是25%和75%(分别为下和上四分位数);靠近盒的中间的带总是50%(中位数);“whiskers”表示低于和高于数据的平均值的一个标准偏差;红色“+”标记代表异常值。低于各盒形图的是提供中间精度的采样表。
图6表示示出示例性实现中的视觉刺激范例的被检者监督分类器的性能的示图和相应的表格。对于各个体信道(例如,曲线的列),关于分类器对于各被检者如何表现提供概括统计信息。图6的盒形图按电极位置表示代表5倍交叉核实之后的分类器精度的示例性结果。图6的表格列出当使用示例性FP1、FP2、P7或P8电极时跨着被检者的中间精度。
注意,例如,可在许多应用中使用的前面电极FP1和FP2展示极高的分类精度,并且,它具有来自MATLAB的最简单的可能的特征和核心。在其它的例子中,更复杂的方法可跨着更大范围的被检者提供更高的分类精度。
示例性认知和/或感觉简档:个体知识评价简档(IKEP)
在如上面描述的那样向被检者提供刺激、从被检者获取生理数据并且确定统计信息之后,示例性技术中的下一步骤包括创建个体知识和/或清醒度状态的简档。图7表示示出用于提供个体化知识和/或清醒简档的引导分类算法和它们的随后的概括统计的示例性实现的说明图。例如,示例性知识评价和/或清醒简档的状态可提供关于用户对特定刺激的大脑响应的简明概括信息。
在描述的该第一例子中,通过监督分类器在“知识评价”的语境内对被检者10(与前面的例子同样)计算个体简档。具体而言,例如,图5A和图5B所示的用于组B(绿色圆)和组AA(蓝色圆)的特征被识别。
图8表示属于来自被检者110的示例性信道FP2的监督分类器的示例性特性。支持超面(例如,黑实线)用作决定边界。要被测试的任何特征(例如,图8中的红色圆)如果处于边界的一侧则被归类为蓝色(在这种情况,为AA)并且对于另一侧将被归类为绿色(在这种情况上,为B)。到边界的距离“d”可用作在分类中提供统计置信度的代理。到边界的距离越大,则在分类中的置信度越大。
当测试被检者时,构建这些特征。如果关注的特征(在这种情况下,为红色圆)位于决定边界的一侧,那么宣布“AA”,否则,宣布“B”。伴随硬性决定,还规定建议我们对我们的决定多么置信的“软性”信息。红色点与决定边界上的任意点之间的最短距离可用作对于规定IKEP的功能的输入。具体而言,例如,我们可宣布清醒/知识概率=(2-e-d)/2。
例如,如果到边界的距离为0,那么区分概率为1/2,即,机会(例如,被检者不具有区分两个测试条件之间的特征的可靠知识,或者,换句话说,被检者不能相互区分项目)。另一方面,例如,如果到边界的距离非常大,那么知识概率如期望的那样趋于1(例如,被检者清醒呈现的类别中的每一个以及如何区分它们)。因而,示例性统计信号处理框架可另外提供软性决定,例如:Psc=P(同一类别)=0.8,Pdc=P(不同类别=0.2)。
因此,对于本例子,使用与前面描述的相同的视觉呈现数据集,示例性IKEP可被决定如下。如图8那样使用示例性被检者(被检者10),假定我们用蓝色和绿色标签训练分类器,并且,现在获得用于红色点的特征并且我们会愿意将它归类为“AA”或“B”。注意,红色圆的特征是有序对(例如,0.75,12)。到边界的最接近点为(0,11)。因而,在本例子中,这两个点之间的距离为1.25并且该被检者(例如,被检者10)的随后的IKEP为(2-e-1.25)/2=85.67%。图9表示示例性被检者10的个体知识评价简档的该示例性定量数据的示图。
I.1.6.2通过可能性比率测试的示例性无监督分类器
在使用“无监督”分类器的例子中,技术不使用任何训练数据以训练分类器。而是,分类器计入一批数据并然后关于大脑以相同的方式或以不同的方式分类来自不同的刺激的信息的可能性作出决定。这里,我们有意向被检者提供具有已知的响应的刺激,例如,假定他/她知道。
无监督分类器的示例性实现过程
在本例子中,我们首先在k上将(y[c,k,t]:k=1,…,K)取平均以产生y[c,t]。测试的核心假设如下:
·H0(零):y[1,t]和y[2,t](属于AA和B)的统计相同。
·H1(替代):y[1,t]和y[2,t](属于AA和B)的统计不相同。
对于示例性刺激范例,假定y[1,t]-y[2,t]是高斯。因此,在零假设下,该差值具有0个平均和未知方差。在替代性假设下,差值具有非零的平均和未知方差(未必是与H0下相同的方差)。
例如,由于H0下的方差和H1下的平均方差未知,因此,存在复合假设测试问题,例如,在每个假设下存在许多分布。
示例性实现包含通过不同的假设以不同的方式实现属于复合假设测试的一组无监督分类器,这些无监督分类器在理论上是声音。首先,开发试验统计,该试验统计是观察数据的函数。从该试验统计,计算或者估计p值,将该值与例如为0.05的阈值相比较。在本例子中,如果它超过0.05,那么零假设被接受;否则,零假设被拒绝。
试验统计。一般地,收集的是差值(d[t]=y[1,t]-y[2,t]:t=1:T)并且开发的是试验统计u=g(d),该试验统计是观察数据的函数并且在替代性假定下比在零假设下大。可构建的试验统计的类型的例子如下。
T.A:具有归一化的最大可能性(NML)的记录可能性比率估计P0和P1。例如,我们将P0(0平均未知方差)和P1(非零平均未知方差)下的分布建模。归一化最大可能性过程产生属于各假设的一个统计定律,该统计定律关于复合假设中的一个下的所有可能的分布在最坏的情况下的性能尽可能地好。例如,在H0下,平均是未知的,因此,它组合0平均和未知方差的所有正态分布的统计定律,以产生对于该类中的所有分布尽可能地具有预测能力的一个统计定律。类似地,对于H1开发估计,这里,使用平均和方差。试验统计g(d)由下式给出:
g(d)=2cS27(v),,这里,
T.B:基于估计平均和方差的标准统计方法,诸如对于ANOVA的F分数。
P值:在计算试验统计之后,在零假定下计算观察至少如观察到的那样极端的试验统计的可能性。由于零假设具有未知的方差,因此存在复合假设测试问题并且不存在一种特定的自然方式以计算p值。我们开发多个方式以估计p值:
P.A:假定具有从数据估计的方差的正态分布,执行参数过程以通过使用P0的估计评价概率表达:
P.A.1:如果试验统计的分布H0下的g(d)在闭合的形式中是已知的(例如,对于t、Z、F、ANOVA试验),那么我们可直接计算或者使用Matlab中的检查表。
P.A.2:如果使用更复杂的试验统计(例如,诸如归一化可能性比率),那么我们实现Monte Carlo过程以估计可能性。产生大量的独立的相同分布的采样d[1]…d[N],这些采样是通过从数据估计的0平均和方差在正态分布下绘制的。计数g(d[i])>超过试验统计的时间的分数
P.B:执行非参数引导过程。产生作为y′的随机排列的N iid个采样d[1]…d[N];使得,在“一定的意义上”,g(d[i])在H0下根据g(d)被绘制。计数g(d[i])>t的时间分数。图10示出当对于两个实验条件具有两个数据集(每个具有n个尝试)时执行的非参数统计试验。(1)收集单个集中的两个实验条件(A和B)的n个尝试。(2)随机绘制如在条件A中存在的尝试那样多的来自该“组合”数据集的尝试(n个尝试)并且将这些尝试放在子集1中。然后将剩余的尝试(n个尝试)放在子集2中。该过程可通过随机部分被调用。(3)在该随机部分上计算试验统计。为了计算试验统计,分别在关注的时间期间跨着子集1和2的所有尝试将波形取平均。从子集2的平均波形减去子集1的平均波形,并且,然后计算试验统计作为所有差值的合计。(4)重复步骤2和3例如大量的次数,并且构建试验统计的直方图。(5)从从我们的原始数据集(没有随机排列)实际观察的试验统计以及步骤4中的直方图,计算导致比观察的大的试验统计的随机部分的比例。该比例被称为p值。
图10表示用于估计与规定来自类A的数据和来自类B的数据是否来自相同的统计分布有关的假设试验的p值的非参数过程的示图。类A和B的尝试被随机排列以产生从零假设绘制的试验统计。从中形成可执行p值评价的直方图。
例如,当计算p值时,如果它低于0.05,那么零假设被拒绝;否则它被接受。在示例性实现中,由于所有的被检者是清醒的并且呈现的示例性刺激在这些条件下清楚地在语境上不全等、全等或者全等重复,因此在大多数的被检者上零假设应被拒绝。例如,通过量化拒绝零假设的被检者和电极的数量,该示例性方法的性能被表征如下。
示例性结果
对于向被检者呈现的示例性刺激范例,在图11~13中表示不同的试验统计的示例性性能和计算p值的方法。图11表示使用视觉刺激的AA-B的示例性rANOVA分析的数据示图和相应的数据表格。图12表示使用视觉刺激的AA-B的示例性NML参数分析的数据示图和相应的数据表格。图13表示使用视觉刺激的AA-B的示例性NML非参数分析的数据示图和相应的数据表格。
在图11~13中,对关注的特定的电极位置,例如,FP1、FP2、P7和P8,提供分类器的p值的盒形图。盒表图提供中值(红色线)、标准偏差(宽度)和异常值信息。跨着各数据图的绿色水平线与为0.05的p值的阈值对应。具有较低的p值的所有被检者由此被正确地分类,并且较高的那些不被正确地分类。伴随各盒形图,还存在在所有的被检者上描述正确分类(具有0.05的p值阈值)的总分数的相应的简明表格。
在图11~13中,术语如下:
·“AA对B”表示d[t]=y[1,t]-y[2,t]:t=1:T,这里,y[1,t]与AA视觉刺激有关,并且y[2,t]与B视觉刺激有关。
·“NML”是在部分T.A.中计算试验统计的归一化最大可能性方法的简写。
·“参数”代表通过执行p值的Monte-Carlo估计估计在部分P.A中描述的p值的参数方法,这里,对于试验统计的输入根据具有从采样估计的平均和方差的正态分布被绘制。
·“非参数”代表估计p值的非参数方法P.B
·“rANOVA”代表使用标准重复测量ANOVA方法即方法P.A.1的试验统计和p值计算范例。
单独地执行这些示例性分析并然后对于包含17个被检者的组数据集将它们平均化。例如,注意,很显然,对于信道FP1和FP2(不是前面并不需要毛发凝胶,因此,可在一些应用中在优选实施例中被利用),这些分类方法均匀地在80~100%范围中具有精度。这些示例性结果建议仅具有前面电极的系统可引出高性能。公开的方法不需要总是包括获取前面活动。
示例性认知和/或感觉简档:组知识评价简档(GKEP)和个体知识评价简档(IKEP)
利用未监督分类器实施例的该最后的例子并且选择前面电极FP1以示出该简档,方法的示例性实现的最终产物可以是组知识评价简档(GKEP)的形式或者个体知识评价简档(IKEP)的形式。
例如,我们通过使用非参数可能性比率试验(在图13中表示)作为试验类别的区分措施识别任何被检者的p值并且执行100%p值。在单个情况下,对于示例性被检者10,它是99.8%。在组水平上,中间水平为94.1%。在图14中表示这些示例性结果。图14表示个体被检者的个体知识评价简档和基于组的被检者的组知识评价简档的例子的示图。
I.2具有听觉刺激范例的N400
I.2.1示例性刺激
在另一示例性实现中,检查对语言刺激的神经响应,更精确地说,对于英语中的语境全等和不全等的调节响应。例如,Adobe Soundbooth CS5被用于记录来自四个扬声器(例如、两雄两雌)的20词语的列表,每个用于总共80个刺激范例。每位演讲者记录以下的示例性的词语:动作、生日、相机、蜡烛、奶酪、崩溃、危险、死亡、饮料、驱动器、扑灭、食品、礼品、快乐、灯、谋杀、毒药、射击、微笑、美味。又例如,Adobe Soundbooth CS5被用于通过使用以下的步骤在刺激内并且跨着刺激控制:(1)归一化每个刺激(例如,被处理>归一化),(2)均衡每个刺激(例如,被处理>均衡化音量水平),(3)跨着所有激励文件均衡化音量水平(例如,选择所有文件>转到任务>将文件拖至匹配文件>匹配文件>在列表中选择第一个文件)。例如,刺激池的持续时间的范围为380ms~834ms,例如平均为615.675ms。这些示范性的词语然后用来构建90个不同的三词串。
这些示例性90个串均等地分为三种情况:全等(30串)、不全等(30)、和重复全等(30)。在每个串中,前两个词语创建语境。第三个词语要么匹配(全等)要么不匹配(不全等)由前面的两个词语设定的语境。例如,在与重复条件全等的情况下,第三词语通过重复串的第二个词语匹配设定的语境。并且,因为例如存在四个扬声器,因此存在总共有360串范例。在串内,每个对于三个词语中的每一个具有一致的扬声器。然而,扬声器和讲话者的性别可以在串之间切换。并且,例如,只有这些串的子集被用于最终的事件有关电势和统计分析。跨着条件对于词语出现和频率控制该子集。所有其它的串不被用于分析,而是,为了产生各种被检者的感觉,被用作“填料(filler)”。
两个示例性方法被实现为产生固定点和蓝色正方形刺激。对于固定点,例如,使用另一计算机实现的处理(例如,通过使用MATLAB脚本被编程)以创建具有350像素的高度和宽度的黑色背景图像(例如,红枪等于0;绿枪等于0;蓝枪等于0)。然后,示例性脚本通过使用圆的标准方程运行嵌入的for循环,以通过将像素的红枪变为255、将绿枪变为0并将蓝枪变为0,将7像素长度半径内的像素变为红色。例如,对于蓝色正方形刺激,使用成像软件(例如,Adobe Photoshop)以创建157×157像素尺寸的图像,例如,其红枪等于0、绿枪等于0、蓝枪等于0。
I.2.2用于EEG记录的被检者准备
为了对于EEG记录使示例性被检者做准备,各被检者坐在记录室内的椅子中以开始EEG戴帽处理。例如,该处理包括在被检者的头上放置常规的EEG帽子并且用弹性下巴带子固定它。在一些例子中,基于被检者的头的估计尺寸,任意地使用56cm或58cm直径帽子。然后,在帽子的电极中的每一个下面通过使用弯曲的塑料注射器注入Signa电极凝胶(例如,来自Parker实验室)以在电极自身与被检者的头皮之间创建导电桥。并且,例如,为了通过降低阻抗构建更强的导电性,使用木制的Q尖端以按摩凝胶。例如,使用该技术对于各电极将阻抗水平降低到<5kΩ,例如,包含接地和基准。在开始使用EEG记录的示例性实现之前,被检者坐在呈现监视器前面并且被要求在实验的整个持续期间在红色中心固定点上保持视觉固定并且尽可能地限制其运动以防止神经生理数据中的运动伪像。在一些例子中,通过向被检者表示其原始大脑波的在线记录,例如,向他们展示当他们频繁眨眼睛并且/或者咬紧颌部时数据出现什么情况,强调这些点。然后,记录室的灯变暗,并且,开始刺激处理和EEG记录。采取措施以使记录室的窗户完全变黑并且密封其缝隙以防止外面的光进入。
I.2.3示例性刺激呈现处理
在本示例性刺激呈现处理中使用的示例性刺激呈现范例通过使用Cogent 2000被编程。示例性刺激呈现基于扬声器被分成两个块。例如,块1包含总共180个串即雄性扬声器的90个串和雌性扬声器的90串。块2包含另外的180个串即其它雄性扬声器的90个串和其它雌性扬声器的90串。对于每个呈现块,180个串中的每一个仅被呈现一次。在呈现串内的各词语之后,给出1000ms的刺激间间隔(ISI)。在各串之间,给出2500ms的刺激间间隔(ISI),以在各串呈现之间产生明显的破坏。例如,在每6~9个串之后,蓝色正方形被呈现2000ms,该2000ms表示被检者可短暂停顿、休息、擦鼻子等的“最小破坏”。
在刺激呈现之前,处理(例如,在MATLAB脚本中被编程)首先例如通过使用MATLAB的randperm()函数随机排列会呈现串的次序。然后,处理通过使用示例性的randi()函数随机确定蓝色正方形刺激之后会是什么尝试。除了配置显示器、声卡和并行端口以外,记录文件可在Cogent 2000系统内被配置和初始化。例如,该记录文件被用于保持属于刺激的信息,即,其与特定的串的关系。随后,音频和视觉(例如,固定点、蓝色正方形)刺激被加载到存储缓冲器中。为了减少计算负担并增加反应时间段精度,在刺激呈现之前执行上述的步骤。
在具有听觉刺激的示例性实现中使用的示例性刺激呈现处理包含嵌入的for循环。例如,在“外”循环内,随机无替代选择串被确定,并且,在第一词语的开始/串的调用之前,红色中心固定点被呈现1000ms。固定点在整个串的整个呈现过程中被显示并且在第三词语/调用的偏移之后被关断1000ms。例如,在“内”循环内,触发器信息基于串自身被计算并且被发送到EEG记录计算机。以它们在示例性MATLAB矩阵内的位置会提供刺激触发器的必要信息的方式组织串。在“内”循环结束时,呈现范例,并行端口被复位为零,并且,给出尝试间间隔。例如,通过使用Advent Powered Partners AV 570扬声器呈现音频刺激,并且,通过使用Sony Trinitron GDM-C520监视器呈现视觉刺激。
图15表示呈现的听觉刺激的示例性次序的示图。图15的说明图1501和1502描绘这些词语的串的特定的呈现范例的音频波形和光谱图。例如,示图1501所示的呈现的听觉刺激的示例性次序包括包含形成语境“全等”串的“生日”、“礼物”和“快乐”的三个连续英语词语。并且,例如,示图1501所示的呈现的听觉刺激的示例性次序包括包含形成语境“不全等”串的“监狱”、“危险”和“快乐”的三个连续英语词语。在图1501和1502所示的两个例子中,前两个词语建立语境,并且,第三个任意地与全等或不全等的语境相干。在另一次序例子中,也可呈现另一测试条件“全等重复”,其中,串中的第二和第三词语确切相同。
I.2.4示例性大脑波(EEG)记录
在一些实现中,使用具有刚性电极的常规的EEG系统以获取大脑波。示例性EEG系统包含BrainAmp DC 32-信道系统;BrainVision Recorder;Fast n Easy 32-信道EEG记录帽子尺寸56;Fast n Easy 32-信道EEG记录帽子尺寸58;具有5k电阻器的PCB RibbonCable for BrainCap-MR;和BrainCap MR Box 1.2。
I.2.5示例性预处理分析技术
使用听觉刺激范例的公开方法的示例性分析预处理技术可包括用于处理标记数据的技术。例如,在各记录对话之后,示例性EEG记录系统产生三个文件:数据文件(.eeg)、标题文件(.vhdr)和标记文件(.vmrk)。标记文件包含各刺激开始的事件触发器。在这些例子中,由于并行端口内的输出限制,示例性Cogent 2000记录文件被用于保持关于范例与特定串的关系的附加信息。从那里,分析预处理技术包含集成来自记录文件和示例性EEG记录系统标记文件的信息并且修改标记文件内的刺激代码以代表各刺激的以下信息的处理(例如,通过使用MATLAB脚本被编程),这些信息例如为条件(全等、不全等、全等重复)、词语/调用的位置(第1、第2、第3)、讲话者的性别(在英语词语的情况下)和特定词语/调用(例如,“快乐”、“生日”、“咕咕声”、“尖叫”)。例如,全等英语词语串[生日、礼物;快乐]会被重新编码为[C1M_2;C2M_13;C3M_14]。在本例子中,第一数字代表条件(在本例子中,“C”代表全等),第二数字代表串内的位置(第1、第2、第3),第三数字代表讲话者的性别(“M”为雄性,“F”为雌性),下划线后面的数字代表呈现的特定词语(“2”为生日,“13”为礼物,“14”为快乐)。
公开的方法的示例性分析预处理技术包括用于一般组统计分析的技术。在这里描述的示例性实现中,对于统计分析使用MATLAB和Statsoft Statistica(版本8.0)软件的组合。在数据处理和分析之后,示例性EEG记录系统的BrainVisonAnalyzer输出包含关于条件、被检者、尝试、电极信道、峰值反应时间段、峰值电压和平均电压振幅的数据值的文本文件。输出的文本文件被加载到计算机实现程序(例如,MATLAB程序)中以以更可访问的格式分类和组织数据。具体而言,例如,示例性计算机实现程序例如通过使用MATLAB的变量编辑器允许更容易地通过列选择数据。在选择之后,数据被复制和粘贴到Statistica数据表中。在一些实现中,例如,对于英语词语和恒河猴呼叫的各种类比较条件即全等、不全等和全等重复的效果,在各电子表上执行重复测量ANOVA。对于作为人的被检者,例如,各电子表是以下特有的:例如,(1)实验:英语词语或恒河猴呼叫;2)成分:N400或N800;3)电极信道:Cz+Pz(电极池)、Cz+Pz+Cp1+Cp2+P3(电极池)、Cz+Pz+Cp1+Cp2(电极池)或Pz+Cp1+Cp2(电极池)。对于这些示例性池化电极分析,例如,执行双向重复测量(例如,因子1:条件;因子2:电极信道)ANOVA。类似地,对于NHP被检者,各电子表是以下特有的:例如,(1)实验:英语词语或恒河猴呼叫;2)成分:N400或N800;3)电极信道:Cz+Pz(电极池)、Cz+Pz+P(电极池)、Cz+Pz+P1+Tp3+C1(电极池)、O1+O2(电极池)。对于这些示例性池化电极分析,例如,执行双向重复测量(因子1:条件;因子2:电极信道)ANOVA。
在一些例子中,在抑制上还分析/观看的是跨着条件的第一和第三位置词语/呼叫之间的效果。对于作为人的被检者,例如,各电子表是以下特有的:例如,(1)实验:英语词语或恒河猴呼叫;2)成分:N1、P2、N400或N800;3)电极信道:Cz或Cz+Pz(电极池)。类似地,对于NHP被检者,例如,各电子表是以下特有的:例如,(1)实验:英语词语或恒河猴呼叫;2)成分:N1、P2、N400或N800;3)电极信道:Cz或Cz+Pz(电极池)。对于单电极分析,例如,执行双向重复测量(因子1:条件;因子2:条件)ANOVA。对于池化电极分析,例如,执行三向重复测量(因子1:位置;因子2:电极;因子3:条件)ANOVA。例如,对于全等和抑制效果分析,被检者数量被用作被检者池的类别预测器。例如,在使用我们的英语词语范例的电极Cz和Pz中在N400ERP效果(在352ms和425ms之间)中反映的全等比较(C3、I3和CR3)的统计分析揭示以下的结果:F(2,954)=5.5791和0.039的P值。例如,事后Fisher Test产生以下的P值:C3比I3=.008332且CR3比I3=.037043。这表明,示例性方法可实现为在不同的全等条件之间获得在统计上明显的区分。
图16表示提供来自组统计分析的示例性结果的数据示图,该组统计分析表示听觉刺激(例如,使用英语词语)的语境变化之间的区分的大脑图案。在图16中,曲线1601和1602分别示出与语义语境有关的来自前面和顶部信道的大脑波形(例如,ERP)(例如,分别是头皮中的前后解剖定位)。
在图16所示的例子中,与Visual N400的情况同样,Auditory N400响应在存在语义违反时在振幅上更高-在这种情况下,为违反串的“不全等”类型中的语境。在示例性实现中,我们对来自各集的串的第三词语计算ERP,并且使用N400响应的振幅调制作为例如为分析处理的示例性方法的随后步骤上的输入数据,引导分类算法等以产生例如包含被检者的清醒状态简档的感觉和/或认知简档。曲线1601和1602的蓝色阴影区域指示关注的效果的时间间隔。在各曲线中,红线代表“不全等”串的ERP,蓝线代表“全等”串的ERP,绿线代表“全等重复”串的ERP。这是一组唤醒/清醒被检者的例子,这里,可以看出,对于语境不全等串的ERP响应的振幅比全等高。与前面的使用Visual N400的例子同样,描述的方法是被动的(例如,任意地通过扬声器或耳机传输听觉刺激,并且,不需要被检者表示任何明显的响应)。在一些称为清醒简档的状态的例子中,基于对于全等或不全等次序的不同的响应应用该示例性实现与描述的方法,可评价不能执行任何类型的行为响应的给定人的清醒水平(或不清醒)。
I.2.6示例性处理和引导分类技术(例如,通过语境特定参数)
与通过视觉刺激使用N400的示例性实现同样,通过听觉刺激使用N400的示例性实现包含通过使用分类方法的框架实现用于关联个体被检者的大脑信号与认知状态的处理技术,这些分类方法使用个体被检者的获取的生理信号(例如,来自EEG记录的神经信号),以提供关于被检者的概念知识和/或清醒度状态的例如包含统计信息的信息集。这些示例性处理技术也可被应用以执行组分析以识别概念知识,不仅仅在组的基础上,而且在逐个被检者的基础上,这可有益于识别个体如何分类信息,例如,明确地识别或利用个体差异。
在本例子中,作为视觉刺激的替代,使用听觉刺激,以例如解释公开的方法可被成功应用于通过不同的感觉模式获得的大脑响应上,并且另外用于解释最终的简档将是个体清醒度状态简档(ISAP)而不是IKEP的例子。因而,在本示例性情况下,关于一个被检者如何集成来自任意地语境“全等”或语境“不全等”的一系列声音的信息利用差异。例如,为了使得大脑产生与词语的广播听觉串的全等相关的神经响应的调制,被检者必须不仅听到各词语,而且理解其含义,建立呈现的前两个词语之间的语境相关性并然后比较语境相关性与第三词语的含义,以任意地产生与全等或不全等串一致的大脑信号调制。换句话说,被检者听到声音是不够的,他/她需要在认知上主动理解并且关联他/她听到的词语。使用示例性方法,这可通过来自该调制的推断允许例如在没有来自他/她的任何明显行为响应的情况下产生反映被测试人的清醒度的概率的个体简档。对于这些以下使用听觉刺激范例的描述的示例性分析,使用在前面的部分中呈现的相同的听觉N400数据集。
这用作我们的构架的特定展示,该构架具有从被动(无行为)人获得“个体清醒度状态简档”(ISAP)的显著性能。我们的一般的方法不是专用于该方法;而是,该部分表示我们的构架能够在逐个被检者的基础上区分这种信息。
以下描述的公开的利用视觉刺激范例的处理和引导分类技术的示例性实现通过使用与在在逐个被检者的基础上示出来自被动(例如,无行为)人的清醒感觉-认知简档状态相同的前面部分中描述的数据集相同的数据集提供例子。
例如,在示例性听觉数据集中使用的独立变量的描述包含:
·被检者数量s,为1~28
·信道数量e,为1~31
·条件c,为1~3(对于不全等,1=“I”,对于全等,2=“C”,对于全等重复,3=“CR”)
·尝试数量k,为1~28
·间隔内的关注时间点t,为1~T。
o例如,使间隔为[352ms,452ms]。采样率为250Hz。然后,T=(0.452-0.352)×250=25
因此,y[s,e,c,k,t]是代表EEG电压的实数。对于任何被检者,将s固定于常数。出于本部分中的示例性分析的目的,还将电极位置e固定于常数。因而,用于本部分中的进一步分析的开始点是y[c,k,t],它是代表EEG电压的实数。
I.2.6.1通过训练数据的监督分类器
如前面讨论的那样,可以使用监督分类器,以研究个体自身如何组织和分类不同的项目。当在完全有意识和清醒的个体上操作时,首先在个体上“训练”监督分类器,从而通过如上面在听觉部分中解释的那样从很好地建立的一组不全等(I)和全等(C)刺激组开始应对其特有的任何自然可变性。这些会是仔细构建以确保它们明确属于I或C类别的刺激组。
监督分类器的示例性实现过程
如在视觉刺激例子中那样,为了开发用于分类的关注特征,固定条件“c”和时间点“t”以在所有尝试“k”上计算y[c,k,t]的平均和标准偏差。例如,以下表示对于特定时间点“t”产生尝试平均的示例性方法。例如,除了它不是在被检者上平均-它是个体被检者特有的,这与如何产生事件有关电势图类似。
图17表示通过使用听觉刺激跨着多个尝试收集的代表350ms~450ms的时间窗口的一个轴上的EEG数据的三维示图1701,多个尝试在垂直轴上被示出。时间点y[c,k,t]的EEG在所有的尝试k上被平均以产生350ms~450ms间隔内的时间点t的条件c的y[c,t]平均电压。
实现类似的计算以对固定的c和t确定尝试k上的y[c,k,t]的标准偏差。对于两个个体信道(例如,FP1(信道1)和FP2(信道2)),在18A和图18B中表示平均和方差的最基本特征如何与条件“I”相比随条件“C”共同变化。例如,各蓝色和绿色圆代表特定时间点“c”的“平均,std”特征。蓝色代表条件“C”且绿色代表条件“I”。
图18A表示在两个不同的刺激条件即“I”和“C”下来自FP1(信道1)电极的个体被检者(例如,被检者5)的平均和标准偏差的特征图。图18B表示在两个示例性不同刺激条件即“I”和“C”下来自FP2(信道2)电极的个体被检者(例如,被检者5)的平均和标准偏差的特征图。如图18A和图18B的曲线所示,特征表明群集,该群集可导致具有高精度的分类方法。例如,对于信道FP1和FP2,具有5倍的交叉核实的精度均为100%。
例如,注意,对于不同的条件,这些特征在脱节的组中群集。这些特征用作对在包含MATLAB统计工具箱的计算机系统上实现的示例性支持矢量机分类算法的输入。例如,在示例性实现中,我们执行5个中的1个,即,5倍交叉核实。例如,前面电极FP1和FP2展示极高的分类精度,注意,在本示例性实现中,这是通过使用来自MATLA的简单的特征和核心实现的。示例性方法可被配置为在个体被检者水平上提取该信息。
分类器的示例性精度控制
在以下描述的示图中的一些中,例如,跨着多个被检者和信道,表示支持矢量机的性能的示例性概括统计。在各图中,x轴表示不同的信道,y轴表示跨着不同的被检者改变的该信道的盒形图。示例性分类过程使用来自个体被检者的示例性获取神经数据,例如,其中,跨着多个被检者和多个信道,在性能的示例性概括统计中代表分析数据。在各图中,各盒形图代表数据点的五号摘要。例如,该盒的底部和顶部总是25%和75%(分别为下和上四分位数);靠近盒的中间的带总是50%(中位数);“whiskers”表示低于和高于数据的平均值的一个标准偏差;红色“+”标记代表异常值。低于各盒形图的是提供中间精度的采样表。
图19表示示出示例性实现中的听觉刺激范例的被检者监督分类器的性能的示图和相应的表格。对于各个体信道(例如,曲线的列),关于分类器对于各被检者如何表现提供概括统计信息。图19的盒形图按电极位置表示代表5倍交叉核实之后的分类器精度的示例性结果。图19的表格列出当使用示例性FP1、FP2、P7或P8电极时跨着被检者的中间精度。
注意,例如,可在许多应用中使用的前面电极FP1和FP2展示极高的分类精度,在其它的例子中,更复杂的方法可跨着更大范围的被检者提供更高的分类精度。
示例性认知和/或感觉简档:个体清醒度状态简档(ISAP)
在如上面描述的那样向被检者提供刺激、从被检者获取生理数据并且确定统计信息之后,示例性技术中的下一步骤包括创建个体知识和/或清醒度状态的简档。在本例子中,选择ISAP。图20表示用于提供个性化知识简档的引导分类算法和它们的随后的总结统计的示例性实现的说明图。例如,示例性知识评价和/或清醒简档的状态可提供关于用户对特定刺激的大脑响应的简明概括信息。
在本例子中,通过监督分类器在“知识评价”的语境内对被检者5计算个体简档。具体而言,例如,图18A和图18B所示的用于组I(绿色圆)和组C(蓝色圆)的特征被识别。
图21表示属于来自被检者5的示例性信道FP2的监督分类器的示例性特性。支持超面(例如,黑实线)用作决定边界。要被测试的任何特征(例如,图21中的红色圆)如果处于边界的一侧则被归类为蓝色(在这种情况,为C)并且对于另一侧将被归类为绿色(在这种情况上,为I)。到边界的距离“d”可用作在分类中提供统计置信度的代理。到边界的距离越大,则在分类中的置信度越大。
当测试被检者时,构建这些特征。如果关注的特征(在这种情况下,为红色圆)位于决定边界的一侧,那么宣布“I”,否则,宣布“C”。伴随硬性决定,还规定建议我们对我们的决定多么置信的“软性”信息。红色点与决定边界上的任意点之间的最短距离可用作对于规定ISAP的功能的输入。具体而言,例如,我们可宣布清醒/知识概率=(2-e-d)/2。
例如,如果到边界的距离为0,那么区分概率为1/2,即,机会(例如,被检者不具有区分两个测试条件之间的特征的可靠知识,或者,换句话说,被检者不能相互区分项目)。另一方面,例如,如果到边界的距离非常大,那么知识概率如期望的那样趋于1(例如,被检者清醒呈现的类别中的每一个以及如何区分它们)。因而,示例性统计信号处理框架可另外提供软性决定,例如:Psc=P(同一类别)=0.8,Pdc=P(不同类别=0.2)。
因此,对于本例子,使用与前面描述的相同的视觉呈现数据集,示例性ISAP可被决定如下。如图21那样使用示例性被检者(被检者5),假定我们用蓝色和绿色标签训练分类器,并且,现在获得用于红色点的特征并且我们会愿意将它归类为“I”或“C”。注意,红色圆的特征是有序对(例如,1,16.5)。到边界的最接近点为(3,16)。因而,这两个点之间的距离为2.06并且该被检者(例如,被检者5)的随后的ISAP为(2-e-2.06)/2=93.64%。图22表示示例性被检者5的个体清醒度状态简档的该示例性定量数据的示图。
I.2.6.2通过可能性比率测试的示例性无监督分类器
在使用“无监督”分类器的例子中,技术不使用任何训练数据以训练分类器。而是,分类器计入一批数据并然后关于大脑以相同的方式或以不同的方式分类来自具有不同的全等的词语串的信息的可能性作出决定。
无监督分类器的示例性实现过程
以与在前面的部分中对于示例性视觉刺激实现描述的方式相同的方式,实现使用向被检者呈现的听觉刺激的示例性实现中的无监督分类器的示例性过程。
示例性结果
对于向被检者呈现的示例性听觉刺激范例中的每一个,在图23~25中表示不同的试验统计的示例性性能和计算p值的方法。图23表示使用听觉刺激的I-C的示例性rANOVA分析的数据示图和相应的数据表格。图24表示使用听觉刺激的I-C的示例性NML参数分析的数据示图和相应的数据表格。图25表示使用听觉刺激的I-C的示例性NML非参数分析的数据示图和相应的数据表格。
在图23~25中,对关注的特定的电极位置,例如,FP1、FP2、P7和P8,提供分类器的p值的盒形图。盒表图提供中值(红色线)、标准偏差(宽度)和异常值信息。跨着各数据图的绿色水平线与为0.05的p值的阈值对应。具有以下的p值的所有被检者由此被正确地分类,并且以上的p值的那些不被正确地分类。伴随各盒形图,还存在在所有的被检者上描述正确分类(具有0.05的p值阈值)的总分数的相应的简明表格。
在图23~25中,术语如下:
·“I对C”表示d[t]=y[1,t]-y[2,t]:t=1:T,这里,y[1,t]与不全等“I”听觉刺激有关,并且y[2,t]与全等“C”听觉刺激有关。“NML”是在部分T.A.中计算试验统计的归一化最大可能性方法的简写,但这里试验统计g(d)由g(d)=2cS24(v)给出,这里
·“参数”代表通过执行p值的Monte-Carlo估计来估计在部分P.A中描述的p值的参数方法,这里,对于试验统计的输入根据具有从采样估计的平均和方差的正态分布被绘制。
·“非参数”代表估计p值的非参数方法P.B。
·“rANOVA”代表使用标准重复测量ANOVA方法即方法P.A.1的试验统计和p值计算范例。
单独地执行这些示例性分析并然后对于包含20个被检者的组数据集将它们平均化。注意,在这些示例性实现中,对于信道FP1和FP2(不是前面并不需要毛发凝胶,因此,可在一些应用中在优选实施例中被利用),这些分类方法均匀地在70~100%范围中具有精度。这些示例性结果建议仅具有前面电极的系统可引出高性能。公开的方法不需要总是包括获取前面活动。
示例性认知和/或感觉简档:组清醒度状态简档(GSAP)和个体清醒度状态简档(ISAP)
利用未监督分类器实施例的该最后的例子并且选择前面电极FP1以示出该简档,方法的示例性实现的最终产物是个体清醒度状态简档(ISAP)的形式或组清醒度状态简档(GSAP)的形式。
例如,我们通过使用非参数可能性比率试验(在图25中表示)作为试验类别的区分措施识别任何被检者的p值并且执行100%p值。在单个情况下,对于示例性被检者5,ISAP为99.9%。在组水平(例如,组1)上,中间GSAP水平为94.1%。在图26中表示这些示例性结果。图26表示个体被检者的个体清醒度状态简档和基于组的被检者的组清醒度状态简档的例子的示图。
II.P300
P300是由300和800毫秒之间的正向电响应表征的脑源性响应,该脑源性响应具有中央顶叶最大值头皮分布。P300与项目的主观发生概率负相关。例如,P300已用于视觉目标检测任务中,其中,目标引发比其他项目高的振幅P300s。
在这里通过使用P300描述的示例性实现中,产生任意视觉提示(例如,绿色圆),测试的被检者被指示将其与“奖励”的概念联系起来。随后分析对于这种“奖励”刺激的大脑响应。使用P300的公开方法的示例性图示示出了方法广泛地适用于各种EEG记录技术。例如,方法适用于用通过使用常规的刚性电极EEG系统记录的大脑数据(例如,EEG信号)以及用通过使用可耐磨、柔性表皮电子传感器(EES)获取的EEG数据评价认知和/或感觉简档。
在EES装置的一个例子中,装置包括由均坐落于生物惰性的柔性聚合物上的蛇形状导线互连的超薄硅岛。EES可以感测各种信号模式,例如,包括但不限于温度、应变、光学和电(例如,EEG,心电图(ECG)和肌电图(EMG)信号),并且在一些实现方式中,通过使用配置于装置上的处理单元处理检测的信号。在一些例子中,处理单元可配有晶体管、电容器、电阻器、电感器和其它电路元件等。在一些实现中,例如,EES装置的处理单元可包含处理器和存储单元。EES装置可被配置为具有不比人的头发厚的厚度。EES装置可构建为包含柔性、可拉伸基板,该基板与皮肤机械匹配,其中,传感器部件和处理单元部件可被配置于基板上或基板内。在一些实现中,EES装置可包含用于传送测量/检测的活动信息的传送器单元,例如,该活动包含由心脏、骨骼肌(例如,诸如说话时的喉部肌肉活动或眨眼)和大脑产生的生理活性,从而例如用于检测当受试者闭上眼睛时生产的阿尔法节律。
II.1具有视觉和/或听觉刺激范例的P300
II.1.1示例性刺激
在一个示例性实现中,跨着多个脑电图(EEG)技术在目标检测任务中响应着色图像用P300大脑标记检查大脑响应。例如,实现两种大脑记录技术:常规的刚性电极EEG系统(例如,在前面的部分中描述的Brain Products系统)和EES装置。并且还检查对于“奖励”的感觉/概念的神经响应。分别通过相关的视觉刺激引出两个ERP(P300和“奖励”)。例如,刺激包含多个图像类别,例如,包含动物、汽车、脸、花、房子、随机对象、摩托车、飞机和建筑物。从各种资源获得示例性的刺激池。在获得刺激池之后,通过使用计算机实现的方法(例如,通过MATLAB脚本被编程)控制各范例的相对亮度。例如,计算机实现的方法实现为首先在彩色图像中加载并且通过使用以下的示例性公式计算其相对亮度,这里,Y、R、G和B分别表示相对亮度、红枪值、绿枪值和蓝枪值:
Y=.2126R+.7152G+.0722B (1)
例如,希望的相对亮度被设定为等于120的值。在脚本测量各图像的初始相对亮度之后,为了实现120的平均相对亮度,它任意地关于图像内的每个像素添加或减去RGB值。图像然后以100%质量被存。
在控制亮度之后,使用另一计算机实现的处理(例如,通过MATLAB脚本被编程)以在各刺激范例上放置中心定位的固定点。例如,这有助于被检者固定并且使任何频繁的眼睛扫视最小化。该示例性处理首先测量上载的图像的尺寸。它使用这些测量以计算图像的中心并且随后通过使用圆的标准方程产生固定点。通过将像素的红枪变为255、将绿枪变为0并将蓝枪变为0,修改中心周围7像素长度半径内的像素。
最后,创建固定点的视觉刺激和对于“奖励”的任意视觉暗示。例如,对于固定点,使用另一计算机实现的处理(例如,通过使用MATLAB脚本被编程)以创建具有350像素的高度和宽度的灰色背景图像(例如,红枪等于150;绿枪等于150;蓝枪等于150)。然后,示例性脚本通过使用圆的标准方程运行嵌入的for循环,以例如通过将像素的红枪变为255、将绿枪变为0并将蓝枪变为0,将7像素长度半径内的像素变为红色。对于“奖励”,使用成像软件以在350×350像素灰色背景(例如,红枪等于150、绿枪等于150、蓝枪等于150)背景上创建绿色圆(例如,红枪等于0、绿枪等于255、蓝枪等于0)。
II.1.2用于EEG记录的被检者准备
为了对于EEG记录使示例性被检者做准备,各被检者坐在记录室内的椅子中以开始EEG戴帽处理。各被检者经历两种EEG记录技术(例如,刚性电极(Brain Products)模式和柔性可配戴便携电子(例如,示例性EES装置)模式)中的每一个。
对于使用刚性电极模式的示例性实现,该处理包括在被检者的头上放置常规的EEG帽子并且用弹性下巴带子固定它。在一些例子中,基于被检者的头的估计尺寸,任意地使用56cm或58cm直径帽子。然后,在帽子的电极中的每一个下面通过使用弯曲的塑料注射器注入Signa电极凝胶(例如,来自Parker实验室)以在电极自身与被检者的头皮之间创建导电桥。并且,例如,为了通过降低阻抗构建更强的导电性,使用木制的Q尖端以按摩凝胶。例如,使用该技术对于各电极将阻抗水平降低到<5kΩ,例如,包含接地和基准。
对于使用示例性EES装置的示例性实现,首先使用乙醇棉签和无菌纱布清洁被检者的前额。在使乙醇晾干后,将示例性EES设备放在被检者的前额上,使得EES的ACF电缆瞄准受验者的右手边。当示例性的EES装置例如通过使用弯曲塑料注射器用自来水湿润时,被检者被指示倾斜他/她的后脑勺。同时,被检者用纸巾覆盖他们的眼睛以不看到水。例如,湿润的手指可以用来轻轻揉搓EES直到它附着于前额并且与前额平齐。随后,在这些例子中,使用Nexcare No Sting Liquid Bandage以将EES更牢固地结合于前额上。在使LiquidBandage变干时,用胶带将EES的DIN电缆贴在被检者的头部。例如,这防止电缆落入被检者的视野内并且还防止拉在EES自身上。并且,例如,采取附加的措施以通过将DIN电缆夹在被检者的衬衫衣领上防止拉动。
在开始使用EEG记录的示例性实现之前,给予被检者读取的指令文件。例如,该文件描述实验范例的一般组织以及他们会观看到什么,即,目标、扰乱项、固定点和蓝色正方形。还检查在各呈现块中目标会变化。例如,在块1中,任务是计数他们多少次看到具有一个或更多个人脸的图像。在块2中,任务是他们多少次看到具有一个或更多个汽车的图像。在块3中,任务是他们多少次看到具有一个或更多个动物的图像。被检者被指示将所有其它的照片视为扰乱项并且不计数它们。在各呈现块之后,要求被检者报告他们看到多少目标。例如,蓝色正方形指示奖励。被检者坐在呈现监视器前面并且被要求在实验的整个持续期间在红色中心固定点上保持视觉固定并且尽可能地限制其运动以防止神经生理数据中的运动伪像。然后,记录室的灯变暗,并且,开始刺激处理和EEG记录。
II.1.3示例性刺激呈现处理
在本示例性刺激呈现处理中使用的示例性刺激呈现范例通过使用Cogent 2000被编程,并且包含与简要呈现持续期串行地呈现视觉刺激。例如,不包含固定点和绿色圆的刺激池被分成两个组,每个组用于两个记录技术中的每一个。对于跨着记录技术的总共1800刺激,各技术包含900个刺激。例如,在技术内,分别被呈现100ms的包含目标和扰乱项的900个刺激被分成个三个呈现块。蓝色正方形刺激呈现持续1000ms并且在各呈现块内被表示30次。在每个目标尝试、扰乱项尝试和刺激间间隔(ISI)内,固定点是可见的。
例如,在块1中,目标是人脸。在块2中,目标是汽车。在块3中,目标是动物。除了随机化记录技术的次序以外,我们还随机化各技术内的呈现块的次序。呈现块决不跨着技术连续重复(例如,块1、块2、块3、块3、块2、块1、块1、块3、块2)。由于被检者被指示计数他们多少次看到特定目标,因此我们改变各块的目标的正确数量。在块1(目标:脸)中,存在56个目标和244个扰乱项。在块2(目标:汽车)中,存在62个目标和238个扰乱项。在块3(目标:动物)中,存在62个目标和240个扰乱项。扰乱项由所有非目标对象类别构成。例如,在块1(目标:脸)中,扰乱项包含汽车、动物、花、房子等。MATLAB代码通过提示实验者进入被检者的初始状态并且选择呈现哪个块开始。根据选择的块数量,脚本计算哪个对象类别会是目标、目标的数量和扰乱项的数量。然后,它通过使用MATLAB randperm()函数随机化刺激呈现的次序。它可运行randperm()函数二十次以更好地随机化呈现次序。然后它通过使用randi()函数产生各尝试的刺激间间隔(ISI)。刺激间间隔的范围为500ms~600ms。除了配置显示器、声卡和并行端口以外,记录文件可在Cogent 2000系统内被配置和初始化。该记录文件被用于产生关于其刺激类型(目标、扰乱项和蓝色正方形)的每个尝试的历史。随后,刺激被加载到存储器缓冲器中。为了减少计算负担并增加反应时间精度,在刺激呈现之前执行上述的步骤。刺激呈现包含使用向下迭代预先确定的呈现次序的for循环。例如,基于呈现次序中的当前刺激的值,计算机实现的处理计算其刺激类型并且向记录文件和并行端口发送关于其刺激类型的适当的信息,该记录文件和并行端口的触发器被发送到EEG记录计算机。然后,程序呈现ISI。在各呈现结束时,并行端口被复位为零以为下一尝试作准备。
图27表示呈现的视觉刺激的示例性序列的示图。该示图描绘特定呈现的范例的图像和呈现的预编程伪随机次序。对于各方案具有足够的刺激呈现结构是示例性方法的固有和重要部分。在本例子中,相关方面是代表预先决定的“目标”的图像与所有其它图像(标为“扰乱项”)以及与先前与“奖励”的指示相关的蓝色正方形之间的差异。在如何使用相关大脑标记、例如在本示例性情况下使用P300和“奖励”引出ERP以评价和确定个体知识、关注水平和对特定项目的偏好从而产生个体知识/偏好简档的示例性方法中,以特定的关注图像内容为嵌入其它图像的序列中的目标的适当的刺激结构以及描述的专门化随后分析是十分重要的。
例如,在一些应用中,然后通过后面匹配算法评价该简档以引导和/或调整控制随后的刺激的适应性变化的大脑-机器界面。可例如在辅助学习应用或偏好分诊应用中使用它,例如,这里,在确定个人知识或偏好简档之后,大脑-机器界面可通过在第一种情况下重新增强学生表明学习不足的信息的类型或者通过在后一种情况下将以下呈现的项目调整到个人偏好组,调整以下的刺激。
I.1.4示例性大脑波(EEG)记录
在一些实现中,使用具有刚性电极的常规的EEG系统以获取大脑波。示例性EEG系统包含BrainAmp DC 32-信道系统;BrainVision Recorder;Fast n Easy 32-信道EEG记录帽子尺寸56;Fast n Easy 32-信道EEG记录帽子尺寸58;具有5k电阻器的PCB RibbonCable for BrainCap-MR;和BrainCap MR Box 1.2。示例性EES传感器电缆与该相同的EEG系统连接。
II.1.5示例性预处理分析技术
使用视觉刺激范例的公开方法的示例性分析预处理技术可包括用于处理标记数据的技术。例如,在各记录对话之后,示例性EEG记录系统产生三个文件:数据文件(.eeg)、标题文件(.vhdr)和标记文件(.vmrk)。标记文件包含各刺激开始的事件触发器。在本例子中,由于并行端口内的输出限制,因此使用Cogent 2000记录文件以保持范例的刺激类型(例如,目标、扰乱项或绿圆)的更可读信息。从这里,处理(例如,通过使用MATLAB脚本被编程)以一一替代的方式用来自记录文件的事件代码替代标记文件(.vmrk)中的事件触发器。例如,.vmrk文件中的第一标记被记录文件中的第二标记替代;.vmrk文件中的第二标记被记录文件中的第二标记替代,等等。
公开的方法的示例性分析预处理技术包括用于一般组统计分析的技术。在这里描述的示例性实现中,对于统计分析使用MATLAB和Statsoft Statistica(版本8.0)软件的组合。在数据处理和分析之后,示例性EEG记录系统的BrainVisonAnalyzer输出包含关于条件、被检者、尝试、电极信道和平均电压振幅的数据值的文本文件。例如,对于32电极EEG帽子技术,在以下的关注时间间隔内对前面电极(FP2)提取平均电压振幅:目标和扰乱项-刺激开始之后352ms~452ms;奖励刺激-刺激开始之后452ms~552ms。对于EES技术前面电极,使用相同的参数。这些数据通过示例性EEG记录系统的BrainVision Analyzer被写入到文本文件中并且随后被加载到计算机实现程序(例如,MATLAB程序)中以以更可访问的格式分类和组织数据。具体而言,例如,示例性计算机实现程序例如通过使用MATLAB的变量编辑器允许更容易地通过列选择数据。在选择之后,数据被复制和粘贴到Statistica数据表中。
例如,对于EEG记录技术中的每一个的扰乱项与目标之间的比较,在各统计表上执行单向(因子1:条件)重复测量ANOVA。例如,各电子表是以下特有的:(1)EEG技术:刚性电极EEG帽子或EES电极;(2)比较:扰乱项对目标。对于奖励条件,执行比较奖励的提取平均振幅值与零的T试验。例如,各电子表是以下特有的:(1)EEG技术:刚性电极EEG帽子或EES电极;(2)比较:扰乱项对目标。对于使用来自Brain Products EEG帽子的Fp2电极的扰乱项与目标之间的比较,发现明显的效果:F(1,140)=12.184且p值为0.00064。对于使用EES记录电极的扰乱项与目标之间的比较,发现明显的效果:F(1,148)=17.307且p值为0.00005。对于来自来自Brain Products EEG帽子的Fp2电极的奖励和零常数之间的比较,发现明显的效果:平均为218.180138571428,标准偏差为895.427245848706、N采样尺寸为89,标准误差为34.6498548937238,T值为-3.13915892165244,自由度为88,并且,p值为0.00230642892515112。对于来自EES记录电极的奖励与零常数之间的比较,发现明显的效果:平均为218.180138571428,标准偏差为895.427245848706,N采样尺寸为70,标准误差为107.024026181588,T值为2.03860895871402,自由度为69,并且p值为0.0453228914525858。
I.1.6跨着不同的EEG感测技术的示例性实现
如在部分II.1.2EEG记录的被检者准备中描述的那样,为了展示跨着EEG记录技术的示例性方法的可行性和保持精度,通过使用常规的具有刚性电极的全EEG帽子和例如为具有柔性电子电极的表皮电子系统的示例性可配戴便携EEG传感器系统实现相同的范例。
II.1.6.1刚性电极EEG系统
图28A和图28B表示使用示例性刚性电极EEG系统的示例性方法的数据获取和处理处理的实现的示例性结果的图像和数据示图,个体(例如,单个被检者)统计分析表示“目标”和“扰乱项”图像之间以及与“奖励”的概念相关的区分的大脑图案。图28表示配戴EEG系统的刚性电极EEG传感器帽子2800的个体被检者的图像。图28B表示曲线2801和曲线2802,曲线2801表示对于“目标”(红线)对“扰乱项”(黑线)的示例性ERP响应,曲线2802表示对于与“奖励”(蓝线)相关的蓝色正方形图像的ERP响应,其中,从通过使用可用的EEG分析软件(例如,BrainVision Analyzer2)执行的处理确定在曲线2801和2802中显示的示例性数据。图28B表示曲线2811和曲线2812,曲线2811表示对于“目标”(红线)对“扰乱项”(黑线)的示例性ERP响应,曲线2812表示对于与“奖励”(蓝线)相关的蓝色正方形图像的ERP响应,其中,从通过使用由我们开发的定制设计代码从相同的处理分析确定在曲线2811和2812中显示的示例性数据。
注意,如图28B所示,通过应用包含分析处理的至少一部分的示例性方法的至少一部分,大脑数据可通过使用刚性电极EEG帽子被获取并且被处理,使得它反映(以在统计上明显的方式)对来自其它图像的关注区分图像和与“奖励”相关的视觉暗示的个体响应。随后,可应用示例性方法的剩余处理(例如,引导分类算法等)以产生个体化知识评价简档。并且,例如,如图28B所示,通过使用我们的示例性定制设计代码,可以执行相同的ERP计算分析,当使用刚性电极EEG系统(例如,目标对扰乱项:商业软件(p=0.00064)和我们的示例性定制设计分析代码(p=0.0000);奖励:商业软件(p=0.0023)和我们的分析代码(p=0.0144))时,获得相当的性能精度(例如,相当的p值)。
II.1.6.2表皮电子传感器EEG系统
图29A和图29B表示使用示例性柔性表皮电子传感器器件EEG系统的示例性方法的数据获取和处理过程的实现的示例性结果的图像和数据示图,个体(例如,单个被检者)统计分析表示“目标”和“扰乱项”图像之间以及与“奖励”的概念相关的区分的大脑图案。图29A表示配戴EEG系统的示例性EES器件2900的个体被检者的图像。图29B表示曲线2901和曲线2902,曲线2901表示对于“目标”(红线)对“扰乱项”(黑线)的示例性ERP响应,曲线2902表示对于与“奖励”(蓝线)相关的蓝色正方形图像的ERP响应,其中,从通过使用可用的EEG分析软件(例如,BrainVision Analyzer2)执行的处理确定在曲线2901和2902中显示的示例性数据。图29B表示曲线2911和曲线2912,曲线2911表示对于“目标”(红线)对“扰乱项”(黑线)的示例性ERP响应,曲线2912表示对于与“奖励”(蓝线)相关的蓝色正方形图像的ERP响应,其中,从通过使用由我们开发的定制设计代码从相同的处理分析确定在曲线2911和2912中显示的示例性数据。
注意,如图29B所示,通过应用包含分析处理的至少一部分的示例性方法的至少一部分,大脑数据可通过使用刚性电极EEG帽子被获取并且被处理,使得它反映(以在统计上明显的方式)对来自其它图像的关注区分图像和与“奖励”相关的视觉暗示的个体响应。随后,可应用示例性方法的剩余处理(例如,引导分类算法等)以产生个体化知识评价简档。并且,例如,如图29B所示,通过使用我们的示例性定制设计代码,可以执行相同的ERP计算分析,当使用柔性可配戴电子EEG系统(例如,目标对扰乱项:商业软件(p=0.0000)和我们的示例性定制设计分析代码(p=0.0000);奖励:商业软件(p=0.0453)和我们的分析代码(p=0.0002))时,获得相当的性能精度(例如,相当的p值)。
II.1.6.3示例性处理和引导分类技术(例如,通过语境特定参数)
在本部分中,描述开发个体知识和奖励评价的分类器的能力。例如,在示例性实现中,如前面讨论的那样,各被检者被提供全EEG帽子(例如,对于刚性电极EEG系统)以及可配戴前额安装EEG传感器装置。在前面的部分中报告的示例性P值来自个体并由此可直接适用于本语境中。因而,可以提供奖励和扰乱项刺激,并且,可通过在例如通过使用刚性或表皮电子系统从电极FP1报告的目标与扰乱项波形之间的差值上使用t试验,计算P值。例如,在这些情况下,100%P值可被用作个体知识评价简档(IKEP)的测量。例如,类似的方法直接适用于奖励的评价。
因而,使用来自前面的部分的p值,如图30~33的示图所示,在以下的个体化的知识评价简档中确定示例性结果。图30表示对于P300 ERP示出用于通过使用刚性电极EEG系统FP1电极区分示例性被检者(例如,被检者1)的目标和扰乱项的示例性IKEP定量水平的示图,该定量水平被确定为99.9999%;高(High)。图31表示对于前面P300 ERP示出用于通过使用表皮电子传感器器件EEG系统区分示例性被检者(例如,被检者1)的目标和扰乱项的示例性IKEP定量水平的示图,该定量水平被确定为99.9999%;高(High)。图32表示用于通过使用刚性电极EEG系统FP1电极区分示例性被检者(例如,被检者1)的奖励的示例性IKEP定量水平的示图,该定量水平被确定为98.56%;高(High)。图33表示用于通过使用表皮电子传感器器件EEG系统区分示例性被检者(例如,被检者1)的奖励的示例性IKEP定量水平的示图,该定量水平被确定为98.98%;高(High)。
大脑-机器界面
如前面在图1A中所示,系统100包括大脑-机器界面模块160,该大脑-机器界面模块160可驱动用户与机器之间的交互作用。在一个例子中,大脑-机器界面模块160可基于从简档产生模块150产生、例如从系统100的正在进行的实现或者通过系统100先前产生的简档产生的个体被检者或组被检者(例如,IKEP、ISAP、GKEP、GSAP)的认知和/或感觉简档向刺激呈现模块110提供新刺激或多个刺激的反馈传输。
在本部分中,描述一般适用于依次实验设计的示例性构架,该依次实验设计是用于探测用户以提取其认知状态的含义的依次方式。在示出的例子中,例如,假定用户在他/她在变焦中关注的地图上具有特定的点。依次实验设计方法和系统的实现可被用于将地图分成多个子地图(例如,4个象限),使得实验被设计为使得神经和/或行为响应将在统计上与包含关注点的子地图(例如,象限)相关。系统更新其关于关注点的知识,并且,优化地图和/或象限的随后显示。系统可被设计为使实验的次数(例如,探测刺激)最小化,直到关注点已(带有高保真度地)被提取。
例如,在这种设定中,可进行实验以猜测出现哪类假说。在收集证据之后,进行随后的实验。为了迅速减少关于出现哪个假说的不确定性,第二实验的设计一般应依赖于第一个的结果(例如,获取的信息)。
在公开的技术的示例性框架的语境内,前面的实验的结果属于个体化的知识评价简档或清醒简档的状态连同已构建的行为信息。例如,对于这些简档来说重要的是,与其它相比,它们将关于某种假说的可能性的一组统计信念编码。描述用于引导随后的刺激呈现使得系统尽可能高效地提取关于用户/被检者的信息的构架。
图34A表示用于在用于提炼认知和/或感觉简档的公开方法中使用大脑机器界面的示例性模型的框图。如框图所示,指数“i”属于进行的当前实现的指数。指数“i”和反馈箭头(从右到左)表示构架的依次本质以及前面的实验和关于大脑的统计信息如何影响随后的感觉刺激。“W”代表信息的大脑状态(例如,被检者如何分类信息)。“Xi”代表依赖于W和当前感觉刺激Vi的语境大脑状态(例如,存储器触发、分类违反或行为计划等)。给予保持和更新的概率分布πi,处理模块3420(例如,计算机)更新其统计信息。例如,在收集生理和/或行为数据之后,例如,通过数据处理模块3420产生由πi给出的知识/清醒简档。知识/清醒简档(πi)包含给予决定引擎3410的统计信息,该决定引擎3410执行计算并且识别形成随后的实验的基础的下一随后刺激。如图所示,提供给被检者的刺激(给Vi给出)可与被检者的知识/清醒(由W给出)交互作用以产生随后的大脑响应(由Xi给出)。通过测量和/或分析神经和/或行为信号(由Yi给出)的数据处理模块3420跨着噪声信道观察它。大脑-机器界面可实现为规定随后的感觉刺激Vi,使得尽可能高效地提取关于W的信息。
因而,示例性依次实验设计包括多个过程,使得在n个实验使用之后,以下被最大化:相互信息(或者,等同地,最小化的不确定性)、I(W;Yn)、在知识/清醒(给W给出)之间和获取的神经和/或行为信号(由Y1…Yn给出):
每个实验可提取的信息量的上限由语境大脑状态X与神经和/或行为记录Y之间的噪声信道的信道容量确定。因而,归一化相互信息被划界如上。这里提供依次感觉刺激范例以使随后的实验设计适于强制不等式相等。例如,其充分条件是“传递错失的解码器”,意味着随后的语境大脑状态Xi应在统计上与所有前面的神经记录Y1…Yi-1无关。许多依次实验设计范例的核心目的是,适应性地设计刺激范例,使得上述的不等式事实上相等。在本部分的所有剩余部分中,导致以上的相等的任何方法被称为“最佳”。
公开的技术包括适应性地设计最佳地提取信息的刺激范例的方法。例如,当关注的潜在信息处于任意的尺寸时,我们在可证明地收敛于最佳解的技术中提供明确的有效的算法。示例性的方案导致可实时在各种硬件实现(例如,包含蜂窝电话、平板、台式机和/或膝上型计算机处理器等)上有效地实现的依次方法。
图34B表示用于自适应地设计最佳地提取希望的信息的刺激范例的示例性方法的处理示图。例如,图34B所示的方法的实现可提供关于大脑功能的某个方面的统计知识被实时依次估计和/或控制以实现希望的目的的方式。方法可包括用于评价关于用户的关注大脑功能的某个方面的推理统计信息的处理3450(例如,从该用户的先前使用,诸如该用户的已知的临床状态,或者关于与该个体共享相似性的其它用户、诸如具有特定的神经缺陷或病理的其它人的组知识),原因是它涉及希望被推断和/或控制的大脑功能的方面。方法可包括评价(1)关注的感觉刺激(或一系列的刺激)和(2)要被推断/控制的大脑功能的希望的方面如何涉及(3)记录的生理和/或行为观察的处理3451。方法可包括通过使用使用该统计知识以使希望的目标最大化优化例如为视觉、听觉、胞体感觉、味觉的刺激(或一序列刺激)的设计和/或呈现使得长期目标被最大化的处理3452。方法可包括向用户传输刺激(或一系列的刺激的)的处理3453。方法可包括记录来自用户的对于呈现的刺激(或一系列的刺激)的生理和/或行为响应的处理3454。方法可包括通过使用在处理3450中规定的推理统计知识和(1)关注感觉刺激、(2)大脑功能的内部方面和(3)记录的生理和/或行为响应之间的关系的统计模型提炼关于关注的大脑功能的状态的统计信息的处理3455。方法可包括处理3456,例如,诸如在解释性的例子中诸如确定和/或控制计算机画面上的光标的位置、机器人系统的扭矩动力或计算机画面上的像素的颜色地图,该处理3456用于将该统计信息的最佳转变定量确定为外部装置的参数或控制信号。方法可包括通过在处理3456中优化的该参数或控制信号驱动外部装置的处理3457。方法可包括将外部系统的状态的最佳转变定量确定为用户的感觉刺激使得长期目标被最大化的处理3458。例如,解释性的例子可包括将机器人系统的扭矩动力映射到向用户回放的声音。方法可包括在处理3453上重复方法。在一些例子中,长期目标的最大化可包含使被检者想到的希望的轨迹与示例性外部系统(例如,机器人系统)的真实轨迹之间的误差的和最小化。在一些例子中,长期目标的最大化可包含使在关于关注大脑状态的统计信息具有足够高的保真度之前迭代在方法中执行的递归循环的次数最小化。为了优化和提炼关于要掌握或实行的大脑状态的统计知识,可一般跨着广泛的应用应用希望的方法。
在一些方法中,当关注的潜在信息W可被表示为单位间隔(例如,[0,1]线)上的点时,可以使用“概率平分”的过程以以在理论上最佳的速率开发“放大”并使相互的信息最大化。该框架可用于大脑-计算机界面以规定语句和平滑路径。
图35表示单位间隔[0,1]线向一组所有可能的字符次序的示例性映射。如映射示图所示,例如,从“t”开始的一组所有的语句占据明显的空间量。使用的空间量与该字符出现的可能性成比例。注意,语句“th”位于“t”的间隔内。在这种意义上,例如,它与基于语言的数据压缩和统计改变视觉显示的一些系统类似。但是,一种关键的差异在于,这里描述的该方法依次更新自身,不仅考虑语言的统计,而考虑跨着噪声信道接收信号的事实。在该示例性情况下,用户识别关注的目标W在哪里位于当前的显示器上。如果它处于红色垂直线的左侧,那么他/她想象挤压左手,否则,右手。系统获取神经信号并且更新其后面信念πi。公开的技术的示例性系统取得该信息并且使用它以在更可能的事物上“放大”、在不可能的事物上缩小,并且,保证在概率上尽可能快地在目标语句W上放大。
注意,在图35中,英语字母表中的各字符属于从A到Z以增序配置的[0,1]线的非重叠间隔。并且,更可能的字符具有更大的宽度。在任何字符(例如,T)内,重新以增序放置英语字母表。在该间隔内,给定第一字母为T,任何字符的宽度与看到该字符的可能性成比例。基于英语字母表的统计模型规定它。在本例子中,潜在大脑状态W属于包含语句的一系列的字符,例如,“黑猫跳过懒狗(THE BLACK CAT JUMPED OVER THE LAZY DOG)”。被检者组合其潜在大脑状态(或意图),并且,与垂直红带相比,比较该当前显示Vi位于哪里。如果它位于一侧,那么被检者提供二进制输入(例如,与右侧相比,想象挤压左手),并且,系统获取作为该输入的“噪声”版本的神经信号。给定其获取的神经信号,系统更新其关于所有可能的语句的可能性的后面信念。这样,它实现概率平分,该概率平分通过通过属于后分布的累积分布函数的地图迭代它们简单地重新绘制所有可能的语句。
图36表示示例性最佳地图的计算之后的映射,例如,其中,系统应用它并且重新绘制所有可能的语句。在这种情况下,W属于语句“黑猫跳过懒狗(The black cat jumpedover the lazy dog)”。注意,从“The…”开始的语句明显被放大。如图36所示,在应用该地图之后,从“T”开始的语句被放大并且其它被缩小。虽然存在固有噪声,但系统仍实现“类似平分”方案并且最终可“放大”选择的语句W。
一般地,对于一些方法,例如,特别是当尝试识别属于个体知识或清醒度的W时,不总是将W嵌入1维空间中。事实上,许多概念分类工具和数据库使用例如固有地具有二维或或更多维的图形。例如,一些关系数据库系统是识别词语之间的关系以充分有效地执行搜索的二维系统(例如,“钟”可指的是Alexander Graham Bell或小学的钟)。图37表示用于将个体知识或清醒W表示为例如反映分类和关系的图形的例子的解释图。重要的是考虑W不能自然表示为[0,1]线上的点;而是,它必须在具有图形本质的更高维空间中被表示。在这种设置中,不存在使得依次实验设计重新询问实验的闭合形式的表达。例如,出现这样一种问题,即,如何开发在大于1的维度的关注的希望的潜在变量上“放大”的映射,例如,这些维度与包含提取知识信息的状态的公开方法特别相关。
公开的系统和方法可提供用于通过依次询问提供我们有噪声地获取的响应的系统依次询问不确定点上的“hone in”的方案框架。例如,特别感兴趣的是当W不在[0,1]线上时(对于这种情况,存在闭合形式最佳解)。在这些更一般的情况下,可实现计算算法,例如,又一般不存在一般描述方案的简单公式。为了使相互信息最大化,重要的是下一大脑响应Xi在统计上与到目前为止获取的神经信号(Y1…Yi-1)无关。例如,不存在已知的存在的扩展以系统性地提供在W不处于一维中的情况下保持这一点的实验设计范例。
展示该框架的一个示例性应用如下。提取不确定的知识作为位于属于关注的位置(法国市中心和艾菲尔铁塔)的两个维度上的点W。随机表示全局的一系列的子图像。在实验i上,如果视觉刺激包含艾菲尔铁塔,那么出现“ah-ha”移动作为模型化Xi=1的大脑状态;否则,实验i上,Xi=0。例如,“ah-ha”移动导致被触发为神经活动Yi中的“目标”的P300事件有关电势;否则,在神经活动中出现“扰乱项”。特别是在由P300事件有关电势展示的300ms的时域内,属于Xi=0时的Yi的统计与Xi=1时不同。公开的技术的示例性实验设计范例取得输出神经活动Y1…Yi-1,并且,开发地图上的点是目标并且是扰乱项的概率分布或信念。公开的技术的示例性框架识别显示的随后图像,这些图像中的一些被放大以询问更多,并且,其它的被缩小,原因是它们可能不是目标。最佳地进行这种映射,并且,它可更高效地完成它。在图38中表示属于子图像和二维中的图片上的点的该思想的例子。
图38表示两个示例性图像3801和3802作为内部知识W是例如反映图片(在蓝色箭头指向的图像3801和3802上指示)中的点的二维中的点的示例性情况。在图像3801中,在显示四个子图像之后,由红色垂直和水平线给出边界。显示一序列的这些子图像。当显示包含关注点的子图像时,它触发“ah-ha”内部大脑状态(Xi=1),它们触发EEG中的事件有关电势;否则,Xi=0。在图像3802中,示例性系统积分从前面序列的图像获取的神经信号并且重新呈现一系列的子图像,使得在随后的实验上,具有更高的包含个体知识(W)的可能性的W更多地放大,其它的被缩小。在图38的图像3802中展示这一点,这里,头部被放大,原始图像的其它部分缩小。这种“放大”是信息理论最佳的;它使相互信息I(W;Y1…Yi-1)最大化并且被保证在概率上尽可能高效地“放大”个体知识(W)。
公开的技术的示例性技术可实现为最佳地执行该依次实验设计并具有较低的复杂性。例如,可通过最佳传输的公开技术解决尽可能高效地放大知识的挑战。关于将当前信念“p”映射到关注的随后信念“q”的一个核心方程是找到地图“S”,对于该地图“S”,如果个体知识W具有分布p且Z=S(W),那么Z会根据q被绘制。
式(3)表示如何通过地图S整形分布(例如,统计描述或可能性)的Jacobian方程(Jacobian Equation)。一般地,找到这种方程的解是非凸形的并且是挑战性的(例如,NP困难)。
作为例子,它涉及通过关联像素颜色与图38的图像3801上的每个可能的点“放大”图片。如果点u(例如,在二维中被规定)在图像3801上具有特定的像素颜色c,那么点S(u)在图像3802上具有相同的特定的像素颜色c。这具有“放大”图像的某些部分且缩小其它部分的效果。这里展示,通过规定特定的分布p和q,通过应用该过程并且找到以上的Jacobian方程的解S(u),相互信息可被最大化(例如,尽可能高效地放大出现的图像中的关注点)。这里,p代表可能的W值上的均匀分布,q代表实验i之后的后分布πi
并且,例如,在关于关于噪声信道模型p(y|x)的适当的假定下,找到上述的Jacobian方程的解S(u)(并由此找到使相互信息最大化的实验设计的问题的解)在计算上是高效的。例如,如果神经可能性p(y|x)在x上是记录凹形的,那么找到最佳地图是“容易的”(即,凸形优化问题)。
例如,对于x有限(对本专利文件中的上述应用,最关注)的所有信道模型,记录凸形的假定是适用的。并且,p(y|x)的许多连续的输入统计模型,诸如Poisson、逻辑和所有指数族,也表现该示例性性能。
属于计算高效凸形优化问题的示例性技术如下:
where X1,X2,...,XN are drawn i.i.d.from PX.
例如,使用描述的最佳传输的技术,例如通过实现公开技术的计算机实现方法(例如,在MATLAB脚本中被编程,例如,通过使用示例性CVX凸形优化软件附加),示例性问题P4可产生满足Jacobian方程的地图S。程序3802表示该计算机实现方法的示例性实现的示例性结果,该结果例如表示“放大”属于识别通过噪声信道识别一个关注点的意图的模拟。
例如,在本部分中描述的公开的框架适用于Bayesian推理中的任意的问题。当某些假定(例如,记录凸形-适用于大多数的统计模型)适用时,描述的技术可被实现为以计算高效的方式“放大”关注的特征。如这些例子证明的那样,描述的依次实验设计和大脑-机器界面的含义相当宽。
可在各种系统、数字电子电路中或者在计算机软件、固件或包含在本说明书中公开的结构或它们的结构等同的硬件中或者在它们中的一个或更多个的组合中,实现在本专利文件中描述的主题和功能动作的实现。在本说明书中描述的主题的实现可实现为一个或更多个计算机程序产品,即,在可触知和非暂时性计算机可读媒介上编码的计算机程序指令的一个或更多个模块,这些计算机程序指令用于通过数据处理装置执行或者用于控制其动作。计算机可读媒介可以是计算机可读存储装置、机器可读存储基板、存储装置、实现机器可读传播信号的物质的复合或它们中的一个或更多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器,作为例子包括可编程处理器、计算机或多个处理器或计算机。除了硬件以外,装置可包括为讨论中的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或更多个的组合的代码。
可以通过包含编辑或解释语言的任何形式的编程语言书写计算机程序(也称为程序、软件、软件应用、脚本或代码),并且,它可通过任何形式被部署,包括部署为独立程序或模块、部件、子程序或适用于计算环境中的其它单元。计算机程序不必与文件系统中的文件对应。程序可被存储于保持其它程序或数据(例如,存储于标记语言文件中的一个或更多个脚本)的文件的一部分中、专用于讨论中的程序的单个文件中或者多个协作文件(例如,存储一个或更多个模块、子程序或代码的多个部分的文件)中。计算机程序可被部署为在一个计算机上或者在位于一个位置上或者跨着多个位置分布并且通过通信网络互连的多个计算机上被执行。
可通过执行一个或更多个计算机程序以通过操作输入数据并且产生输出执行功能的一个或更多个可编程处理器执行在本说明书中描述的处理和逻辑流程。也可通过例如为FPGA(场可编程门阵列)或ASIC(应用特定集成电路)的特殊用途逻辑电路执行处理和逻辑流程,并且,装置也可被实现为该特殊用途逻辑电路。
作为例子,适用执行计算机程序的处理器包括一般和特殊用途微处理器和任何类型的数字计算机的任何一个或更多个处理器。一般地,处理器从只读存储器或随机存取存储器或者两者接收指令和数据。计算机的基本要素是用于执行指令的处理器和用于存储指令和数据的一个或更多个存储装置。一般地,计算机还包含一个或更多个用于存储数据的大规模存储设备,例如,磁盘、磁光盘或光盘,或者与这些大规模存储设备操作耦合以从其接收或向其传送数据或者接收和传送数据。但是,计算机不需要具有这些设备。适于存储计算机程序指令和数据的计算机可读媒介包括所有形式的非易失性存储器、媒介和存储装置,这些存储装置作为例子包括半导体存储装置,例如,EPROM、EEPROM和快擦写存储装置。处理器和存储器可通过特殊用途逻辑电路被补充或者被加入其中。
虽然本专利文件包含许多细节,但它们不应被解释为限制任何本发明的范围或者所要求权利的范围,而是应被解释为描述特定发明的特定实施例可能特有的特征。在各单独的实施例的语境中在本专利文件中描述的某些特征也可在单个实施例中被组合实现。相反,在单个实施例的语境中描述的各种特征也可在多个实施例中单独地被实现或者在任何适当的再组合中被实现。并且,虽然特征可能在上面被描述为在某些组合中起用并且甚至首先原样要求权利,但来自要求权利的组合的一个或更多个特征可在一些情况下从组合被删除,并且,要求权利的组合可引导到再组合或再组合的变更。
类似地,虽然以特定的次序在附图中示出动作,但这不应被解释为要求以所示的特定的次序或者以依次的次序执行这些动作或者执行所有示出的动作以实现希望的结果。并且,在本专利文件中描述的实施例中的各种系统部件的分开不应被理解为在所有的实施例中要求这种分开。
仅描述了几个实现和例子,并且,可基于在本专利文件中描述和示出的提出其它的实现、增强和变更。

Claims (49)

1.一种提供被检者的认知或感觉评价的方法,包括:
从认知性能简档、感觉性能简档、以及认知和感觉性能简档选择简档类别;
向被检者呈现一系列的刺激,该一系列的刺激基于所选择的简档类别;
在呈现该一系列的刺激之前、期间和之后获取被检者的生理信号,以产生生理数据;
处理生理数据,以产生包含与所选择的简档类别相关的一个或更多个定量值的信息集;
在向被检者正在进行刺激的呈现期间通过适应性地修改该一系列的刺激来产生修改的一系列的刺激,其中,所述修改的一系列的刺激基于与所产生的信息集相关的或从所产生的信息集导出的数据;和
在向被检者正在进行刺激的呈现期间向被检者呈现所述修改的一系列的刺激,
其中,所述获取步骤不需要被检者对该一系列的刺激的行为响应,并且其中,所产生的信息集不包括与被检者的行为响应相关的数据。
2.如权利要求1所述的方法,其中,该一系列的刺激包含基于所选择的简档类别的视觉、听觉、嗅觉、触觉或味觉刺激媒介中的至少一个。
3.如权利要求1所述的方法,其中,所述一个或更多个定量值包含指示基于被检者的关注、记忆、学习能力、虚构特性、图案整合能力、语义整合能力、目标检测能力、情绪效价或偏好中的至少一个的认知和感觉性能中的一个或两个的水平的定量分数,并且其中,所述定量分数指示在特定时间的水平。
4.如权利要求1所述的方法,其中,所述一个或更多个定量值包含指示在特定时间的被检者的清醒度的水平或状态的定量分数。
5.如权利要求1所述的方法,其中,处理包含:
基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;
将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和
提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。
6.如权利要求5所述的方法,还包括:
处理生理数据以增加分组数据集的信号噪声比。
7.如权利要求5所述的方法,其中,分组基于单个刺激的预先分配的类别或连续刺激的结合关系中的至少一个被确定。
8.如权利要求1所述的方法,其中,处理包括:
基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;
将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和
通过使用从被检者或其它被检者获取的先前生理数据提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。
9.如权利要求1所述的方法,其中,处理包括:
基于呈现的刺激和所选择的简档类别识别与生理信号相关的时间间隔;
将与时间间隔对应的生理数据组成为一个或更多个初始分组数据集;
通过使用包含初始分组数据集的统计试验,将向被检者呈现的所述一系列的刺激之中的各刺激分类;
基于分类的刺激,将与时间间隔对应的生理数据重新组成为一个或更多个分组数据集;和
提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的简档类别的一个或更多个定量值。
10.如权利要求1所述的方法,还包括:
在呈现该修改的一系列的刺激之前、期间和之后获取被检者的生理信号,以产生新的生理数据;和
处理新的生理数据,以产生包含与所选择的简档类别相关的一个或更多个增强定量值的增强信息集。
11.如权利要求1所述的方法,还包括:
为简档类别中的每一个创建初始的一系列的刺激。
12.如权利要求1所述的方法,其中,获取生理数据包含记录由被检者产生的脑电图(EEG)信号。
13.如权利要求12所述的方法,其中,记录EEG信号包含使用配戴于被检者的头皮上的一个或更多个柔性EEG电极传感器设备以测量记录的EEG信号并将其传送到远程处理单元。
14.如权利要求1所述的方法,其中,获取生理信号包含记录由被检者产生的肌电图(EMG)信号。
15.如权利要求1所述的方法,还包括:
在处理之前,过滤生理信号以增大生理信号的信号噪声比。
16.如权利要求1所述的方法,还包括:
在处理之前,预处理生理数据,预处理包含以下项中的一个或更多个:将生理数据分段或从生理数据识别特性。
17.如权利要求1所述的方法,还包括:
基于被检者的产生的信息集,产生机器与被检者之间的交互作用。
18.如权利要求1所述的方法,还包括:
在呈现一系列的刺激之前获取被检者的基线生理信号以产生基线生理数据。
19.如权利要求1所述的方法,其中,向被检者呈现的一系列的刺激包含用于被动刺激被检者的大脑响应的环境刺激。
20.如权利要求1所述的方法,还包括:
在呈现该一系列的刺激之前、期间和之后获取被检者的行为信号,以产生生理数据;和
处理行为数据与生理数据,以产生包含与所选择的简档类别相关的一个或更多个定量值的信息集。
21.一种用于提供认知或感觉评价的系统,包括:
与被检者连接以检测在向被检者呈现一系列的刺激之前、期间和之后由被检者表现的生理信号的传感器装置,该一系列的刺激基于包含认知性能简档、感觉性能简档、以及认知和感觉性能简档的认知-感觉简档类别;
刺激传输装置,所述刺激传输装置用于产生向被检者呈现的所述一系列的刺激,其中,刺激包括视觉、听觉、嗅觉、触觉或味觉刺激媒介中的至少一个;
数据处理系统,所述数据处理系统与传感器装置通信,并且被构建为包含一个或更多个存储器单元以及一个或更多个处理器,所述一个或更多个处理器被配置为将生理信号处理为生理数据以产生包含与认知-感觉简档类别相关的一个或更多个定量值的信息集;和
大脑-机器界面模块,所述大脑-机器界面模块与所述数据处理系统和所述刺激传输装置通信,被配置为在向被检者正在进行刺激的呈现期间通过适应性地修改所述一系列的刺激来产生修改的一系列的刺激,其中,所述修改的一系列的刺激基于与所产生的信息集相关的或从所产生的信息集导出的数据,
其中,所述信息集由数据处理系统生成而无需被检者对所述一系列的刺激的行为响应。
22.如权利要求21所述的系统,其中,刺激传输装置包括用于产生一系列的图像的显示屏幕。
23.如权利要求21所述的系统,其中,刺激传输装置包括用于产生一系列的声音的扬声器。
24.如权利要求21所述的系统,其中,刺激传输装置包括用于产生嗅觉、触觉或味觉刺激中的至少一种的系列的致动器。
25.如权利要求21所述的系统,其中,刺激传输装置与驻于数据处理系统上的大脑-机器界面模块通信,其中,所述大脑-机器界面模块被配置为基于所产生的信息集生成机器过程,并且,由所述大脑-机器界面模块生成的机器过程导致刺激传输装置修改下一次向被检者呈现的一系列的刺激。
26.如权利要求25所述的系统,其中,刺激传输装置包含桌上型计算机、膝上型计算机、或者包含智能电话或平板电脑的移动通信装置。
27.如权利要求26所述的系统,其中,数据处理系统被配置于移动通信装置中。
28.如权利要求21所述的系统,其中,大脑-机器界面模块被配置为基于产生的信息集生成机器过程,并且其中,机器过程驱动另一装置或系统以执行源自包含于产生的信息集中的信息的功能。
29.如权利要求21所述的系统,其中,所述一个或更多个定量值包含指示基于被检者的关注、记忆、学习能力、虚构特性、图案整合能力、语义整合能力、目标检测能力、情绪效价、偏好或清醒度中的至少一个的认知和感觉性能中的一个或两个的水平的定量分数,并且其中,定量分数指示在特定时间的水平。
30.如权利要求21所述的系统,其中,传感器装置包含:柔性基板、柔性基板上的传感器电极,以及与电极电气通信并且处于柔性基板上的传送单元,其中,传感器装置被配置为配戴于被检者的头皮上以记录脑电图(EEG)信号并且向数据处理系统或远程计算机系统中的至少一个传送所记录的EEG信号的一个或更多个可配戴贴片。
31.如权利要求21所述的系统,其中,传感器装置包含可固定于被检者上以接收来自被检者的电信号的电极。
32.如权利要求21所述的系统,其中,传感器装置包含捕获指示被检者的移动或运动的被检者图像的成像装置。
33.如权利要求32所述的系统,其中,成像装置捕获被检者的眼睛运动。
34.如权利要求21所述的系统,其中,数据处理系统包含:
本地计算机,与传感器装置接近并且通信以从传感器装置接收检测的生理信号,本地计算机被配置为对检测的生理信号进行初始处理以产生初始生理信号数据;和
远程计算机,通过通信网络或链接与本地计算机通信以从本地计算机接收初始生理信号数据并且处理初始生理信号数据以产生包含与认知-感觉简档类别相关的一个或更多个定量值的信息集。
35.如权利要求34所述的系统,其中,本地计算机被配置为产生初始生理信号数据作为被检者特有的个体数据,并且,远程计算机被配置为处理初始生理信号数据以产生针对被检者个性化的信息集。
36.如权利要求35所述的系统,其中,远程计算机被配置为访问被检者的一个或更多个组中的其它被检者的生理信号数据并且在处理初始生理信号数据时使用其它被检者的生理信号数据以产生针对被检者个性化的信息集。
37.一种用于提供被检者的认知或感觉评价的系统,包括:
通过通信网络或链接与远程计算机装置通信的一个或更多个计算机,
其中,所述一个或更多个计算机被配置为通过响应基于认知-感觉简档类别创建的一系列的刺激的呈现处理从个体获取的生理数据和行为数据中的一个或两个来产生包含表征个体的认知性能水平、感觉性能水平、或者认知和感觉性能水平的一个或更多个定量值的信息集,该一系列的刺激包括初始的一系列的刺激和修改的一系列的刺激,
其中,所述一个或更多个计算机包括大脑-机器界面模块,该大脑-机器界面模块被配置为在向被检者正在进行刺激的呈现期间通过适应性地修改该一系列的刺激来产生所述修改的一系列的刺激,其中,所述修改的一系列的刺激基于与所产生的信息集相关联的或从所产生的信息集导出的数据,并且
其中,所述一个或更多个计算机被配置为向远程计算机装置提供产生的信息集,
其中,所述信息集由所述一个或更多个计算机生成而无需被检者对所述一系列的刺激的行为响应。
38.如权利要求37所述的系统,其中,通过一个或更多个计算机处理生理数据和行为数据中的一个或两个包含:
基于呈现的刺激和所选择的简档类别在生理数据和/或行为数据内选择关注的时间间隔;
将与选择的关注的时间间隔对应的生理数据和/或行为数据组成为一个或更多个分组数据集;和
提供跨着分组数据集的或者分组数据集内的关系的统计测量以产生所述一个或更多个定量值。
39.一种用于提供被检者的认知或感觉评价的方法,包括:
选择指示认知或感觉功能的一个或更多个方面的认知-感觉简档类别;
向被检者呈现一系列的刺激,该一系列的刺激包括初始的一系列的刺激和修改的一系列的刺激,该一系列的刺激基于选择的认知-感觉简档类别;
在呈现该一系列的刺激之前、期间和之后获取被检者的生理信号,以产生生理数据;和
处理生理数据,以产生包含与选择的认知-感觉简档类别相关的一个或更多个定量值的信息集,
其中,在向被检者正在进行所述初始的一系列的刺激的呈现期间通过适应性地修改所述一系列的刺激来产生所述修改的一系列的刺激,其中,所述修改的一系列的刺激基于与所产生的信息集相关的或从所产生的信息集导出的数据,
其中,所述获取步骤不需要被检者对该一系列的刺激的行为响应,并且其中,所产生的信息集不包括与被检者的行为响应相关的数据。
40.如权利要求39所述的方法,其中,该一系列的刺激包含基于所选择的认知-感觉简档类别的视觉、听觉、嗅觉、触觉或味觉刺激媒介中的至少一个。
41.如权利要求39所述的方法,其中,一个或更多个定量值包含指示基于被检者的关注、记忆、学习能力、虚构特性、图案整合能力、语义整合能力、目标检测能力、情绪效价、偏好或清醒度状态中的至少一个的认知和感觉性能中的一个或两个的水平的定量分数,并且其中,定量分数指示在特定时间的水平。
42.如权利要求39所述的方法,其中,处理包含:
基于呈现的刺激和选择的认知-感觉简档类别识别与生理信号相关的时间间隔;
将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和
提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的认知-感觉简档类别的一个或更多个定量值。
43.如权利要求42所述的方法,还包括:
处理生理数据以增加分组数据集的信号噪声比。
44.如权利要求42所述的方法,其中,分组基于单个刺激的预先分配的类别或连续刺激的结合关系中的至少一个被确定。
45.如权利要求39所述的方法,其中,处理包括:
基于呈现的刺激和所选择的认知-感觉简档类别识别与生理信号相关的时间间隔;
将与时间间隔对应的生理数据组成为一个或更多个分组数据集;和
通过使用从被检者或其它被检者获取的先前生理数据提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的认知-感觉简档类别的所述一个或更多个定量值。
46.如权利要求39所述的方法,其中,处理包括:
基于呈现的刺激和选择的认知-感觉简档类别识别与生理信号相关的时间间隔;
将与时间间隔对应的生理数据组成为一个或更多个初始分组数据集;
通过使用包含初始分组数据集的统计试验,将向被检者呈现的所述一系列的刺激之中的各刺激分类;
基于分类的刺激,将与时间间隔对应的生理数据重新组成为一个或更多个分组数据集;和
提供跨着分组数据集的或者分组数据集内的关系的统计测量,以产生所选择的认知-感觉简档类别的一个或更多个定量值。
47.如权利要求39所述的方法,还包括:
在呈现该修改的一系列的刺激之前、期间和之后获取被检者的生理信号,以产生新的生理数据;和
处理新的生理数据,以产生包含与选择的认知-感觉简档类别相关的一个或更多个增强定量值的增强信息集。
48.如权利要求39所述的方法,还包括:
为认知-感觉简档类别中的每一个创建初始的一系列的刺激。
49.如权利要求39所述的方法,还包括:
基于产生的被检者的信息集,产生机器与被检者之间的交互作用。
CN201380058185.5A 2012-09-28 2013-09-27 用于感觉和认知剖析的系统和方法 Active CN104871160B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261707613P 2012-09-28 2012-09-28
US61/707,613 2012-09-28
PCT/US2013/062491 WO2014052938A1 (en) 2012-09-28 2013-09-27 Systems and methods for sensory and cognitive profiling

Publications (2)

Publication Number Publication Date
CN104871160A CN104871160A (zh) 2015-08-26
CN104871160B true CN104871160B (zh) 2018-12-07

Family

ID=50389044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380058185.5A Active CN104871160B (zh) 2012-09-28 2013-09-27 用于感觉和认知剖析的系统和方法

Country Status (10)

Country Link
US (2) US9886493B2 (zh)
EP (1) EP2901342B1 (zh)
JP (1) JP2015533559A (zh)
KR (1) KR102282961B1 (zh)
CN (1) CN104871160B (zh)
BR (1) BR112015007002B1 (zh)
CA (1) CA2886095C (zh)
ES (1) ES2838682T3 (zh)
PT (1) PT2901342T (zh)
WO (1) WO2014052938A1 (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282961B1 (ko) 2012-09-28 2021-07-29 더 리젠츠 오브 더 유니버시티 오브 캘리포니아 감각 및 인지 프로파일링을 위한 시스템 및 방법
US11229789B2 (en) 2013-05-30 2022-01-25 Neurostim Oab, Inc. Neuro activator with controller
EP3441109A1 (en) 2013-05-30 2019-02-13 Graham H. Creasey Flexible dermal patch for a topical nerve stimulator system
US20150294580A1 (en) * 2014-04-11 2015-10-15 Aspen Performance Technologies System and method for promoting fluid intellegence abilities in a subject
WO2015172017A1 (en) * 2014-05-08 2015-11-12 Medical Care Corporation Systems and methods for assessing human cognition, including a quantitative approach to assessing executive function
WO2015184391A1 (en) 2014-05-29 2015-12-03 Gil Da Costa Ricardo Physiological signal detection and analysis systems and devices
CN105208185B (zh) * 2014-06-30 2019-05-28 展讯通信(上海)有限公司 一种状态显示系统及移动终端
SG10201407018YA (en) * 2014-10-28 2016-05-30 Chee Seng Keith Lim System and method for processing heartbeat information
JP6561996B2 (ja) * 2014-11-07 2019-08-21 ソニー株式会社 情報処理装置、制御方法、および記憶媒体
US10786173B2 (en) * 2014-11-17 2020-09-29 National Institute Of Advanced Industrial Science And Technology Similarity evaluation method using brain waves, evaluation device, evaluation system, and program
US11077301B2 (en) 2015-02-21 2021-08-03 NeurostimOAB, Inc. Topical nerve stimulator and sensor for bladder control
US9443409B1 (en) * 2015-03-23 2016-09-13 Elwha Llc Systems to monitor proximity of body portions relative to an environment
US10376196B2 (en) * 2015-05-14 2019-08-13 Anthrotronix, Inc. Multi-symptom toolkit for evaluating readiness
KR101594740B1 (ko) 2015-09-08 2016-02-26 김종길 충돌물체 좌표산정용 디스플레이 시스템 및 그 구동방법
KR101758198B1 (ko) * 2015-10-08 2017-07-14 (주)라온스퀘어 다중 지능 검사 시스템 및 방법
US10839290B2 (en) 2015-10-19 2020-11-17 Decervo Llc System and method to evaluate decision-making
US10599980B2 (en) * 2015-12-21 2020-03-24 Intel Corporation Technologies for cognitive cuing based on knowledge and context
US9711056B1 (en) * 2016-03-14 2017-07-18 Fuvi Cognitive Network Corp. Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
WO2017185109A1 (de) * 2016-04-29 2017-11-02 Guger Christoph Verfahren zur bestimmung der wahrnehmungsfähigkeit eines probanden
SG11201810904RA (en) 2016-06-17 2019-01-30 Razer Asia Pacific Pte Ltd Display devices and methods for controlling a display device
CN106108847A (zh) * 2016-06-21 2016-11-16 北京理工大学 信号处理方法、装置及系统
US10530776B2 (en) 2016-06-29 2020-01-07 International Business Machines Corporation Dynamic cognitive access control list management
WO2018020334A1 (en) * 2016-07-28 2018-02-01 Tata Consultancy Services Limited System and method for aiding communication
US10713264B2 (en) * 2016-08-25 2020-07-14 International Business Machines Corporation Reduction of feature space for extracting events from medical data
US11304657B2 (en) 2016-08-26 2022-04-19 Akili Interactive Labs, Inc. Cognitive platform coupled with a physiological component
US10796246B2 (en) * 2016-12-29 2020-10-06 Arizona Board Of Regents On Behalf Of Arizona State University Brain-mobile interface optimization using internet-of-things
CN106937873A (zh) * 2017-04-28 2017-07-11 中国科学院心理研究所 一种基于甲基苯丙胺成瘾者的愤怒攻击性激发与评估方法
DE102017005867A1 (de) * 2017-06-22 2018-12-27 Hochschule RheinMain Automatisierte Analyse von evozierten Potenzial-Signalen oder ereigniskorrelierten Potenzial-Signalen einer neuronalen Aktivität
CN116784801A (zh) * 2017-07-07 2023-09-22 株式会社岛津制作所 认知功能判定方法
CA3073111C (en) 2017-08-15 2024-01-16 Akili Interactive Labs, Inc. Cognitive platform including computerized elements
WO2019060298A1 (en) 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION
KR20190033689A (ko) * 2017-09-21 2019-04-01 재단법인대구경북과학기술원 사용자의 감각에 대한 자극 제공 시스템 및 그 방법
JP2021510608A (ja) 2017-11-07 2021-04-30 ニューロスティム オーエービー インコーポレイテッド 適応回路を有する非侵襲性神経アクティベーター
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
CN107891448A (zh) * 2017-12-25 2018-04-10 胡明建 一种机械视觉听觉触觉以时间相互映射的设计方法
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US11457855B2 (en) * 2018-03-12 2022-10-04 Persyst Development Corporation Method and system for utilizing empirical null hypothesis for a biological time series
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US10890968B2 (en) * 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction
EP3850639A1 (en) * 2018-09-11 2021-07-21 ICM (Institut du Cerveau et de la Moelle Épinière) System and methods for consciousness evaluation in non-communcating subjects
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
US10664489B1 (en) * 2018-11-16 2020-05-26 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
WO2020132941A1 (zh) * 2018-12-26 2020-07-02 中国科学院深圳先进技术研究院 识别方法及相关装置
JP7165910B2 (ja) * 2019-01-24 2022-11-07 パナソニックIpマネジメント株式会社 印象評価システム、及び、印象評価方法
JP7156081B2 (ja) * 2019-02-20 2022-10-19 株式会社島津製作所 認知機能の指標化方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110262658B (zh) * 2019-06-14 2023-02-03 长春理工大学 一种基于强化注意的脑机接口字符输入系统及实现方法
CN114126704A (zh) 2019-06-26 2022-03-01 神经科学技术有限责任公司 具有自适应电路的非侵入性神经激活器
WO2021075548A1 (ja) * 2019-10-18 2021-04-22 株式会社Splink 脳状態推定装置、コンピュータプログラム、脳状態推定方法、脳機能の検査システムおよび方法
CN114728161A (zh) 2019-12-16 2022-07-08 神经科学技术有限责任公司 具有升压电荷输送的非侵入性神经激活器
CN111297379A (zh) * 2020-02-10 2020-06-19 中国科学院深圳先进技术研究院 一种基于感官传递的脑机结合系统和方法
JP2021146102A (ja) * 2020-03-23 2021-09-27 株式会社リコー 情報解析装置および情報解析方法
US11625636B2 (en) 2020-03-31 2023-04-11 Raytheon Company System and method for organic cognitive response (OCR) feedback for adaptive work instructions
US20210378582A1 (en) * 2020-06-08 2021-12-09 Covidien Lp Systems and methods for assessing stroke risk
CN112200066B (zh) * 2020-10-09 2022-04-08 河北工业大学 一种结合空间与频率的体感刺激脑机接口范式及实现方法
CN112587136B (zh) * 2020-12-09 2022-02-25 北京意图科技有限公司 味觉感官评估方法和系统
WO2022165832A1 (zh) * 2021-02-08 2022-08-11 张鸿勋 在大脑中产生反馈的方法、系统及大脑键盘
ES2923102A1 (es) * 2021-03-12 2022-09-23 Univ Castilla La Mancha Dispositivo tactil para la obtencion de informacion de un usuario, sistema que integra dicho dispositivo y procedimiento de utilizacion de dicho sistema
US11263749B1 (en) * 2021-06-04 2022-03-01 In-Med Prognostics Inc. Predictive prognosis based on multimodal analysis
EP4376702A1 (en) * 2021-07-29 2024-06-05 Ofer, Moshe Methods and systems for non-sensory information rendering and injection
EP4151152A1 (en) * 2021-09-20 2023-03-22 Koninklijke Philips N.V. Adaptive testing for impulse control
US11856592B2 (en) * 2021-10-27 2023-12-26 International Business Machines Corporation Multi-dimensional mapping and user cognitive profile based device control and channel assignment
US20230178215A1 (en) * 2021-12-07 2023-06-08 Unitedhealth Group Incorporated Audio stimulus prediction machine learning models
WO2023172791A1 (en) * 2022-03-10 2023-09-14 Ice Neurosystems, Inc. Systems and methods for guided eeg stimulation
WO2023228131A1 (en) * 2022-05-25 2023-11-30 Sens.Ai Inc Method and apparatus for wearable device with timing synchronized interface for cognitive testing
US20240016438A1 (en) * 2022-07-13 2024-01-18 Brainvivo Ltd. Segmenting audiences using brain type information
CN115295153B (zh) * 2022-09-30 2023-01-20 北京智精灵科技有限公司 基于深度学习的认知评估方法及认知任务推送方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6832110B2 (en) * 2001-09-05 2004-12-14 Haim Sohmer Method for analysis of ongoing and evoked neuro-electrical activity
US6947790B2 (en) * 2000-06-26 2005-09-20 Sam Technology, Inc. Neurocognitive function EEG measurement method and system

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4092981A (en) 1976-07-15 1978-06-06 John Paul Ertl Method and apparatus for brain waveform examination
USRE34015E (en) 1981-05-15 1992-08-04 The Children's Medical Center Corporation Brain electrical activity mapping
US4987903A (en) 1988-11-14 1991-01-29 William Keppel Method and apparatus for identifying and alleviating semantic memory deficiencies
US5406956A (en) 1993-02-11 1995-04-18 Francis Luca Conte Method and apparatus for truth detection
US6066163A (en) * 1996-02-02 2000-05-23 John; Michael Sasha Adaptive brain stimulation method and system
US6463328B1 (en) 1996-02-02 2002-10-08 Michael Sasha John Adaptive brain stimulation method and system
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6032065A (en) * 1997-07-21 2000-02-29 Nellcor Puritan Bennett Sensor mask and method of making same
US6385486B1 (en) 1997-08-07 2002-05-07 New York University Brain function scan system
US6016449A (en) 1997-10-27 2000-01-18 Neuropace, Inc. System for treatment of neurological disorders
US7277758B2 (en) 1998-08-05 2007-10-02 Neurovista Corporation Methods and systems for predicting future symptomatology in a patient suffering from a neurological or psychiatric disorder
CA2456302A1 (en) 2001-08-07 2003-02-20 Lawrence Farwell Method for psychophysiological detection of deception through brain function analysis
AU785226B2 (en) 2001-09-25 2006-11-16 United States Department Of Veterans Affairs Method and apparatus for diagnosing schizophrenia and schizophrenia subtype
CA2477488A1 (en) 2002-02-04 2003-08-14 Great Lake Biosciences, Llc Treatment of neurological disorders using electrical stimulation
US20100010336A1 (en) 2002-02-07 2010-01-14 Pettegrew Jay W Method and system for diagnosis of neuropsychiatric disorders including attention deficit hyperactivity disorder (adhd), autism, and schizophrenia
US7130673B2 (en) 2003-04-08 2006-10-31 Instrumentarium Corp. Method of positioning electrodes for central nervous system monitoring and sensing pain reactions of a patient
WO2004112604A2 (en) 2003-06-19 2004-12-29 Neuronetrix, Inc. Device and method for an automated e.e.g. system for auditory evoked responses
WO2005022293A2 (en) 2003-06-20 2005-03-10 Brain Fingerprinting Laboratories, Inc. Method for a classification guilty knowledge test and integrated system for detection of deception and information
US20050131288A1 (en) 2003-08-15 2005-06-16 Turner Christopher T. Flexible, patient-worn, integrated, self-contained sensor systems for the acquisition and monitoring of physiologic data
US20060293608A1 (en) 2004-02-27 2006-12-28 Axon Sleep Research Laboratories, Inc. Device for and method of predicting a user's sleep state
US7688816B2 (en) 2004-03-15 2010-03-30 Jinsoo Park Maintaining packet sequence using cell flow control
US20050273017A1 (en) 2004-03-26 2005-12-08 Evian Gordon Collective brain measurement system and method
JP4833202B2 (ja) * 2004-06-18 2011-12-07 ニューロントリックス インコーポレイテッド 神経学的疾患のための誘発反応試験システム
CA2594989A1 (en) * 2005-01-14 2006-07-20 Nonlinear Medicine, Inc. Knowledge determination system
KR20060085543A (ko) 2005-01-24 2006-07-27 이순혁 휴대 단말기 TTA 규격 24핀 커넥터 부착용 외장형블루투스 모듈을 이용한 무선 뇌파 측정, 훈련,뉴로피드백(Neuro Feedback) 훈련 겸용 시스템.
US20070100214A1 (en) 2005-03-10 2007-05-03 Steinert John W Method and apparatus for stimulating exercise
US7904144B2 (en) 2005-08-02 2011-03-08 Brainscope Company, Inc. Method for assessing brain function and portable automatic brain function assessment apparatus
TW200727867A (en) * 2005-09-12 2007-08-01 Emotiv Systems Pty Ltd Detection of and interaction using mental states
US7647098B2 (en) 2005-10-31 2010-01-12 New York University System and method for prediction of cognitive decline
US20090220425A1 (en) * 2006-01-19 2009-09-03 Drexel University Method to Quantitatively Measure Effect of Psychotropic Drugs on Sensory Discrimination
WO2007106083A1 (en) * 2006-03-13 2007-09-20 Ivs Psychotechnologies Corporation Psychological testing or teaching a subject using subconscious image exposure
GB0613551D0 (en) * 2006-07-07 2006-08-16 Diagnostic Potentials Ltd Investigating neurological function
USD597676S1 (en) 2006-10-24 2009-08-04 Zeo, Inc. Headband with physiological sensors
US7844324B2 (en) 2007-02-14 2010-11-30 The General Electric Company Measurement of EEG reactivity
US20080221422A1 (en) 2007-03-08 2008-09-11 General Electric Company Sensor measurement system having a modular electrode array and method therefor
US9402558B2 (en) * 2007-04-05 2016-08-02 New York University System and method for pain detection and computation of a pain quantification index
JP5361868B2 (ja) * 2007-05-01 2013-12-04 ニューロフォーカス・インコーポレーテッド 神経情報貯蔵システム
US8588883B2 (en) 2007-09-21 2013-11-19 Sunstar Suisse Sa Electrode assemblies and bruxism monitoring apparatus
JP2011517962A (ja) 2007-10-04 2011-06-23 ニューロニクス エルティーディー. 中枢神経系に関連する医学的状態の治療のための、および認知機能の向上のためのシステムならびに方法
CN101848676A (zh) 2007-11-06 2010-09-29 海得拓公司 用于进行脑电图描记的装置和方法
US8271075B2 (en) 2008-02-13 2012-09-18 Neurosky, Inc. Audio headset with bio-signal sensors
US8684926B2 (en) * 2008-02-25 2014-04-01 Ideal Innovations Incorporated System and method for knowledge verification utilizing biopotentials and physiologic metrics
CN101296554B (zh) 2008-06-19 2011-01-26 友达光电股份有限公司 等离子体处理装置及其上电极板
US8473024B2 (en) 2008-08-12 2013-06-25 Brainscope Company, Inc. Flexible headset for sensing brain electrical activity
US20100099954A1 (en) 2008-10-22 2010-04-22 Zeo, Inc. Data-driven sleep coaching system
US20120094315A1 (en) 2008-12-09 2012-04-19 Stephanie Fryar-Williams Biomarkers for the diagnosis and/or prediction of susceptibility to mental and neurodegenerative disorders
US9173582B2 (en) * 2009-04-24 2015-11-03 Advanced Brain Monitoring, Inc. Adaptive performance trainer
EP2442714A1 (en) * 2009-06-15 2012-04-25 Brain Computer Interface LLC A brain-computer interface test battery for the physiological assessment of nervous system health
WO2011051955A2 (en) * 2009-11-02 2011-05-05 Jonathan Bentwich Computerized system or device and method for diagnosis and treatment of human, physical and planetary conditions
US20110109879A1 (en) * 2009-11-09 2011-05-12 Daphna Palti-Wasserman Multivariate dynamic profiling system and methods
KR20130051922A (ko) 2010-03-04 2013-05-21 뉴미트라 엘엘씨 심리장애(psychological disorders) 치료를 위한 장치 및 방법
JP5467267B2 (ja) 2010-03-05 2014-04-09 国立大学法人大阪大学 機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体
WO2011150407A2 (en) 2010-05-28 2011-12-01 The Regents Of The University Of California Cell-phone based wireless and mobile brain-machine interface
JP4921621B2 (ja) 2010-06-14 2012-04-25 パナソニック株式会社 脳波計測システム、脳波計測方法及びそのプログラム
JP6124140B2 (ja) * 2010-06-22 2017-05-10 ナショナル リサーチ カウンシル オブ カナダ 患者の認知機能の評価
US20120077160A1 (en) * 2010-06-25 2012-03-29 Degutis Joseph Computer-implemented interactive behavioral training technique for the optimization of attention or remediation of disorders of attention
US8478394B2 (en) 2010-08-16 2013-07-02 Brainscope Company, Inc. Field deployable concussion assessment device
JP2013539997A (ja) 2010-09-10 2013-10-31 ニューロントリックス・ソリューションズ・エルエルシー 帯域内インピーダンス検出を用いる電極システム
US8577440B2 (en) 2011-03-29 2013-11-05 Covidien Lp Method and system for positioning a sensor
KR101218203B1 (ko) 2011-03-31 2013-01-03 (주)락싸 인체 장착형 센서셋 및 그 동작 방법
KR102282961B1 (ko) 2012-09-28 2021-07-29 더 리젠츠 오브 더 유니버시티 오브 캘리포니아 감각 및 인지 프로파일링을 위한 시스템 및 방법
CA2887535C (en) 2012-10-12 2021-03-09 The Regents Of The University Of California Configuration and spatial placement of frontal electrode sensors to detect physiological signals
EP2916721A4 (en) 2012-11-10 2016-10-26 Univ California SYSTEMS AND METHODS FOR ASSESSING NEUROPATHOLOGIES

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947790B2 (en) * 2000-06-26 2005-09-20 Sam Technology, Inc. Neurocognitive function EEG measurement method and system
US6832110B2 (en) * 2001-09-05 2004-12-14 Haim Sohmer Method for analysis of ongoing and evoked neuro-electrical activity

Also Published As

Publication number Publication date
US20180285442A1 (en) 2018-10-04
EP2901342A4 (en) 2016-06-22
BR112015007002A2 (pt) 2017-07-04
JP2015533559A (ja) 2015-11-26
ES2838682T3 (es) 2021-07-02
KR102282961B1 (ko) 2021-07-29
US10891313B2 (en) 2021-01-12
KR20150076167A (ko) 2015-07-06
US20150248470A1 (en) 2015-09-03
EP2901342A1 (en) 2015-08-05
PT2901342T (pt) 2020-12-11
US9886493B2 (en) 2018-02-06
CN104871160A (zh) 2015-08-26
BR112015007002B1 (pt) 2022-10-18
WO2014052938A1 (en) 2014-04-03
CA2886095A1 (en) 2014-04-03
CA2886095C (en) 2023-04-04
EP2901342B1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
CN104871160B (zh) 用于感觉和认知剖析的系统和方法
Mridha et al. Brain-computer interface: Advancement and challenges
CN104902806B (zh) 神经病理的评估系统及方法
Nicolas-Alonso et al. Brain computer interfaces, a review
Oberman et al. Face to face: Blocking facial mimicry can selectively impair recognition of emotional expressions
KR102241759B1 (ko) 인공지능 기반 뇌 정보 제공 장치
KR102388596B1 (ko) 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법
Wang et al. Unsupervised decoding of long-term, naturalistic human neural recordings with automated video and audio annotations
Leoni et al. Automatic stimuli classification from ERP data for augmented communication via Brain–Computer Interfaces
Su et al. Adolescents environmental emotion perception by integrating EEG and eye movements
KR102211050B1 (ko) 의료 영상 정보를 이용한 인공지능 기반 뇌 정보 제공 장치
Kannadasan et al. An EEG-Based Computational Model for Decoding Emotional Intelligence, Personality, and Emotions
Taherisadr et al. Erudite: Human-in-the-loop iot for an adaptive personalized learning system
Samal et al. Role of machine learning and deep learning techniques in EEG-based BCI emotion recognition system: a review
Wang et al. EEG-based emotion identification using 1-D deep residual shrinkage network with microstate features
Sanchez Real-time electrophysiology in cognitive neuroscience: towards adaptive paradigms to study perceptual learning and decision making in humans
Sohaib et al. An empirical study of machine learning techniques for classifying emotional states from EEG data
Gan et al. [Retracted] Electroencephalogram of Happy Emotional Cognition Based on Complex System of Music and Image Visual and Auditory
KR102211049B1 (ko) 생체 정보를 이용한 인공지능 기반 뇌 정보 제공 장치
Li A Dual-Modality Emotion Recognition System of EEG and Facial Images and its
Nia et al. FEAD: Introduction to the fNIRS-EEG Affective Database-Video Stimuli
Wang Gaze-Based Biometrics: Some Case Studies
Hossain I Can Feel You Are Smiling Happily: Distinguishing between Real and Posed Smiles from Observers' Peripheral Physiology
Qu Time Continuity Voting for Electroencephalography (EEG) Classification
Valzolgher Motor Strategies: The Role of Active Behavior in Spatial Hearing Research

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant