CN111511269B - 从脑电图信号解码个人的视觉注意 - Google Patents

从脑电图信号解码个人的视觉注意 Download PDF

Info

Publication number
CN111511269B
CN111511269B CN201880072508.9A CN201880072508A CN111511269B CN 111511269 B CN111511269 B CN 111511269B CN 201880072508 A CN201880072508 A CN 201880072508A CN 111511269 B CN111511269 B CN 111511269B
Authority
CN
China
Prior art keywords
signals
signal
visual
visual stimulus
modulated signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880072508.9A
Other languages
English (en)
Other versions
CN111511269A (zh
Inventor
S·库德尔
J-M·莱昂内蒂
N·巴拉斯库
R·泽拉法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rex Med Co
Original Assignee
Academy Of Social Sciences
Centre National de la Recherche Scientifique CNRS
Ecole Normale Superieure
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy Of Social Sciences, Centre National de la Recherche Scientifique CNRS, Ecole Normale Superieure filed Critical Academy Of Social Sciences
Priority to CN202310541524.0A priority Critical patent/CN117158966A/zh
Publication of CN111511269A publication Critical patent/CN111511269A/zh
Application granted granted Critical
Publication of CN111511269B publication Critical patent/CN111511269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Primary Health Care (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于从脑电图信号确定个人的视觉注意焦点的方法。从至少一个图形对象生成(411)要显示的至少一个视觉刺激，视觉刺激是通过将由相应的调制信号在时间上进行参数化的基本变换的时间序列应用于图形对象而获得的动画图形对象。从通过个人将他的视觉注意力集中到视觉刺激之一产生的多个脑电图信号重构调制信号(414)。识别(415)与重构调制信号的统计依赖性程度高于第一阈值的调制信号相对应的视觉刺激。

Description

从脑电图信号解码个人的视觉注意
技术领域
本说明书涉及一种用于从脑电图信号确定个人的视觉注意焦点的方法和系统。
背景技术
可以观察到各种专用于在多种应用中记录和利用脑电图信号(EEG信号)的便携式系统的出现。特别地，用于记录EEG信号的系统的小型化和用于EEG信号的实时解码的分析技术的实质性发展意味着现在可以设想使用既快速又可靠的新应用。
某些解码技术基于从EEG信号中提取电生理特征，从而可以预测环境中大脑活动与视觉刺激之间的持续关系。此处的困难在于，在EEG信号中实时识别视觉刺激的特定特征，这些特征属于个人在众多其他视觉输入中所注意的刺激。这样的解码必须是可靠的，也就是说，必须能够确定个人正在注意哪个特定内容，以便能够以足够的速度和精度触发与视觉刺激相对应的命令。
专利文献US8391966B2描述了一种用于分析由个体观察刺激产生的EEG信号的技术，每个刺激由以给定频率闪烁的光源构成。为了识别在给定时间观察到的视觉刺激，产生了各种特征以便将EEG信号分类为与不同刺激相对应的类别。
例如，将EEG信号分成连续的段，并且计算给定信号的段对之间的相关系数，以产生第一组特征。计算平均相关系数，然后将其与阈值进行比较，以确定用户是否正在观察刺激。而且，可以分析EEG信号与刺激之间的相关性以产生第二组特征：如果个体实际上正在观察刺激，则与该刺激的相关性程度将更高。可以从平均EEG信号计算自回归模型的系数，该模型的系数构成第三组特征。
该技术假定通过多组特征对EEG预先分类，该分类与基于阈值化、对最近邻居的搜索、神经网络等的区分方法相关联。因此，该技术取决于所用特征的相关性和所采用的分类方法。
此外，该技术仅限于采取闪光灯形式的刺激，极大地限制了其应用范围。
已知其他方法，例如，Guangyu Bin等人题为“An online multi-channel SSVEP-based brain computer interface using canonical correlation analysis method”(Journal of Neural Engineering,IOP Publishing,2009)的文件使用了修改的典型相关分析(CCA)方法。
因此，似乎需要一种可靠且实时的EEG解码技术，该技术可应用于用户与软件应用程序(例如包括文本、图像和/或菜单的软件应用程序)之间的脑机接口。
发明内容
根据第一方面，本发明的目的是一种用于根据脑电图信号确定个人的视觉注意的焦点的方法。该方法包括：从至少一个图形对象、从至少一个基本变换以及从包含至少一个调制信号的集合生成要显示的包含至少一个视觉刺激的集合，视觉刺激是通过将基本变换的时间序列应用于图形对象而获得的动画图形对象，所述基本变换的时间序列在时间上由相应的调制信号进行参数化；从所述个体产生的多个脑电图信号重构调制信号，以获得重构调制信号；计算所述重构调制信号与所述包含至少一个调制信号的集合中的每个调制信号之间的统计依赖性程度；识别与统计依赖性程度高于第一阈值的调制信号相对应的至少一个视觉刺激。
根据第一方面的方法包括混合解码方法，该混合解码方法将基于从脑电图(EEG)信号的刺激重构的方法与利用一个或多个刺激的方法相结合，所述一个或多个刺激中的每个刺激具有能够在观察这些一个或多个刺激的个体的大脑中再现的时间特征，因为这些时间特征可以在EEG信号中找到，因此可以在EEG信号中直接识别。这样的组合既可以增加EEG信号对所产生的刺激的灵敏度(即信噪比)，又可以提供一种可实时应用的可靠分析方法。该方法适用于一个或多个视觉刺激。
此外，使用基本变换(例如，光强度的变化、对比度的变化、比色变换、几何变形、旋转和振荡、沿路径的移动等)可以实现采取要提供的图形对象形式的范围广泛的视觉刺激，这为许多应用打开了大门，这些应用要求在同时呈现给用户的许多图形对象之间进行区分。
因此，该技术例如适用于字母数字字符的键盘显示，以识别用户正在注意的字母数字字符，或更普遍地适用于多个徽标、菜单、图形元素等的显示。只要调制信号的频率分量低于约25Hz，则该调制信号产生的调制不会影响观看舒适度。例如，调制信号具有周期性模式，其以2Hz到20Hz之间的频率重复，该调制频率以对应于用于显示刺激的监视器的刷新率(通常高于60Hz)的采样频率进行采样。
对统计依赖性的重构和搜索可以实时进行，这允许实时识别个人正在注意的图形对象。特别地，不需要将EEG信号预先分类为分别对应于各种刺激的类别来重构调制信号。
在根据第一方面的方法的一个或多个实施例中，所述包含至少一个视觉刺激的集合包括多个视觉刺激，并且所述包含至少一个调制信号的集合包括多个调制信号，并且该方法还包括：在所述多个调制信号中搜索与所述重构调制信号的统计依赖性程度最大的调制信号；以及识别对应于统计依赖性程度最大的调制信号的视觉刺激，所述多个调制信号被构成为，使得对于所有与两个单独的视觉刺激相对应的成对的调制信号对，在时域和/或频域中确定的总体统计依赖性程度低于第二阈值。
在根据第一方面的方法的另一个实施例中，通过将重构模型应用于多个脑电图信号来执行重构。
重构模型建立了一种数学关系，该关系存在于用于生成视觉刺激的调制信号和将注意力集中在该视觉刺激的个人的脑电图响应之间。因此，重构模型用于从EEG信号中提取与刺激类型有关的信息。该关系主要取决于用于获取EEG信号的设备的电极在个人(也称为用户)的头颅上的位置。具体而言，刺激的视觉特征(类型、大小、位置、颜色等)对该关系影响很小。
重构模型可以使用允许EEG信号被组合的各种线性或非线性数学模型来重构调制信号。由于重构信号是重构的，而不是视觉刺激本身(即在屏幕上显示的动画图形对象)，因此重构可以简单而精确地进行，例如通过EEG信号的简单线性组合，并且这不受对用作视觉刺激的动画图形对象的性质或语义内容的限制。
还促进了对重构的调制信号与一个或多个各种调制信号之间的统计依赖性的搜索。此外，可以在任何当前可用的屏幕上(例如：计算机屏幕、平板电脑屏幕、电话终端的屏幕等)显示一个或多个视觉刺激。因此，没有必要提供用于产生刺激的专用系统。因此，使用调制信号来产生视觉刺激不仅允许容易地进行对统计依赖性的重构和搜索，而且使得该方法灵活且适用于采取动画图形对象形式的任何类型的视觉刺激。
在根据第一方面的方法的一个或多个实施例中，重构模型包括脑电图信号组合的多个参数，并且该方法包括在初始学习阶段中确定脑电图信号组合的所述多个参数中的参数的值。
在根据第一方面的方法的一个或多个实施例中，该方法还包括：在应用于所述多个视觉刺激中的包含至少一个视觉刺激的子集的初始学习阶段中，为所述包含至少一个视觉刺激的子集的每个视觉刺激获得由个人将他的注意力集中在所关注的视觉刺激上而产生的测试脑电图信号；以及确定脑电图信号组合的所述多个参数的最佳值，对于这些值，将重构模型应用于为视觉刺激而记录的多个测试脑电图信号可产生尽可能与所关注的视觉刺激相对应的调制信号接近的重构调制信号与。
因此，通过为给定的获取设备确定EEG信号组合的参数，可以可靠地生成重构的调制信号并将其与用于生成视觉刺激的调制信号进行比较。由于该关系随着时间的推移是稳定的，并且不非常依赖于视觉刺激和图形对象，因此，EEG信号组合的这些参数可重复用于要呈现给个人的所有后续视觉刺激，即使这些刺激与用于在学习阶段确定重构模型的那些刺激不同。
最后，重构模型允许管理从一个人到另一个人的潜在变化，因为可以针对每个人调整重构模型的参数。
根据一个或多个实施例，基本变换是变换集合中的变换，该变换集合包括光强度的变化、对比度的变化、比色变换、几何变形、旋转、振荡、沿路径的移动、形状的变化和图形对象的变化，或从所述变换集合中选择的变换的组合。
根据第二方面，本说明书的主题是一种计算机程序，其包含程序代码指令，当所述计算机程序由数据处理器执行时，所述程序代码指令用于执行根据第一方面的方法的步骤。
根据第三方面，本说明书的主题是一种计算系统，其包括：至少一个用于存储计算机程序的代码指令的存储器，该计算机程序被配置为执行根据第一方面的方法；以及至少一个数据处理器，其被配置为执行这样的计算机程序。
根据第四方面，本说明书的主题是一种用于根据脑电图信号确定个人的视觉注意的焦点的系统，该系统包括用于根据所描述的任一实施例实现根据第一方面的方法的装置。
该系统特别包括用于生成显示信号的设备，该设备被配置为从至少一个图形对象、从至少一个基本变换以及从包含至少一个调制信号的集合生成要显示的包含至少一个视觉刺激的集合，视觉刺激是通过将基本变换的时间序列应用于图形对象而获得的动画图形对象，所述基本变换的时间序列在时间上由相应的调制信号进行参数化；信号处理设备，其被配置为：获得个体产生的多个脑电图信号；通过从所述多个脑电信号重构调制信号来获得重构调制信号；计算所述重构调制信号与所述包含至少一个调制信号的集合的每个调制信号之间的统计依赖性程度；以及识别与统计依赖性程度高于第一阈值的调制信号相对应的至少一个视觉刺激。
根据第四方面的系统的一个或多个实施例，所述包含至少一个视觉刺激的集合包括多个视觉刺激，并且所述包含至少一个调制信号的集合包括多个调制信号，并且所述信号处理设备还被配置为：在所述多个调制信号中搜索与所述重构调制信号的统计依赖性程度最大的调制信号；以及识别对应于统计依赖性程度最大的调制信号的视觉刺激，所述多个调制信号被构成为，使得对于所有与两个单独的视觉刺激相对应的成对的调制信号对，在时域和/或频域中确定的总体统计依赖性程度低于第二阈值。
附图说明
参考附图，通过阅读下面给出的详细描述，上面提出的技术的其他优点和特征将变得明显易见，其中：
图1A示意性地示出了根据实施例的一个示例的用于从EEG信号确定个人的视觉注意的焦点的系统；
图1B示意性地示出了根据实施例的一个示例的计算设备；
图2A示意性地示出了根据实施例的一个示例的在用于确定视觉注意的焦点的系统和方法中利用的数据和信号；
图2B至图2E各自示意性地示出了可用于确定视觉注意的焦点的方法或系统中使用的调制信号的示例；
图3示意性地示出了用于确定视觉注意的焦点的方法和系统的多个方面。
图4A是根据实施例的一个示例的用于生成EEG信号重构模型的方法的流程图；
图4B是根据实施例的一个示例的用于确定个人的视觉注意的焦点的方法的流程图；
图5示出了动画图形对象的示例；
图6示出了视觉刺激的示例；
图7示出了用于确定视觉注意的焦点的系统和方法的应用示例。
在参考附图描述的各种实施例中，相似或相同的元件用相同的附图标记来表示。
具体实施方式
参考描述方法、系统和程序的各种实施例的功能、功能单元、实体、框图和流程图给出本描述。流程图的每个功能、功能单元、实体和步骤可以通过软件、硬件、固件、微代码或这些技术的任何适当组合来实现。当使用软件时，功能、功能单元、实体或步骤可以通过计算机程序指令或软件代码来实现。这些指令可以被存储或传输到计算机可读存储介质和/或由计算机执行，以实现这些功能、功能单元、实体或步骤。
以下描述的各种实施例和方面可以以多种方式组合或简化。特别地，可以针对所关注的图形对象的每个集合和/或所关注的每个用户重复各种方法的步骤，步骤可以被反转、并行执行和/或由各种计算实体执行。为了确保描述的清楚性，仅详细描述了示例的某些实施例，但是这些示例并不旨在限制本说明书整体上清楚表明的原理的一般范围。
图1A示意性地示出了用于从脑电图信号确定个人(以下也称为用户)101的视觉注意的焦点的系统100的实施例的示例。
在一个或多个实施例中，系统100包括配置为显示动画图形对象的显示屏105、用于生成显示信号的设备110、信号处理设备120、用于获取EEG信号的设备130和用于控制设备130的设备140。
在一个或多个实施例中，用于生成显示信号的设备110被配置为生成将由显示屏105显示的显示信号。这些显示信号对旨在通过显示屏105呈现给用户101的多个视觉刺激进行编码。
在一个或多个实施例中，设备130被配置为获取EEG信号。例如，该设备采取头罩的形式，该头罩配备有旨在与使用者101的头颅接触的电极。这种头罩例如是由
Figure BDA0002482536790000081
制造的头罩，其配备有64个电极。可以使用其他类型的设备：例如，由Electric GeodesicsInc./>
Figure BDA0002482536790000082
出售的GeodesicTM EEG设备，或由Compumedics/>
Figure BDA0002482536790000083
出售的设备，这些设备通常使用16至256个电极。作为示例，在本说明书的其余部分中假设设备130采取头罩的形式。
在一个或多个实施例中，信号处理设备120被配置为处理借助于用于获取EEG信号的头罩130所获取的EEG信号。
在一个或多个实施例中，用于控制设备130的设备140是用作头罩130和/或信号处理设备120之间的接口的设备。控制设备140被配置为控制EEG信号的获取并获得由头罩130获取的EEG信号。特别地，用于控制头罩130的设备140被配置为发送命令以触发对EEG信号的获取。
这里关于用于生成显示信号的设备110、信号处理设备120和控制设备140描述的全部或一些功能可以由软件和/或硬件来执行，并且可以在包括数据处理器和至少一个用于存储数据的存储器的至少一个计算设备中实现。
在一个或多个实施例中，每个设备110、120、140以及所描述的方法的每个步骤由一个或多个物理上分开的计算设备来实现。反之，各种设备110、120、140可以集成到一个相同的计算设备中。同样，这里描述的方法的步骤可以由一个相同的计算设备来实现。用于获取EEG信号的设备130还可以包括计算设备，并且被配置(数据处理器、存储器等)为实现本文描述的方法的全部或一些步骤。
每个计算设备总体上具有计算机的架构，包括这种架构的组件：一个或多个数据存储器、一个或多个处理器、通信总线、一个或多个用户界面、一个或多个用于将该计算设备连接到网络或另一台设备等的硬件接口。
这种架构的实施例的示例在图1B中示出。该架构包括处理单元180(该处理单元180包括至少一个数据处理器)、至少一个存储器181、一个或多个数据存储介质182以及诸如网络接口和用于外围设备连接的接口之类的硬件接口183，以及至少一个用户接口184(该用户接口184包括一个或多个输入/输出设备，例如鼠标、键盘、显示器等)。数据存储介质182包括计算机程序186的代码指令。这样的存储介质182可以是诸如光盘(CD、CD-R或CD-RW)、DVD(DVD-ROM或DVD-RW)或蓝光盘的光学存储设备，诸如硬盘、闪存、磁带或软盘的磁介质，诸如USB密钥、SD或micro-SD存储卡的可移动存储介质等。存储器181可以是随机存取存储器(RAM)、只读存储器(ROM)、高速缓冲存储器、非易失性存储器、备份存储器(例如闪存或可编程存储器)、只读存储器或这些类型的存储器的任意组合。处理单元180可以是包括至少一个基于计算硬件的处理器的任何微处理器、集成电路或中央处理单元。
图2A示意性地示出了在用于确定视觉注意的焦点的系统和方法中利用的数据和信号。现在将介绍相应的符号。
在一个或多个实施例中，使用了旨在呈现给用户101的多个图形对象O1，O2，…，ON。这些图形对象中的每一个可以是字母数字字符(数字或字母或其他字符)、徽标、图像、文本、用户界面菜单的元素、用户界面按钮、图形表达、3-D对象等。这些图形对象中的每一个都可以通过位图或矢量图像进行编码。
在一个或多个实施例中，定义一个或多个基本变换T1，T2，…，TP以便被应用于图形对象O1，O2，…，ON。基本变换可以是：光强度的变化、对比度的变化、比色变换、几何变形、旋转、振荡、沿平面或三维路径的移动、形状的变化，甚至是更改图形对象等。图形对象的更改可以例如对应于将图形对象替换为同一类别的另一个图形对象的变换，例如，将字母(例如A)替换为另一个字母(例如B)，将数字替换为另一个数字，将徽标替换为另一个徽标等。基本变换也可以是多个上述基本变换的组合。
这些基本变换中的每一个都可以通过至少一个应用参数来参数化。
在一个或多个实施例中，应用参数以预设刻度来定义基本变换的变换程度。例如，可以使用从0到100或从-100到+100的刻度。
例如，当基本变换是光强度的变化时，可以以介于0到100之间的变换程度来应用这种强度变化，变换程度等于0意味着不修改编码图形对象的图像，而等于100的变换程度表示图像变成完全白色或黑色。通过使变换程度在0到100之间变化，可以获得一种效果，使图像看起来像是闪烁的。
根据另一示例，当基本变换是对比度的变化时，可以以在0至100之间变化的变换程度来应用对比度的该变化，变换程度等于0意味着不修改编码图形对象的图像，而等于100的变换程度表示图像的对比度最大(如果以灰度编码，则图像变为黑白图像)。
同样，对于变形类型的几何变形，变换程度可以对应于变形程度。对于旋转，变换程度可以对应于旋转角度。对于振荡，变换程度可以对应于振荡的速率和/或幅度。对于路径上的运动，变换程度可以对应于路径上的行进距离和/或移动速度。对于形状的改变(或对象类别的改变)，变换程度可以对应于反映从一种形状(或类别)到另一种形状(或类别)的过渡的速率和/或幅度。
对于每个图形对象O1，O2，……，ON，生成相应的调制信号SM1，SM2，……，SMN。调制信号用于将应用于所关注的图形对象的基本变换的一个或多个应用参数中的变化定义为时间的函数。例如，在时间t的变换程度di(t)由在时间t的调制信号SMi的幅度SMi(t)定义。
在一个或多个实施例中，从一个或多个对应的基本变换以及从对应的调制信号为每个对应的图形对象O1，O2，…，ON生成动动画图形对象OA1，OA2，…，OAN。如此生成的动画图形对象OA1，OA2，…，OAN呈现在显示屏105上。
在一个或多个实施例中，视觉刺激是通过将基本变换的时间序列STi应用于相应的图形对象Oi而获得的动画图形对象OAi(i为1和N之间的的整数)，该时间序列由相应的调制信号SMi进行参数化。因此，在时间区间[tmin，tmax]中，在时间为t0，t1，...，tz，...的离散序列的每个时间tz上，通过将相应的基本变换Ti应用于图形对象Oi，生成了修改的图形对象OAi(tz)，所应用的变换程度di(tz)对应于与图形对象Oi相对应的调制信号SMi在时间tz处的幅度SMi(tz)。因此，当tz在时间区间[tmin，tmax]中变化时，动画图形对象对应于修改后的图形对象OAi(tz)的时间序列。
在一个或多个实施例中，借助于用于获取EEG信号的设备130来获取表示为E1，E2，…，EX的EEG信号。从EEG信号E1，E2，…，EX，生成重构调制信号SMR。
在一个或多个实施例中，通过将重构模型MR应用于信号E1，E2，…，EX来生成重构调制信号SMR。重构模型MR的参数表示为P1，P2，…PK。
重构模型MR可以是线性模型，重构调制信号是信号E1，E2，…，EX的线性组合。
可以使用其他更复杂的模型，特别是基于神经网络的模型。
在一个或多个实施例中，调制信号由基本信号组成。这些基本信号可以是方波信号、三角波信号、正弦信号等。调制信号可以具有不同的持续时间。在一个或多个实施例中，调制信号是周期性的，每个调制信号周期性地再现时间模式。例如，调制信号具有周期性的时间模式，其以2Hz到20Hz之间的频率重复，该调制频率以对应于显示器的刷新率(通常高于60Hz)的采样频率进行采样，在该显示器上显示从调制信号生成的视觉刺激(即动画图形对象)。
调制信号SMi的幅度用于定义变换程度。调制信号SMi的幅度与变换程度之间的关系可以是线性的，也可以不是线性的。调制信号SMi的幅度可以在最小值(对应于第一变换程度)和最大值(对应于第二变换程度)之间变化。
在一个或多个实施例中，在这种情况下，调制信号成对独立：调制信号被构成为使得在时域和/或频域中测量的任何两个单独的调制信号之间的依赖性最小(例如零)或低于给定的阈值SC1。两个信号之间的依赖性可以通过统计依赖性程度来量化。可以在时域中例如通过时间相关系数和/或在频域中例如通过频谱相干程度来计算两个调制信号之间的统计依赖性程度。
在一个或多个实施例中，对于与单独的视觉刺激相对应的每对调制信号，调制信号在时间上成对解相关。
在一个或多个实施例中，可以针对与单独的视觉刺激相对应的每对调制信号来计算统计依赖性程度，然后可以为所有成对的调制信号计算总体统计依赖性程度(例如，平均依赖性程度、最大依赖性程度或累积依赖性程度)。通过搜索使该总体统计依赖性程度最小化或允许获得低于预设阈值SC1的总体统计依赖性程度的调制信号来确定调制信号。
在一个或多个实施例中，针对与单独的视觉刺激相对应的每对调制信号计算的统计依赖性程度为零或低于阈值SC1。
在一个或多个实施例中，两个调制信号之间的统计依赖性程度可以被计算为这些信号之间的时间相关系数，其中两个信号X和Y之间的相关系数ρ(X,Y)可以使用皮尔逊方程式获得：
Figure BDA0002482536790000121
其中
Figure BDA0002482536790000122
是信号的期望值，σ是其标准偏差。时间相关系数包括在0和1之间，值0对应于时间上去相关的信号。
调制信号之间的统计依赖性程度可以通过其他数学标准(例如Spearman相关系数或Kendall相关系数)确定，或者由统计依赖性的度量(例如互信息)代替。
两个信号x(t)和y(t)之间的频谱相干程度是一个实值函数，可以通过例如以下比率来定义：
|Gxy(f)|2/(Gxx(f)*Gyy(f))
其中Gxy(f)是x和y之间的交叉谱密度，Gxx(f)和Gyy(f)分别是x和y的功率谱密度。
在一个或多个实施例中，在例如与重构窗口(参见步骤414)和/或解码窗口(参见步骤415)的持续时间相对应的参考周期内计算统计依赖性程度。
当为所有与单独的视觉刺激对应的调制信号对计算的总体统计依赖性程度(例如，计算为平均依赖程度、最大依赖程度或累积依赖程度)是零(例如对于时间上去相关的信号)或低于阈值SC1(例如被选择为等于0.2(如果该程度以百分比表示，则为20％))时，可以有效辨别调制信号。总体统计依赖性程度越低，注意该刺激的个人观察到的视觉刺激的识别就越容易和更有效。从调制信号集合中将用来产生受试者观察到的视觉刺激的调制信号辨别出来的出错概率(对应于步骤415中识别的视觉刺激并非个体实际注意的情况的百分比)也相应降低。阈值SC1可以取决于调制信号的类型的选择。实践中，可以设置最大辨别误差概率(例如，对于给定应用可接受的概率)，并且可以将调制信号调整为保持在该最大辨别误差率以下。此处可以理解的是，即使在重构(参见步骤414)是理想的(即，重构信号每次都等于调制信号SMi之一)的情况下，解码(参见步骤415)的质量取决于调制信号之间的统计依赖性程度，因为如果调制信号SMi完全依赖，则将不可能选择一个调制信号SMi而不是另一个。
图2B、2C、2D和2E中的每一个示意性地示出了可在系统中使用的调制信号集合，用于确定视觉注意的焦点以产生视觉刺激。
图2B示出了在时间上成对去相关的10个调制信号(信号1至信号10)的第一示例性集合。这10个信号是周期正弦信号，它们具有不同的频率(因此也有不同的周期)，以0.2Hz的步长在1Hz和2Hz之间变化，从而使该第一集合中的任何两个信号都不具有相同的频率。这些信号的相位无关紧要。在图2B所示的示例中，这些信号的幅度在0％和100％之间变化，这意味着相应的变换程度在最小值和最大值之间变化(以适当的比例系数)。对于该10个信号的集合中的所有调制信号对，频谱重叠度为零(即不存在公共频率分量)，并且所有调制信号对中的最大时间相关系数为0.2，该时间相关系数在4秒的相关窗口中计算。
图2C示出了在时间上成对去相关的10个调制信号(信号1至信号10)的第二示例性集合。这10个信号是周期方波信号，它们具有不同的频率(因此也有不同的周期)，以0.2Hz的步长在1Hz和2Hz之间变化，从而使该第二集合中的任何两个信号都不具有相同的频率。这些信号的相位无关紧要。如在图2B中一样，这些信号的幅度在0％和100％之间变化，这意味着相应的变换程度在最小值和最大值之间变化(以适当的比例系数)。对于该10个信号的集合中的所有调制信号对，如果某些谐波分量是共同的，则频谱重叠度可以不为零，但是所有调制信号对中的最大时间相关系数为0.17，该时间相关系数在4秒的相关窗口中计算。
图2D示出了在时间上成对去相关的10个调制信号(信号1至信号10)的第三示例性集合。这10个信号是具有相同周期(在图2D中称为参考周期)的周期信号，并且由基本方波信号组成，使得该第三集合中的任何两个信号的时间模式在参考周期中不同。在这种情况下，每个信号的相位很重要，因为必须对其进行调整，以便针对从这10个调制信号的集合中选择的每对单独的调制信号，将时间相关系数以及统计依赖性程度限制为最大值。如在图2B中一样，这些信号的幅度在0％和100％之间变化，这意味着相应的变换程度在最小值和最大值之间变化(以适当的比例系数)。
图2E示出了在时间上成对去相关的9个调制信号(信号1至信号9)的第三示例性集合。这些信号是具有相同周期(在图2E中称为参考周期)的周期性信号。每个调制信号都包含一个时间模式，该时间模式由一个幅度为100％的短方波脉冲和一个幅度为0％的较长持续时间的信号组成，各个视觉调制信号的方波脉冲在时间上相对于彼此偏移。因此，在给定时间，一个调制信号的幅度为100％，而其他调制信号的幅度为0％。这些调制信号都具有相同的时间模式(具有不同的相移)，并且通过调节每个信号的相位，可以控制两个信号之间的时间相关系数，从而控制统计依赖性程度。当所使用的变换函数是改变亮度的函数时，当调制信号为100％时图形对象是可见的(不变的亮度)，而当调制信号为0％(零亮度)时图形对象是不可见的。所获得的动画图形对象(从这些调制信号和该基本变换获得)，通过以给定的顺序出现和消失而闪烁，在给定的时间可见单个视觉刺激。对于该10个信号的集合中的所有调制信号对，时间相关系数为零。
因此，可以为每对调制信号使用不同的频率、相位或时间模式来获得在时间上去相关的调制信号，例如：
-信号由相同的周期性时间模式组成，但具有不同频率，因而具有不同周期(图2B和2C的情况)，相位不重要；
-信号由周期性的不同时间模式组成，这些时间模式可选地具有相同的持续时间(即，相同的信号周期)，并且每个时间模式都具有特定的相位(图2D的情况)；
-信号由具有相同周期的相同的周期性时间模式组成，但是这些模式相对于彼此是相移的(图2E的情况)。
图3示意性地示出了用于确定视觉注意的焦点的方法和系统的多个方面。
在一个或多个实施例中，将重构调制信号SMR与调制信号SM1，SM2，…，SMN中的每一个进行比较，以寻求统计依赖性程度最大的调制信号。例如，如果对于调制信号SM4，统计依赖性程度最大，则意味着个人的视觉注意集中在从该调制信号SM4产生的视觉刺激OA4上。
在图3所示的示例中，视觉刺激是数字0至9，个人的视觉注意集中在与视觉刺激OA4相对应的数字4上。在相应的调制信号SM4中找到最大的统计依赖性程度。
在图4A中示意性地示出了用于生成重构模型MR的方法的实施例的示例。尽管此方法的步骤是顺序显示的，但其中的至少某些步骤可以省略，或者实际上以不同的顺序执行，或者实际上是并行执行，甚至组合在一起执行以形成仅一个步骤。
在步骤401中，利用从调制信号SMi产生的视觉刺激进行试验i(i∈[1；N])：视觉刺激呈现在显示屏上，并且邀请个人观察视觉刺激，也就是将他的视觉注意转向该视觉刺激。每个视觉刺激是通过将基本变换的时间序列施加到图形对象而获得的动画图形对象，该时间序列在时间上由相应的调制信号进行参数化。当个人正在注意所关注的视觉刺激时，记录测试EEG信号Ei,j，其中i是标识试验和相应的调制信号的的索引，j是标识记录的EEG通道的索引。这些EEG信号Ei,j的每一个都由多个EEG段Ei,j,k组成，其中k是识别段的索引。
在步骤401的实施示例中，在屏幕上显示具有闪烁数字(范围从0到9的数字)形式的十个视觉刺激，每一个以稍微不同的频率闪烁。个人配备有EEG头罩并观看显示屏，在显示屏上十个数字以不同的频率闪烁。进行了一系列试验。每个试验持续例如大约十秒，两次试验之间的间隔例如为1或2秒。在每次试验中，都指示该个人注意其中一个数字，并且直到下一次试验之前必须忽略其他数字。因此，个人将注意力从一个刺激切换到另一个刺激，并根据其视觉注意的焦点以不同的频率生成EEG信号E1，E2，…，EX。
在第一变型实施例中，在步骤401中对EEG段加时间戳。在步骤401中还对调制信号加时间戳。加时间戳可以使用任何方法进行。
在该第一变型实施例中，获取设备130的时钟用于给EEG段加时间戳，并为每个EEG段产生时间码ti’。每当刺激中发生预设事件时(例如，对应于屏幕上新视觉刺激的出现或对应于刺激的显示的开始)，控制设备140的时钟将用于对调制信号加时间戳记并生成时间代码。
在第二变型实施例中，使用附加的EEG通道，每当刺激中发生预设事件时(例如，对应于屏幕上新视觉刺激的出现或对应于刺激的显示的开始)，则通过该通道发送已知幅度的短电脉冲。包含短脉冲的该附加EEG通道与EEG数据段一起保存。
对于多个视觉刺激中的每个视觉刺激，步骤401被重复多次，以便记录个人在他正在注意所关注的视觉刺激时产生的相应的EEG信号。
在步骤402中，将EEG段Ei,j,k和调制信号SMi在时间上对准(或同步)。可以使用任何方法来执行该同步。
该同步可以使用EEG段和调制信号的双时间戳，或者实际上使用附加EEG通道。
当使用双时间戳，并且使用两个不同的时钟生成时间码时，有必要对这些值进行校正，以获得实际上由同一参考时钟生成的时间戳，从而校正时钟之间的潜在时间漂移。例如，当将控制设备的时钟用作参考时钟时，将由获取设备的时钟产生的带有时间戳的EEG段Ei,j,k的时间码ti’与参考时钟重新同步，以获得时间码ti。通过将EEG段的这些校正后的时间码与针对调制信号产生的校正后的时间码相关联，可以实现EEG段Ei,j,k与信号SMi之间的对准。
控制设备140的参考时钟(t)与用于获取EEG数据的设备130的参考时钟(t’)之间的差通过线性方程建模：diff＝a*(t’-t0)+b＝t’-t，其中a是两个时钟之间的漂移，b是t’＝t0处的偏移。为了估计这些系数a和b，在步骤401之前获取一系列x点(t’,diff(t’))，然后使用最小二乘法估计系数a和b。为了补偿执行指令和在控制设备140与获取设备130之间传输数据所花费的时间的随机变化，通过控制设备140依次将n个时间码tk发送到获取设备130来获得每个点(t’,diff(t’))，获取设备130每次接收到时间码tk时就生成时间码tk’。保留用于计算系数a和b的点(t’,diff(t’))对应于差(tk’-tk)最小的那对(tk’,diff＝tk’-tk)。一旦获得系数a和b，就可以按以下方式校正时间码ti’：
ti＝ti’–a*(ti’-t0)-b
然而，加时间戳和同步步骤是可选的，并且当获取设备130和控制设备使用相同的时钟时，尤其是不必要的。
在步骤403中，将EEG段Ei,j,k串接，以生成EEG信号Ei,j。
在步骤404中，可以对EEG信号进行预处理和去噪，以优化信噪比。具体而言，EEG信号可能会受到脑内和脑外起源的伪信号(artefacts)的严重污染，例如电伪信号(例如50Hz，欧洲主电网电流的频率)或生物伪信号(例如眼睛运动、心电图、肌肉活动等)。在一个或多个实施例中，因此在生成重构调制信号SMR之前对信号E1，E2，…，EX进行去噪。该去噪可以包括简单地从信号E1，E2，…，EX中滤除高频(例如高于40Hz的所有频率)，以便消除由主电网产生的电噪声。可以使用多变量统计方法，尤其是主成分分析(PCA)、独立成分分析(ICA)和典型相关分析(CCA)，从而允许EEG信号的有用成分(即由于与正在执行的认知任务相关的大脑活动产生的成分)与不相关的成分分开。
在步骤405中，确定重构模型的参数。可以执行该确定以便最小化重构误差。重构模型例如包括EEG信号组合的多个参数。使用求解数学方程的方法确定组合的这些参数，以便确定组合参数的最佳值，对于最佳值，将重构模型应用于针对视觉刺激记录的多个测试EEG信号Ei,j允许产生尽可能接近对应于所关注的视觉刺激的调制信号的重构调制信号，即，对于最佳值而言重构误差最小。
在一个或多个实施例中，组合参数的值可以是固定的(与时间无关)。在其他实施例中，可以实时调整这些值，以考虑用户101的大脑活动的潜在适应性，或在记录期间EEG信号中的信噪比的变化。
重构模型MR可以是线性模型，其通过信号Ei,j的线性组合产生调制信号。在这种情况下，组合参数是线性组合的参数αj，数学方程式是以下形式的线性方程式：
SMi＝∑jαjEi，j i∈[1；N]
可以使用其他更复杂的模型，特别是基于神经网络的模型，利用该模型，通过对信号Ei,j级联应用非线性数学运算来获得调制信号。例如，一个孪生神经网络，其中(基于校准数据)训练了神经网络以使任何EEG信号E对应于一维时间信号R(在当前情况下为调制信号)，从而，在不同时间记录的两个EEG信号E1和E2分别产生一维信号R1和R2(在当前情况下为调制信号)，当个人的注意力集中在同一动画图形对象上时，R1和R2相似，而当个人的注意力集中在两个单独的动画图形对象上时，R1和R2不相似。两个信号之间的相似性的概念是在数学意义上定义的(例如，可能是一个简单的相关性问题)，并且对应于量化两个对象之间相似度的函数(例如，参见页面：https://en.wikipedia.org/wiki/Similarity_measure)。可以使用多个数学上的相似性定义，例如，欧几里得距离的倒数，甚至是“余弦相似性”(例如参见页面：https://en.wikipedia.org/wiki/Cosine_similarity)。
重构调制信号是由神经网络从新获取的EEG样本E生成的一维信号R。
在一个或多个实施例中，用于生成重构模型的方法的步骤由根据图1A的系统100(例如由信号处理设备120)来实现。
在图4B中示意性地示出了用于确定个人的视觉注意的焦点的方法的实施例的示例。尽管此方法的步骤是顺序显示的，但其中的至少某些步骤可以省略，或者实际上以不同的顺序执行，或者实际上是并行执行，甚至组合在一起执行以形成仅一个步骤。
在一个或多个实施例中，用于确定视觉注意的焦点的方法的步骤由根据图1A的系统100(例如由信号处理设备120和用于生成显示信号的设备110)来实现。
在步骤411中，用于生成显示信号的设备110被配置为从多个图形对象O1，O2，…，ON，从多个基本变换T1，T2，…，TP以及从多个调制信号SM1，SM2，...，SMN生成多个视觉刺激。视觉刺激是通过将基本变换的时间序列STi施加到相应的图形对象Oi而获得的动画图形对象OAi(i介于1和N之间)，该时间序列由相应的调制信号SMi在时间上进行参数化。
在一个或多个实施例中，视觉刺激、调制信号和图形对象的数量N等于1。
在一个或多个实施例中，基本变换的数量P等于1。基本变换的时间序列STi的每个基本变换因此可以对应于应用参数随时间变化的给定的基本变换。
随着时间的流逝，个人可能会将其视觉注意从一个动画图形对象转移到另一个动画图形对象。在此期间，在步骤412中，由获取设备130记录个人产生的脑电图信号E1，E2，...，Ej，...，EX。
在一个或多个实施例中，信号处理设备120被配置为获得由个人将他的注意力集中在视觉刺激OAi之一上产生的多个脑电图信号E1，E2，…，Ej，…，EX。
在步骤413中，对脑电图信号E1，E2，…Ej，…EX进行预处理和去噪，以提高确定视觉注意焦点的方法的可靠性。该预处理可以包括使脑电图信号E1，E2，…，Ej，…EX的各段相对于参考时钟同步(如上文关于步骤402所解释的那样)，对脑电信号的各段进行串接(如上文关于步骤403所解释的那样)，和/或对脑电图信号进行去噪(如上文关于步骤404所解释的那样)。
在一个或多个实施例中，信号处理设备120被配置为在步骤414中通过从多个脑电图信号E1，E2，…，Ej，…，EX重构调制信号来获得重构调制信号SMR。
在一个或多个实施例中，信号处理设备120被配置为重构调制信号并从在步骤413或412中获得的多个脑电图信号生成重构调制信号SMR(使用或不使用预处理和/或去噪)。在一个或多个实施例中，通过将重构模型应用于在步骤413或412中获得的多个脑电图信号来进行重构(使用或不使用预处理和/或去噪)。可以在给定的移动时间窗口(在此称为重构窗口)中执行该重构，并且对于重构窗口的每个时间位置周期性地重复该重构。
例如，当重构模型MR是通过信号E1，E2，…，Ej，…，EX的线性组合产生调制信号的线性模型时。在这种情况下，组合参数是在步骤405中获得的线性组合的参数αj，并且通过信号E1，E2，…，Ej，…，EX的线性组合来计算重构调制信号SMR：
SMR＝∑jαjEj
在一个或多个实施例中，信号处理设备120被配置为在步骤415(称为解码步骤)中计算重构调制信号与调制信号的集合中的每个调制信号之间的统计依赖性程度，并且识别对应于统计依赖性程度高于阈值SC2(该阈值的值例如在0.2和0.3之间)的调制信号的至少一个视觉刺激。识别与统计依赖性程度高于阈值SC2的调制信号相对应的至少一个视觉刺激的事实，意味着个人的视觉注意(据推断)正被给予该视觉刺激和/或这些一个或多个视觉刺激刚刚出现在个人观察的显示屏区域中。因此，可以使用该识别来检测显示发生了变化和/或视觉注意的焦点发生了变化。统计依赖性程度可以如上文所述地来确定。统计依赖性程度例如是重构调制信号与调制信号的集合中的调制信号之间的时间相关系数。
在一个或多个实施例中，视觉刺激、调制信号和图形对象的数量N严格高于1，并且信号处理设备120还被配置为在步骤415中在多个调制信号中SM1，SM2，…，SMN寻找与重构信号SMR的统计依赖性程度最大的调制信号SMi，并识别与统计依赖性程度最大的调制信号SMi对应的视觉刺激OAi。视觉注意(据推断)专注于所识别的视觉刺激OAi。例如，通过计算重构调制信号SMR与多个调制信号SM1，SM2，…，SMN中的每个信号之间的统计依赖性程度来执行搜索。该解码步骤可以在给定的移动时间窗口(这里称为解码窗口)中进行，并且对于解码窗口的每个时间位置周期性地重复该解码步骤。解码窗口的持续时间可以与重构窗口的持续时间相同。
在一个或多个实施例中，当视觉刺激、调制信号和图形对象的数量N严格高于1时，可以在给定时间在显示屏105上显示一个或多个视觉刺激。然而，无论在给定时间显示的视觉刺激的数量如何，解码步骤415都可以是相同的，可以通过与能够被显示的视觉刺激相对应的调制信号SM1，SM2，…，SMN中的任何一个来寻求统计依赖性。因此，避免了关于实际显示的内容的变化而动态地修改并同步在解码步骤415中执行的处理操作的需要。当视觉刺激被集成到视频中或当用户与用户界面交互时动态地修改了视觉刺激被集成到其中的该用户界面时，这可能是非常有用的。
在一个示例性实施例中，在屏幕上显示采取闪烁的数字(范围从0到9的数字)形式的10个视觉刺激，每个视觉刺激以略微不同的频率或以相同的频率闪烁，但是交替出现在屏幕上。个人配备有EEG头罩并观看显示屏，在显示屏上10个数字以不同的频率闪烁。
在一个实施例中，在确定视觉注意的焦点期间，在两个或更多个视觉刺激之间不明确的情况下，或者在例如由于用户的运动而导致所记录的EEG信号中的扰动和/或伪信号的情况下，可以临时修改(例如，在消除不明确或获得干扰较少的信号所需的时间内)视觉刺激的调制信号。可以进行这种修改，以便例如仅显示不明确的视觉刺激和/或修改不明确的视觉刺激的调制信号。
调制信号的修改可以包括修改调制信号的频率或时间模式，以便增加不明确的视觉刺激的频率和/或可见的总持续时间和/或的变换程度，并降低其他视觉刺激的频率和/或可见的总持续时间和/或变换程度。修改还可以包括在不改变调制信号的时间模式或频率的情况下使调制信号彼此之间进行排列。该排列可以是随机的。当定义了调制信号和基本变换使得视觉刺激通过以给定的顺序在显示屏上出现和消失而闪烁(参见图2E的示例)时，这样的排列在于(例如随机地)修改视觉刺激的出现顺序，以便更高频率地看到不明确的刺激。排列可以与调制信号的修改相结合，以增加不明确的视觉刺激的频率和/或可见的总持续时间和/或变换程度。
信号处理设备120允许在没有除EEG之外的任何信息的情况下自动识别注意力集中的视觉刺激。重构模型允许根据原始EEG生成重构调制信号。调制信号与对应于各种动画图形对象的调制信号相关，所观察到的视觉刺激是对应于统计依赖性程度最大的调制信号的视觉刺激。
通过将多个个人的结果进行分组而获得的测试表明，确定观察到的视觉刺激的方法非常可靠(在1秒时间内记录的信号E1，E2，…，EX的错误率低于10％)，即使学习阶段很短，即几分钟(例如少于5分钟)甚至几秒(例如少于5秒)的长度，并且只使用了一些刺激类型进行学习。
确定视觉注意焦点的方法不仅适用于数字，而且适用于许多人机界面，例如适用于包含26个或更多字符的完整字母数字键盘。
图5示出了该方法适用的人机界面的另一示例。在该示例中，动态刺激由徽标或图标组成，这些徽标或图标是经过动画处理的，不是通过对徽标的光强度起作用的基本变换，而是通过应用移动以使徽标围绕自身在平面或三维空间上移动来实现的。这些移动例如是以可实时解码的各种频率进行的振荡或旋转。在这种情况下，相应的调制信号的幅度表示在给定时间的变换程度，即在给定时间要施加的旋转角度。这些移动例如是周期性的。
在图5中示出了12个徽标(APP1至APP12)，所述徽标以4×3徽标的网格布置。尽管此图以黑白显示，但徽标也可以是彩色的。在图5的示例中，徽标以各种频率绕自身旋转，如图5中徽标APP8所示。这些徽标中的每个徽标均以围绕其自身的旋转振荡为动画，该旋转振荡发生的频率不同于其他徽标。施加到图标上的周期性旋转会诱发大脑反应，该大脑反应在特定的旋转频率下可在EEG信号中检测到，并且可以借助上述技术进行实时解码。这种类型的界面具有高度的灵活性，尤其可以在智能手机或平板电脑中使用。这样的人机界面例如允许为任何类型的计算设备(例如为移动终端或计算机上的软件应用程序和/或操作系统)产生图形界面，无论显示屏是否触摸屏。
图6示出了可用的人机界面的另一示例。为了促进个人的视觉注意集中在视觉刺激上并且最小化相邻视觉刺激对EEG信号的影响，可以采用被称为“crowding”的技术。该技术在于用可选的动画横向掩膜围绕每个视觉刺激，这些横向掩膜减少了与相邻视觉刺激的动画有关的视觉扰动，并且允许个人更有效地将注意力特别集中在一个刺激上，因此其解码得到改善。
图7示出了人机界面的另一示例，其中，关于视觉刺激的反馈被提供给用户，该视觉刺激已经被识别为被用户观察到。人机界面包括数字0到9。在图7的示例中，用户观察到数字6，并且反馈包括通过应用根据本说明书的一种确定视觉注意焦点的方法来放大识别为正被观察的数字。通常，提供给用户的反馈可能包括突出显示所识别的视觉刺激，例如，通过增加其亮度、使其闪烁、放大、更改位置、更改大小或更改颜色等等来突出显示。
在一个或多个实施例中，视觉刺激形成软件应用程序或计算设备的人机界面的一部分，并且在通过实施根据本说明书的用于确定视觉注意焦点的方法识别观察到的视觉刺激之后，发送命令以触发与所识别的视觉刺激相关联的一个或多个操作的执行。
在一个或多个实施例中，通过软件包或计算机程序来实现本文描述的一种或多种方法的各个步骤。
因此，本说明书涉及一种软件包或计算机程序，其包含可由计算机或数据处理器读取和/或执行的软件指令或程序代码指令，当此计算机程序由计算机或数据处理器执行时，这些指令被配置为命令本文中描述的一个或多个方法的步骤的执行。
这些指令可以使用任何编程语言，并且可以采取源代码、目标代码或源代码与目标代码之间的中间代码的形式，例如部分编译形式或任何其他期望形式的代码。这些指令旨在存储在计算设备或计算系统的存储器中，然后加载，然后由该计算设备或计算系统的处理单元或数据处理器执行，以实现本文描述的一种或多种方法的步骤。这些指令中的一些或全部可以临时或无限地存储在包括一个或多个存储介质的本地或远程存储设备的非易失性计算机可读介质上。
本说明书还涉及一种数据处理器可读的数据介质，其中包含诸如上述软件包或计算机程序的指令。数据介质可以是能够存储此类指令的任何实体或设备。计算机可读介质的实施例包括但不限于数据存储介质和通信介质，包括有助于将计算机程序从一个位置转移到另一位置的任何介质。这样的存储介质可以是诸如光盘(CD、CD-R或CD-RW)、DVD(DVD-ROM或DVD-RW)或蓝光光盘之类的光学存储设备，诸如硬盘、闪存、磁带或软盘的磁介质，诸如USB密钥、SD或micro-SD存储卡的可移动存储介质，甚至是诸如随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、非易失性存储器、备用存储器(例如快闪存储器或可编程存储器)的存储器等。
本说明书还涉及一种计算设备或计算系统，该计算设备或计算系统包括用于实现本文描述的一种或多种方法的步骤的装置。这些装置是用于实现本文描述的一种或多种方法的步骤的软件和/或硬件。
本说明书还涉及一种计算设备或计算系统，该计算设备或计算系统包括：至少一个存储器，该至少一个存储器用于存储计算机程序的代码指令，该代码指令用于执行本文描述的一种或多种方法的全部或部分步骤；以及至少一个数据处理器，其被配置为执行这样的计算机程序。

Claims (11)

1.一种用于从脑电图信号确定个人的视觉注意焦点的方法，所述方法包括：
从至少一个图形对象、从至少一个基本变换以及从包含至少一个调制信号的集合生成包含至少一个视觉刺激的集合，视觉刺激是通过将基本变换的时间序列应用于图形对象而获得的动画图形对象，所述基本变换的时间序列由相应的调制信号在时间上参数化；
通过将重构模型应用于个人产生的多个脑电图信号，从所述多个脑电图信号重构调制信号以获得重构调制信号；
计算所述重构调制信号与所述包含至少一个调制信号的集合中的每个调制信号之间的统计依赖性程度；
识别与统计依赖性程度高于第一阈值的调制信号相对应的至少一个视觉刺激。
2.根据权利要求1所述的方法，其中，所述包含至少一个视觉刺激的集合包括多个视觉刺激，并且所述包含至少一个调制信号的集合包括多个调制信号，所述方法包括：
在所述多个调制信号中搜索与所述重构调制信号的统计依赖性程度最大的调制信号；以及
识别与所述统计依赖性程度最大的调制信号相对应的视觉刺激；
所述调制信号被构成为使得对于所有与两个单独的视觉刺激相对应的调制信号对，在时域和/或频域中确定的总体统计依赖性程度低于第二阈值。
3.根据权利要求1所述的方法，其中，所述重构模型包括脑电信号的组合的多个参数，所述方法包括在初始学习阶段中确定脑电信号的组合的所述多个参数中的参数的值。
4.根据权利要求3所述的方法，所述方法在应用于多个视觉刺激中的包含至少一个视觉刺激的子集的所述初始学习阶段中还包括：
对于所述包含至少一个视觉刺激的子集的每个视觉刺激，获得由用户将其注意力集中在所关注的视觉刺激上产生的测试脑电图信号；以及
确定脑电图信号的组合的所述多个参数的最佳值，对于所述最佳值，将所述重构模型应用于为视觉刺激而记录的所述测试脑电图信号可以生成最接近对应于所关注的视觉刺激的调制信号的重构调制信号。
5.根据前述权利要求中的任一项所述的方法，其中，每个调制信号在将基本变换应用于图形对象的至少一个参数中将变化定义为时间的函数。
6.根据权利要求5所述的方法，其中，一个应用参数是基本变换的变换程度或应用率。
7.根据权利要求1至4中的任一项所述的方法，其中，基本变换是变换集合中的变换，所述变换集合包括光强度的变化、对比度的变化、比色变换、几何变形、旋转、振荡、沿路径的移动、形状的变化和图形对象的变化，或从所述变换集合中选择的变换的组合。
8.一种存储器，该存储器用于存储计算机程序的程序代码指令，当所述计算机程序由数据处理器执行时，所述程序代码指令用于执行根据前述权利要求中的任一项所述的方法的步骤。
9.一种计算系统，包括：至少一个用于存储计算机程序的代码指令的存储器，该计算机程序被配置为执行根据权利要求1至7中任一项所述的方法；以及至少一个数据处理器，其被配置为执行所述计算机程序。
10.一种从脑电图信号确定个人视觉注意焦点的系统，所述系统包括：
用于生成显示信号的设备，其被配置为从至少一个图形对象、至少一个基本变换以及包含至少一个视觉刺激的集合生成包含至少一个调制信号的集合，视觉刺激是通过将基本变换的时间序列应用于图形对象而获得的动画图形对象，所述基本变换的时间序列由相应的调制信号在时间上参数化；
信号处理设备，所述信号处理设备被配置为：
-获得个人产生的多个脑电图信号；
-通过将重构模型应用于所述多个脑电图信号，从所述多个脑电图信号重构调制信号来获得重构调制信号；
-计算所述重构调制信号与所述包含至少一个调制信号的集合中的每个调制信号之间的统计依赖性程度；以及
-识别与统计依赖性程度高于第一阈值的调制信号相对应的至少一个视觉刺激。
11.根据权利要求10所述的系统，其中，所述包含至少一个视觉刺激的集合包括多个视觉刺激，并且所述包含至少一个调制信号的集合包括多个调制信号，所述信号处理设备还被配置为：
-在所述多个调制信号中搜索与所述重构调制信号的统计依赖性程度最大的调制信号；
-识别与所述统计依赖性程度最大的调制信号相对应的视觉刺激；
所述调制信号被构成为使得对于所有与两个单独的视觉刺激相对应的调制信号对，在时域和/或频域中确定的总体统计依赖性程度低于第二阈值。
CN201880072508.9A 2017-09-08 2018-09-06 从脑电图信号解码个人的视觉注意 Active CN111511269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310541524.0A CN117158966A (zh) 2017-09-08 2018-09-06 从脑电图信号解码个人的视觉注意

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1758305A FR3070852B1 (fr) 2017-09-08 2017-09-08 Decodage de l'attention visuelle d'un individu a partir de signaux electroencephalographiques
FR1758305 2017-09-08
PCT/EP2018/073961 WO2019048525A1 (fr) 2017-09-08 2018-09-06 Decodage de l'attention visuelle d'un individu a partir de signaux electroencephalographiques

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310541524.0A Division CN117158966A (zh) 2017-09-08 2018-09-06 从脑电图信号解码个人的视觉注意

Publications (2)

Publication Number Publication Date
CN111511269A CN111511269A (zh) 2020-08-07
CN111511269B true CN111511269B (zh) 2023-06-06

Family

ID=60202193

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880072508.9A Active CN111511269B (zh) 2017-09-08 2018-09-06 从脑电图信号解码个人的视觉注意
CN202310541524.0A Pending CN117158966A (zh) 2017-09-08 2018-09-06 从脑电图信号解码个人的视觉注意

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310541524.0A Pending CN117158966A (zh) 2017-09-08 2018-09-06 从脑电图信号解码个人的视觉注意

Country Status (8)

Country Link
US (2) US11717204B2 (zh)
EP (1) EP3678532B1 (zh)
JP (2) JP7124090B2 (zh)
KR (1) KR20200097681A (zh)
CN (2) CN111511269B (zh)
CA (1) CA3075210A1 (zh)
FR (1) FR3070852B1 (zh)
WO (1) WO2019048525A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3397146A4 (en) * 2015-12-29 2019-08-07 LifeQ Global Limited CARDIO-KINETIC INTERSPECTRAL DENSITY FOR THE EVALUATION OF SLEEP PHYSIOLOGY
FR3070852B1 (fr) 2017-09-08 2019-09-20 Centre National De La Recherche Scientifique Decodage de l'attention visuelle d'un individu a partir de signaux electroencephalographiques
US10782865B2 (en) * 2018-05-08 2020-09-22 Philip Eli Manfield Parameterized sensory system
KR20210016752A (ko) * 2019-08-05 2021-02-17 윤현진 중증 환자를 위한 영문 입력자판
WO2021121766A1 (en) * 2019-12-18 2021-06-24 Nextmind Sas Brain-computer interface
KR102396520B1 (ko) * 2020-02-11 2022-05-11 고려대학교 산학협력단 뇌-컴퓨터 인터페이스에 기초하여 색 자극으로부터 사용자의 의도를 판단하는 스마트 제어 장치 및 그 제어 방법
CN112022152B (zh) * 2020-08-28 2024-05-31 江西脑虎科技有限公司 一种脑电信号的归类处理方法、装置、电子设备及存储介质
CN112826509A (zh) * 2020-09-30 2021-05-25 天津大学 视觉注意力水平识别方法
CN113080998B (zh) * 2021-03-16 2022-06-03 北京交通大学 一种基于脑电的专注状态等级评定方法和系统
KR20230007139A (ko) 2021-07-05 2023-01-12 현대자동차주식회사 Ssvep 기반의 자극 검출 장치 및 그 방법
CN114343677B (zh) * 2022-01-12 2023-06-20 合肥哈工艾斯德康智能科技有限公司 一种方向性实体面孔刺激的n170脑电信号采集分析系统
CN115857701B (zh) * 2023-02-15 2023-06-02 季华实验室 一种ssvep脑电信号处理方法及相关设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004100766A2 (en) * 2003-05-06 2004-11-25 George Mason Intellectual Property Phase and state dependent eeg and brain imaging
TW200946078A (en) * 2008-03-26 2009-11-16 Univ Rennes Method of evaluating the health and/or physical condition of a person and corresponding device and computer software package
WO2010016244A1 (ja) * 2008-08-05 2010-02-11 パナソニック株式会社 運転注意量判定装置、方法およびプログラム
JP2010257343A (ja) * 2009-04-27 2010-11-11 Niigata Univ 意思伝達支援装置
JP2011015788A (ja) * 2009-07-08 2011-01-27 Keio Gijuku 視覚誘発電位信号検出システム
CN102573619A (zh) * 2008-12-19 2012-07-11 新加坡科技研究局 用于生成注意力水平表示的设备和方法
JP2013004006A (ja) * 2011-06-21 2013-01-07 Aisin Seiki Co Ltd 脳波インターフェースシステム
US8391966B2 (en) * 2009-03-16 2013-03-05 Neurosky, Inc. Sensory-evoked potential (SEP) classification/detection in the time domain
CN104825159A (zh) * 2015-04-23 2015-08-12 张鸣沙 脑电同频检测方法、脑电同频刺激方法与装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7338171B2 (en) 2003-10-27 2008-03-04 Jen-Chuen Hsieh Method and apparatus for visual drive control
US9378658B2 (en) * 2012-07-02 2016-06-28 Think-Now Inc. Systems and methods for training meta-attention
US10342472B2 (en) 2013-07-01 2019-07-09 Think-Now Inc. Systems and methods for assessing and improving sustained attention
JP2015226723A (ja) 2014-06-02 2015-12-17 トヨタ自動車株式会社 脳波検出装置
FR3070852B1 (fr) 2017-09-08 2019-09-20 Centre National De La Recherche Scientifique Decodage de l'attention visuelle d'un individu a partir de signaux electroencephalographiques

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004100766A2 (en) * 2003-05-06 2004-11-25 George Mason Intellectual Property Phase and state dependent eeg and brain imaging
TW200946078A (en) * 2008-03-26 2009-11-16 Univ Rennes Method of evaluating the health and/or physical condition of a person and corresponding device and computer software package
WO2010016244A1 (ja) * 2008-08-05 2010-02-11 パナソニック株式会社 運転注意量判定装置、方法およびプログラム
CN102047304A (zh) * 2008-08-05 2011-05-04 松下电器产业株式会社 驾驶注意力程度判定装置、方法以及程序
CN102573619A (zh) * 2008-12-19 2012-07-11 新加坡科技研究局 用于生成注意力水平表示的设备和方法
US8391966B2 (en) * 2009-03-16 2013-03-05 Neurosky, Inc. Sensory-evoked potential (SEP) classification/detection in the time domain
JP2010257343A (ja) * 2009-04-27 2010-11-11 Niigata Univ 意思伝達支援装置
JP2011015788A (ja) * 2009-07-08 2011-01-27 Keio Gijuku 視覚誘発電位信号検出システム
JP2013004006A (ja) * 2011-06-21 2013-01-07 Aisin Seiki Co Ltd 脳波インターフェースシステム
CN104825159A (zh) * 2015-04-23 2015-08-12 张鸣沙 脑电同频检测方法、脑电同频刺激方法与装置

Also Published As

Publication number Publication date
WO2019048525A1 (fr) 2019-03-14
EP3678532B1 (fr) 2024-10-09
US11717204B2 (en) 2023-08-08
CN117158966A (zh) 2023-12-05
CN111511269A (zh) 2020-08-07
EP3678532A1 (fr) 2020-07-15
FR3070852A1 (fr) 2019-03-15
JP7462126B2 (ja) 2024-04-05
FR3070852B1 (fr) 2019-09-20
JP7124090B2 (ja) 2022-08-23
US20230284949A1 (en) 2023-09-14
KR20200097681A (ko) 2020-08-19
US20200297263A1 (en) 2020-09-24
CA3075210A1 (en) 2019-03-14
JP2020537583A (ja) 2020-12-24
JP2022163153A (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
CN111511269B (zh) 从脑电图信号解码个人的视觉注意
US10303982B2 (en) Systems and methods for machine learning enhanced by human measurements
Dibeklioğlu et al. Combining facial dynamics with appearance for age estimation
O’Regan et al. Automatic detection of EEG artefacts arising from head movements using EEG and gyroscope signals
Zhao et al. Learning saliency-based visual attention: A review
Stewart et al. Single-trial classification of EEG in a visual object task using ICA and machine learning
Ince et al. The deceptively simple N170 reflects network information processing mechanisms involving visual feature coding and transfer across hemispheres
Wang et al. Living-skin classification via remote-PPG
Fischer et al. The emergence of perceived position in the visual system
JP2016515242A (ja) 校正不要な注視点推定の方法と装置
CN114698389A (zh) 脑机接口
Guimard et al. Pem360: A dataset of 360 videos with continuous physiological measurements, subjective emotional ratings and motion traces
Castillos et al. Burst c-VEP based BCI: optimizing stimulus design for enhanced classification with minimal calibration data and improved user experience
Wilson et al. EEG-based BCI dataset of semantic concepts for imagination and perception tasks
Liang et al. Real time hand movement trajectory tracking for enhancing dementia screening in ageing deaf signers of British sign language
Frömer et al. Common neural choice signals can emerge artefactually amid multiple distinct value signals
Zhang et al. A self-supervised learning network for remote heart rate measurement
Kahn et al. Temporally distinct neural coding of perceptual similarity and prototype bias
García-Pérez et al. The do’s and don’ts of psychophysical methods for interpretability of psychometric functions and their descriptors
Baray et al. EOG-Based Reading Detection in the Wild Using Spectrograms and Nested Classification Approach
Renton et al. Optimising the classification of feature-based attention in frequency-tagged electroencephalography data
Qian et al. Intelligent Method for Real‐Time Portable EEG Artifact Annotation in Semiconstrained Environment Based on Computer Vision
Mohedano et al. Improving object segmentation by using EEG signals and rapid serial visual presentation
KR101869713B1 (ko) 뇌파 정보 기반의 사용성 테스트 방법 및 장치
US11651390B1 (en) Cognitively improving advertisement effectiveness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231213

Address after: Paris France

Patentee after: Rex Med Co.

Address before: Paris France

Patentee before: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE

Patentee before: ECOLE NORMALE SUPERIEURE

Patentee before: Academy of Social Sciences

TR01 Transfer of patent right