CN116933058A - 一种基于脑电识别的任务执行方法、装置、介质及设备 - Google Patents

一种基于脑电识别的任务执行方法、装置、介质及设备 Download PDF

Info

Publication number
CN116933058A
CN116933058A CN202310928436.6A CN202310928436A CN116933058A CN 116933058 A CN116933058 A CN 116933058A CN 202310928436 A CN202310928436 A CN 202310928436A CN 116933058 A CN116933058 A CN 116933058A
Authority
CN
China
Prior art keywords
spectrum
electroencephalogram
template
frequency spectrum
brain wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310928436.6A
Other languages
English (en)
Inventor
朱世强
崔正哲
谢安桓
宋伟
郑涛
傅向向
万小姣
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310928436.6A priority Critical patent/CN116933058A/zh
Publication of CN116933058A publication Critical patent/CN116933058A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本说明书公开了一种基于脑电识别的任务执行方法、装置、介质及设备。所述方法包括：采集用户注视各目标物时的脑电波数据，针对每个目标物，按照指定时间长度的滑动时间窗对用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据；对各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到处理后脑电波数据；根据处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定脑电频谱；在预先生成的各模板频谱中确定出与脑电频谱相匹配的模板频谱，作为目标模板频谱；根据用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于控制指令控制目标设备执行任务。

Description

一种基于脑电识别的任务执行方法、装置、介质及设备
技术领域
本说明书涉及脑电识别技术领域，尤其涉及一种基于脑电识别的任务执行方法、装置、介质及设备。
背景技术
渐冻症患者的主要临床表现为肌肉萎缩，这严重妨害了患者的运动，语言等功能，使患者渐渐失去运动能力，因此，研究针对渐冻症患者的生活辅助方法十分重要。
其中，稳态视觉诱发电位(Steady State Visual Evoked Potential，SSVEP)是一种借助于视觉刺激的脑机接口辅助范式，它的原理在于设置多个闪烁块，每个闪烁块以某一频率闪烁，由于视觉刺激，可在大脑皮层枕叶区产生与该频率相等或者是以该频率为基准的谐振频率共振的脑电波，通过识别该共振脑电的特征，可判断出用户注视的闪烁块目标，辅助患者通过视觉关注完成目标选择。
然而，目前在实际场景中通过患者的脑电波来进行目标选择时的精度以及准确率较低，甚至造成目标物的误判，提高了患者通过视觉关注进行目标选择的难度，严重降低了用户体验。
因此，如何提高通过脑电波来进行目标选择的准确度，以辅助患者通过视觉关注进行准确的目标选择，是一个亟待解决的问题。
发明内容
本说明书提供一种基于脑电识别的任务执行方法、装置、介质及设备，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种基于脑电识别的任务执行方法，包括：
采集用户注视各目标物时，所述用户脑部产生的脑电波数据，其中，每个目标物按照不同的闪烁频率进行闪烁；
针对每个目标物，按照指定时间长度的滑动时间窗对所述用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据；
对所述各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到所述各时间窗对应的处理后脑电波数据；
根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱；
根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，作为所述用户注视该目标物时所对应的目标模板频谱；
根据所述用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于所述控制指令控制目标设备执行任务。
可选地，根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱，具体包括：
针对每个时间窗对应的处理后脑电波数据，通过所述静息态时的脑电频谱均值对该时间窗对应的处理后脑电波数据进行滤波，得到该时间窗对应的滤波后脑电波数据；
将每个时间窗对应的滤波后脑电波数据叠加后进行平均计算，得到所述用户注视该目标物时的脑电频谱。
可选地，生成各模板频谱，具体包括：
获取初始脑电频谱，并确定所述初始脑电频谱对应的目标频率；
基于所述目标频率，生成所述初始脑电频谱对应的补偿频谱，所述补偿频谱包括正弦补偿频谱以及余弦补偿频谱；
将所述初始脑电频谱以及所述补偿频谱输入预先训练的频谱生成模型中，以通过所述频谱生成模型，根据所述补偿频谱对所述初始脑电频谱进行补偿，得到所述初始脑电频谱对应的模板频谱。
可选地，训练所述频谱生成模型，具体包括：
将所述初始脑电频谱、所述正弦补偿频谱以及所述余弦补偿频谱按照数据行进行合并，得到频谱数据矩阵，所述频谱数据矩阵的每个数据行对应一种类型的频谱数据；
按照预设列数，将所述频谱数据矩阵划分为若干个数据段；
针对每个数据段，依次将该数据段中的每行频谱数据输入待训练的频谱生成模型，得到该数据段中的每行数据所对应的预测模板频谱；
以最小化所述预测模板频谱与所述目标频率对应的标签频谱之间偏差为优化目标，对所述频谱生成模型进行训练。
可选地，所述频谱生成模型基于至少一个门控循环单元GRU进行构建。
可选地，根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，具体包括：
对所述脑电频谱与所述各模板频谱进行典型相关分析，确定所述各模板频谱与所述脑电频谱之间的相关系数；
根据所述相关系数，在所述各模板频谱中确定出与所述脑电频谱相匹配的模板频谱。
可选地，根据所述用户注视每个目标物时的脑电频谱所对应目标模板频谱，生成控制指令，具体包括：
针对每个目标物，确定所述用户注视该目标物时的目标模板频谱所对应的闪烁频率；
确定所述闪烁频率所指向的控制信息；
基于所述控制信息，生成该目标物对应的控制指令；
根据每个目标物对应的控制指令控制所述目标设备执行任务。
本说明书提供了一种基于脑电识别的任务执行装置，包括：
采集模块，采集用户注视各目标物时，所述用户脑部产生的脑电波数据，其中，每个目标物按照不同的闪烁频率进行闪烁；
提取模块，针对每个目标物，按照指定时间长度的滑动时间窗对所述用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据；
处理模块，对所述各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到所述各时间窗对应的处理后脑电波数据；
确定模块，根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱；
匹配模块，根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，作为所述用户注视该目标物时所对应的目标模板频谱；
执行模块，根据所述用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于所述控制指令控制目标设备执行任务。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于脑电识别的任务执行方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于脑电识别的任务执行方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的基于脑电识别的任务执行方法中，采集用户注视各目标物时的脑电波数据，针对每个目标物，按照指定时间长度的滑动时间窗对用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据；对各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到处理后脑电波数据；根据处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定脑电频谱；在预先生成的各模板频谱中确定出与脑电频谱相匹配的模板频谱，作为目标模板频谱；根据用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于控制指令控制目标设备执行任务。
从上述方法可以看出，本方案在获取到用户注视目标物时所产生的脑电波数据后，可以通过滑动时间窗对数据进行提取，并将每个时间窗的脑电波数据中的周期信号以及非周期信号一并进行处理，使得确定出的脑电频谱能够更加精确的反应出用户当前时刻脑电波的特征，并且，静息态的脑电频谱数据可以有效对脑电波数据进行滤波，滤除用户在发呆或者走神状态下的无效脑电波数据，这样一来，通过多个时间窗的脑电波数据生成的脑电频谱就可以精确的匹配出与其相符的模板频谱，提高通过脑电波来进行目标选择的准确度，辅助患者通过视觉关注进行准确的目标选择。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种基于脑电识别的任务执行方法的流程示意图；
图2为本说明书中提供的一种频谱生成模型的模型结构示意图；
图3为本说明书中提供的一种频谱生成模型的预训练过程示意图；
图4为本说明书提供的一种基于脑电识别的任务执行装置的示意图；
图5为本说明书提供的一种对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
目前，SSVEP范式下脑电特征的识别方法主要有频谱峰值检测法和典型相关分析法，其中典型相关分析法主要是通过求得某一时间窗的时域脑电与不同频率下模板时域脑电的典型相关系数，依据最大相关系数确定受刺激频率，该方法包含一些缺陷：
传统典型相关分析是基于时域脑电的分析方法，由于时域脑电可能会包含因被试用户走神等原因，记录且包含了未受到刺激下的脑电片段，因此，这样被污染的数据若直接与模板比较就可能会使结果产生偏差。
并且，传统方法受模板约束大，同一模板对应不同时期的脑电数据做典型相关分析时，获得结果的准确度可能不同。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种基于脑电识别的任务执行方法的流程示意图，包括以下步骤：
S101：采集用户注视各目标物时，所述用户脑部产生的脑电波数据，其中，每个目标物按照不同的闪烁频率进行闪烁。
在通过SSVEP对患有渐冻症的用户进行辅助的过程中，通常会预先设置多个目标物，每个目标物可以对应不同的控制指令，并且分别按照不同的闪烁频率进行闪烁，当用户注视其中一个目标物时，由于视觉刺激，可在大脑皮层枕叶区产生与该频率相等或者是以该频率为基准的谐振频率共振的脑电波，通过识别该共振脑电的特征，可判断出用户注视的目标物，进而确定出其对应的控制指令对目标设备进行控制。
本说明书提供了一种基于脑电识别的任务执行方法，以将诱发特征不明显的时域脑电转换为具有明显特征的脑电频谱，进行频谱的基线矫正，减少自发脑电能量的干扰，以及滑动频谱叠加增强突出诱发特征，从而在得到脑电频谱后，通过典型相关分析对频谱模板进行准确的识别。
在本说明书中，用于实现一种基于脑电识别的任务执行方法的执行主体可以是服务器等指定设备，当然，也可以是诸如台式电脑、笔记本电脑、平板电脑以及手机等终端设备，为了便于描述，本说明书仅以服务器作为执行主体为例，对一种基于脑电识别的任务执行方法进行说明。
其中，服务器可以通过指定的脑电波采集设备(如脑电帽)采集用户注视各目标物时，用户脑部的大脑皮层枕叶区所产生的脑电波数据，其中，每个目标物可以按照一定的频率进行闪烁，并且不同目标物的闪烁频率不同。
在本说明书中，可以设置多个不同的目标物，这些目标物可以是按照不同的频率进行闪烁的闪烁块，当然，也可以是安装有闪烁灯的物体或是显示有闪烁物的界面，本说明书对此不做具体限定。
S102：针对每个目标物，按照指定时间长度的滑动时间窗对所述用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据。
S103：对所述各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到所述各时间窗对应的处理后脑电波数据。
S104：根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱。
当服务器获取到用户注视目标物时所产生的脑电波数据后，服务器可以按照指定时间长度的滑动时间窗对脑电波数据进行提取，该指定时间长度可以根据实际情况进行设定，本说明书对此不做具体限定。
例如，服务器可以将上述指定时间长度设置为2s，服务器可以对全部脑电波数据的第0～2s、1～3s、2～4s、3～5s……依次通过滑动时间窗进行提取，每次提取到的脑电波数据即为一个时间窗对应的脑电波数据。
为了将脑电波数据转换为具有明显特征的脑电频谱，服务器可以对每个时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，在本说明书中，服务器可以对各时间窗对应的脑电波数据分别进行快速傅里叶变换(fast Fourier Transform，FFT)，得到各时间窗对应的处理后脑电波数据。
对于每个时间窗对应的处理后脑电波数据，服务器可以通过静息态时的脑电频谱均值对该时间窗对应的处理后脑电波数据进行滤波(如减去静息态时的脑电频谱均值)，得到该时间窗对应的滤波后脑电波数据，从而降低用户大脑处于静息状态时自发脑电能量的干扰。
而后服务器可以将每个时间窗对应的滤波后脑电波数据进行叠加，并计算平均值，得到用户注视目标物时的脑电频谱。
S105：根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，作为所述用户注视该目标物时所对应的目标模板频谱。
对于其中任意一个目标物，确定用户注视该目标物时的脑电频谱后，服务器可以对该脑电频谱与预先生成的各目标物对应的模板频谱进行典型相关分析，确定各模板频谱与该脑电频谱之间的相关系数，而后根据该相关系数，在各模板频谱中确定出与该脑电频谱相匹配的模板频谱(如相关系数最大的模板频谱)，作为目标频谱。
具体的，将用户注视其中一个目标物时的脑电频谱x和各模板频谱y中心化后，这两个变量可以表示为：
其中，x为用户注视目标物时的脑电频谱；y为不同闪烁频率的目标物对应的模板频谱。
设存在矩阵u和v，使得a＝xu，b＝yv，为了求取a和b的相关系数，代入到皮尔逊相关系数公式，经过变换得到：
从上述公式可知，需要找到一对u和v，使p最大，假设cxx＝xTx，cyy＝yTy以及cxy＝xTy，则经过一系列推导，可得
而后服务器可以进一步求得特征矩阵和/>的最大特征值所对应的特征向量pmax。
脑电频谱x与不同闪烁频率下所对应的模板频谱y各求得一个pmax，服务器可以选择pmax最大的模板频谱作为与脑电频谱x相匹配的目标模板频谱，其对应的频率即为用户所述注视目标物的闪烁频率。
在生成模板频谱的过程中，服务器可以先获取各目标物对应的初始脑电频谱以及各初始脑电频谱对应的目标频率，该初始脑电频谱可以为预训练的过程中用户单试次的脑电频谱。
由于对脑电波系信号进行FFT变换的时候需要对信号截断，会造成一定的频谱泄露，三角函数频谱主要用于周期信号频谱，可以作为FFT处理后的一个补充。实际脑电波信号比较复杂，综合使用FFT变换和三角函数频谱可以更全面的表达实际信号的频谱。
因此，服务器可以基于各初始脑电频谱对应的目标频率，生成各初始脑电频谱对应的补偿频谱，该补偿频谱可以为三角函数频谱，包括正弦补偿频谱sin(2πf)以及余弦补偿频谱cos(2πf)。
而后服务器可以将初始脑电频谱及其补偿频谱输入预先训练的频谱生成模型中，以通过频谱生成模型，根据补偿频谱对初始脑电频谱进行补偿，得到初始脑电频谱对应的模板频谱。
在本说明书中，该频谱生成模型可以由多个门控单元(Gate Recurrent Unit，GRU)构成，GRU属于长短期记忆神经网络LSTM的变体，但结构相对于LSTM较为简单，故其网络运算较为快速，而且GRU其输出由输入x，以及上一单元的状态变量h决定，但由于其内部结构包含更新门和重置门，可以对输入变量进行自适应的保留，可以保存更多有用信息，舍弃无用信息，它的特性决定其可以大大克服循环神经网络长时依赖性，具有快速且优秀的学习效果。
在对频谱生成模型进行训练的过程中，设其中一个闪烁块的闪烁频率为f，在该频率下获取的初始脑电频谱为[e1、e2、e3……en]，正弦补偿皮频谱sin(2πf)的频谱形式为[s1、s2、s3……sn]，余弦补偿频谱的频谱形式为[c1、c2、c3……cn]，其中n为滑动时间窗的长度。
服务器可以初始脑电频谱、正弦补偿频谱以及预先补偿频谱按行进行合并，得到频谱数据矩阵train_mat，该频谱数据矩阵可以表示为：
其中，频谱数据矩阵的每个数据行对应一种类型的频谱数据。
而后服务器可以按照预设列数，将频谱数据矩阵train_mat划分为m个数据段，每个数据段的数据长度均为batch_size，其中n＝m*batch_size。
为了便于理解，本说明书提供了一种频谱生成模型的模型结构示意图，如图2所示。
图2为本说明书中提供的一种频谱生成模型的模型结构示意图。
其中，该频谱生成模型由多个门控单元(GRU)构成，h表示门控单元所对应的状态变量，模型输入为[x1、x2、x3……xb]，表示数据段中[e1、e2、e3……eb]、[s1、s2、s3……sb]和[c1、c2、c3……cb]中的一个，b等于batch_size。针对每个数据段，服务器可以依次将该数据段中的每行频谱数据输入待训练的频谱生成模型，向待训练的频谱生成模型中轮流输入[e1、e2、e3……eb]，[s1、s2、s3……sb]和[c1、c2、c3……cb]进行训练，得到各数据段中的每行数据所对应的预测模板频谱[y1、y2、y3……yb]。
而后服务器可以以最小化预测模板频谱与上述目标频率对应的标签频谱之间偏差为优化目标，对频谱生成模型进行训练。
例如，服务器可以计算每次训练时的均方误差RMSE。
其中，为与初始脑电频谱为同一目标频率的标签频谱，该标签频谱可以为前序训练中得到的较为优秀的模板频谱(如满足预设频率的目标频谱)，而后取三次训练的RMSE平均值为此数据段的RMSE，依据RMSE的值，自适应的调整GRU单元中的权重参数与偏置参数。
当每个数据段的3种频谱都完成了训练，则输入下一个数据段的3种频谱轮流的训练，所有数据段训练完之后，输入下一个试次的数据，从其第一个数据段开始训练直到所有数据段训练完，再输入下一个试次，一直循环训练到RMSE降低至设定水平，完成了GRU神经网络(频谱生成模型)的训练。
完成频谱生成模型的训练后，每一个数据段的3种频谱输入计算输出，得到3种输出向量，分别与计算相关系数，取系数最大的输出向量，直至所有数据段计算完毕，将得到的输出向量拼接后得到本试次的模板频谱。
每一次正式训练开始，会先进行预训练，其目的得到具有用户实时特征的脑电模板，通常预训练一定试次数后，将这些试次下得到的脑电频谱特征通过模板融合算法得到单试次模板频谱，再叠加平均后就可用于确定该频率下预训练的模板频谱。
预训练不是本实施例的必须步骤，如果用户因为特殊原因，希望不通过预训练而直接进行SSVEP识别，则取模板数据库中近期记录试次的脑电数据直接求取模板，否则，就取实时预训练后，更新的脑电波数据求取模板。
在进行频谱生成模型的预训练的过程中，用户可以佩戴8导联脑电帽，采样率250Hz，用户在预训练开始后，可以先静息10s，期间需保持不动。而后服务器向用户展示闪烁块界面，该界面中共展示有4个闪烁块，闪烁频率依此为12Hz，13Hz，14Hz，15Hz，闪烁块界面出现4s，此期间，用户需保持轻松状态的注视着某一闪烁块，而后2s黑屏，以让用户的眼睛得到放松。1次闪烁加1次黑屏休息合计为1试次，时长6s。为了便于理解，本说明书提供了一种频谱生成模型的预训练过程示意图，如图3所示。
图3为本说明书中提供的一种频谱生成模型的预训练过程示意图。
其中，在预训练开始后显示闪烁块的界面可以先静息10s，而后显示闪烁块并闪烁4s，而后2s进入黑屏休息阶段，并在闪烁与黑屏状态进行循环。
在本说明书中，服务器可以进行12次预训练，即每个闪烁块频率下训练3次，实时记录并保存每试次下的脑电数据并且计算其频谱特征，每次求得单试次频谱特征后，通过模板融合算法求得单试次模板频谱，再叠加，3次后做一平均，作为该频率下的初始模板频谱。
本实施例中获取用户的脑电数据，包括：选取枕叶区O1，O2以及O1与O2导联的平均数据O_total，作为3个导联采集单试次下脑电数据，单试次实验包含刺激前静息态部分和视觉刺激部分，具体步骤是先进行0.5Hz-30Hz的滤波，再进行数据的截取得到前序静息态脑电数据和视觉刺激脑电数据。
服务器可以设置长度为length，步长为step的滑动时间窗检测经滤波等预处理后的单试次下用户被视觉刺激时的脑电数据，每得到一个时间窗数据进行FFT变换求得频谱。
在取得该试次前面的静息态脑电片段，FFT后求得频谱，得到频谱均值，用时间窗数据频谱减去静息态脑电频谱均值，即在频域上做基线矫正，其目的是突出诱发脑电的能量，削弱自发脑电频谱能量。
当单试次脑电片段，完全被滑动时间窗检测完毕，将这些时间窗数据获得经基线矫正后的频谱叠加平均，得到可以代表该试次的初始脑电频谱。
S106：根据所述用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于所述控制指令控制目标设备执行任务。
确定用户注视每个目标物所对应的目标模板频谱后，针对每个目标物，服务器可以确定用户注视该目标物时的目标模板频谱所对应的闪烁频率，从而根据该闪烁频率，确定用户所注视的是哪一个目标物，并确定所述闪烁频率所指向的控制信息。
而后服务器可以基于各闪烁频率所指向的控制信息，生成各目标物对应的控制指令，进而根据每个目标物对应的控制指令控制所述目标设备执行任务。
例如，上述目标设备可以为面向渐冻症患者的文本输入设备，该设备可以向用户展示26个英文字母所对应的闪烁块，每个闪烁块以不同的频率进行闪烁，用户注视每一个目标物时服务器都可以匹配出相应的模板频谱及其对应的闪烁频率，进而确定当前用户选择的闪烁块所对应的英文字母进行输入。
从上述方法可以看出，本方案在获取到用户注视目标物时所产生的脑电波数据后，可以通过滑动时间窗对数据进行提取，并将每个时间窗的脑电波数据中的周期信号以及非周期信号一并进行处理，使得确定出的脑电频谱能够更加精确的反应出用户当前时刻脑电波的特征，并且，静息态的脑电频谱数据可以有效对脑电波数据进行滤波，滤除用户在发呆或者走神状态下的无效脑电波数据，这样一来，通过多个时间窗的脑电波数据生成的脑电频谱就可以精确的匹配出与其相符的模板频谱，提高通过脑电波来进行目标选择的准确度，辅助患者通过视觉关注进行准确的目标选择。
以上为本说明书的一个或多个实施基于脑电识别的任务执行方法，基于同样的思路，本说明书还提供了相应的基于脑电识别的任务执行装置，如图4所示。
图4为本说明书提供的一种基于脑电识别的任务执行装置的示意图，包括：
采集模块401，用于采集用户注视各目标物时，所述用户脑部产生的脑电波数据，其中，每个目标物按照不同的闪烁频率进行闪烁；
提取模块402，用于针对每个目标物，按照指定时间长度的滑动时间窗对所述用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据；
处理模块403，用于对所述各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到所述各时间窗对应的处理后脑电波数据；
确定模块404，用于根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱；
匹配模块405，用于根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，作为所述用户注视该目标物时所对应的目标模板频谱；
执行模块406，用于根据所述用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于所述控制指令控制目标设备执行任务。
可选地，所述确定模块404具体用于，针对每个时间窗对应的处理后脑电波数据，通过所述静息态时的脑电频谱均值对该时间窗对应的处理后脑电波数据进行滤波，得到该时间窗对应的滤波后脑电波数据；将每个时间窗对应的滤波后脑电波数据叠加后进行平均计算，得到所述用户注视该目标物时的脑电频谱。
可选地，所述装置还包括：
生成模块407，用于获取初始脑电频谱，并确定所述初始脑电频谱对应的目标频率；基于所述目标频率，生成所述初始脑电频谱对应的补偿频谱，所述补偿频谱包括正弦补偿频谱以及余弦补偿频谱；将所述初始脑电频谱以及所述补偿频谱输入预先训练的频谱生成模型中，以通过所述频谱生成模型，根据所述补偿频谱对所述初始脑电频谱进行补偿，得到所述初始脑电频谱对应的模板频谱。
可选地，所述装置还包括：
训练模块408，用于将所述初始脑电频谱、所述正弦补偿频谱以及所述余弦补偿频谱按照数据行进行合并，得到频谱数据矩阵，所述频谱数据矩阵的每个数据行对应一种类型的频谱数据；按照预设列数，将所述频谱数据矩阵划分为若干个数据段；针对每个数据段，依次将该数据段中的每行频谱数据输入待训练的频谱生成模型，得到该数据段中的每行数据所对应的预测模板频谱；以最小化所述预测模板频谱与所述目标频率对应的标签频谱之间偏差为优化目标，对所述频谱生成模型进行训练。
可选地，所述频谱生成模型基于至少一个门控循环单元GRU进行构建。
可选地，所述匹配模块405具体用于，对所述脑电频谱与所述各模板频谱进行典型相关分析，确定所述各模板频谱与所述脑电频谱之间的相关系数；根据所述相关系数，在所述各模板频谱中确定出与所述脑电频谱相匹配的模板频谱。
可选地，所述执行模块406具体用于，针对每个目标物，确定所述用户注视该目标物时的目标模板频谱所对应的闪烁频率；确定所述闪烁频率所指向的控制信息；基于所述控制信息，生成该目标物对应的控制指令；根据每个目标物对应的控制指令控制所述目标设备执行任务。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种基于脑电识别的任务执行方法。
本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的基于脑电识别的任务执行方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced BooleanExpression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java HardwareDescription Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware DescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated CircuitHardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种基于脑电识别的任务执行方法，其特征在于，包括：
采集用户注视各目标物时，所述用户脑部产生的脑电波数据，其中，每个目标物按照不同的闪烁频率进行闪烁；
针对每个目标物，按照指定时间长度的滑动时间窗对所述用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据；
对所述各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到所述各时间窗对应的处理后脑电波数据；
根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱；
根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，作为所述用户注视该目标物时所对应的目标模板频谱；
根据所述用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于所述控制指令控制目标设备执行任务。
2.如权利要求1所述的方法，其特征在于，根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱，具体包括：
针对每个时间窗对应的处理后脑电波数据，通过所述静息态时的脑电频谱均值对该时间窗对应的处理后脑电波数据进行滤波，得到该时间窗对应的滤波后脑电波数据；
将每个时间窗对应的滤波后脑电波数据叠加后进行平均计算，得到所述用户注视该目标物时的脑电频谱。
3.如权利要求1所述的方法，其特征在于，生成各模板频谱，具体包括：
获取初始脑电频谱，并确定所述初始脑电频谱对应的目标频率；
基于所述目标频率，生成所述初始脑电频谱对应的补偿频谱，所述补偿频谱包括正弦补偿频谱以及余弦补偿频谱；
将所述初始脑电频谱以及所述补偿频谱输入预先训练的频谱生成模型中，以通过所述频谱生成模型，根据所述补偿频谱对所述初始脑电频谱进行补偿，得到所述初始脑电频谱对应的模板频谱。
4.如权利要求3所述的方法，其特征在于，训练所述频谱生成模型，具体包括：
将所述初始脑电频谱、所述正弦补偿频谱以及所述余弦补偿频谱按照数据行进行合并，得到频谱数据矩阵，所述频谱数据矩阵的每个数据行对应一种类型的频谱数据；
按照预设列数，将所述频谱数据矩阵划分为若干个数据段；
针对每个数据段，依次将该数据段中的每行频谱数据输入待训练的频谱生成模型，得到该数据段中的每行数据所对应的预测模板频谱；
以最小化所述预测模板频谱与所述目标频率对应的标签频谱之间偏差为优化目标，对所述频谱生成模型进行训练。
5.如权利要求4所述的方法，其特征在于，所述频谱生成模型基于至少一个门控循环单元GRU进行构建。
6.如权利要求1所述的方法，其特征在于，根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，具体包括：
对所述脑电频谱与所述各模板频谱进行典型相关分析，确定所述各模板频谱与所述脑电频谱之间的相关系数；
根据所述相关系数，在所述各模板频谱中确定出与所述脑电频谱相匹配的模板频谱。
7.如权利要求1所述的方法，其特征在于，根据所述用户注视每个目标物时的脑电频谱所对应目标模板频谱，生成控制指令，具体包括：
针对每个目标物，确定所述用户注视该目标物时的目标模板频谱所对应的闪烁频率；
确定所述闪烁频率所指向的控制信息；
基于所述控制信息，生成该目标物对应的控制指令；
根据每个目标物对应的控制指令控制所述目标设备执行任务。
8.一种基于脑电识别的任务执行装置，其特征在于，包括：
采集模块，采集用户注视各目标物时，所述用户脑部产生的脑电波数据，其中，每个目标物按照不同的闪烁频率进行闪烁；
提取模块，针对每个目标物，按照指定时间长度的滑动时间窗对所述用户注视该目标物时产生的脑电波数据进行提取，得到各时间窗对应的脑电波数据；
处理模块，对所述各时间窗对应的脑电波数据中包含的周期信号以及非周期信号进行处理，得到所述各时间窗对应的处理后脑电波数据；
确定模块，根据每个时间窗对应的处理后脑电波数据以及人脑处于静息态时的脑电频谱均值，确定所述用户注视该目标物时的脑电频谱；
匹配模块，根据所述脑电频谱，在预先生成的各模板频谱中确定出与所述脑电频谱相匹配的模板频谱，作为所述用户注视该目标物时所对应的目标模板频谱；
执行模块，根据所述用户注视每个目标物时所对应的目标模板频谱，生成控制指令，并基于所述控制指令控制目标设备执行任务。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。
CN202310928436.6A 2023-07-26 2023-07-26 一种基于脑电识别的任务执行方法、装置、介质及设备 Pending CN116933058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310928436.6A CN116933058A (zh) 2023-07-26 2023-07-26 一种基于脑电识别的任务执行方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310928436.6A CN116933058A (zh) 2023-07-26 2023-07-26 一种基于脑电识别的任务执行方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN116933058A true CN116933058A (zh) 2023-10-24

Family

ID=88382388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310928436.6A Pending CN116933058A (zh) 2023-07-26 2023-07-26 一种基于脑电识别的任务执行方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN116933058A (zh)

Similar Documents

Publication Publication Date Title
Cohen Analyzing neural time series data: theory and practice
Fan et al. Bilinear neural network with 3-D attention for brain decoding of motor imagery movements from the human EEG
Shi et al. Multi-channel EEG-based sleep stage classification with joint collaborative representation and multiple kernel learning
CN112890834A (zh) 面向注意力识别的基于机器学习的眼电信号分类器
Zhang et al. The effects of probe similarity on retrieval and comparison processes in associative recognition
Rivet et al. Impact of spatial filters during sensor selection in a visual P300 brain-computer interface
Kauffmann et al. How does information from low and high spatial frequencies interact during scene categorization?
Bridger et al. Requirements at retrieval modulate subsequent memory effects: An event-related potential study
CN115329818A (zh) 基于vr的多模态融合注意力评估方法、系统及存储介质
Yang et al. Weak self-supervised learning for seizure forecasting: a feasibility study
CN112220455A (zh) 基于视频脑电信号的情绪识别方法、装置及计算机设备
CN114366103B (zh) 注意力评估方法、装置及电子设备
CN116933058A (zh) 一种基于脑电识别的任务执行方法、装置、介质及设备
Parmonangan et al. Fast brain control systems for electric wheelchair using support vector machine
CN116153522B (zh) 一种基于皮质-肌肉-皮质网络图的模型训练方法及装置
CN112070141B (zh) 一种融合注意力检测的ssvep异步分类方法
Dhanalakshmi et al. Cloud-based glaucoma diagnosis in medical imaging using machine learning
CN103995799B (zh) 基于fft谱校正的频率相位脑机接口解码方法及其装置
Szczuko Rough set-based classification of EEG signals related to real and imagery motion
CN113343798A (zh) 一种脑机接口分类模型的训练方法、装置、设备及介质
Mao et al. Emotion classification from short-term eeg signals in deep learning
Bottos et al. An approach to track reading progression using eye-gaze fixation points
Ionescu et al. Synchronization of acquisition devices in neuroimaging: An application using co-registration of eye movements and electroencephalography
CN114366102A (zh) 一种多模态紧张情绪识别方法、装置、设备及存储介质
Wang et al. Resnet based classification of female menstrual circle from pulse signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination