CN112070141B - 一种融合注意力检测的ssvep异步分类方法 - Google Patents

一种融合注意力检测的ssvep异步分类方法 Download PDF

Info

Publication number
CN112070141B
CN112070141B CN202010905746.2A CN202010905746A CN112070141B CN 112070141 B CN112070141 B CN 112070141B CN 202010905746 A CN202010905746 A CN 202010905746A CN 112070141 B CN112070141 B CN 112070141B
Authority
CN
China
Prior art keywords
data set
classification result
idle
frequency
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010905746.2A
Other languages
English (en)
Other versions
CN112070141A (zh
Inventor
赵靖
刘文政
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202010905746.2A priority Critical patent/CN112070141B/zh
Publication of CN112070141A publication Critical patent/CN112070141A/zh
Application granted granted Critical
Publication of CN112070141B publication Critical patent/CN112070141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种融合注意力检测的SSVEP异步分类方法，该方法是同时采集大脑额区和枕区的脑电数据后，在离线训练阶段，记录空闲状态数据集和控制状态下各频率目标数据集，训练一种注意力检测算法和一种频率识别算法；在在线分类阶段，同时使用训练好的注意力检测算法和频率识别算法处理实时脑电信号，分别计算两种算法的分类结果及其置信度，然后根据置信度对两者的分类结果进行融合，输出最终的异步控制指令。本发明分类精度高、误触发率低，能够有效提高现有频率识别算法的异步分类性能。

Description

一种融合注意力检测的SSVEP异步分类方法
技术领域
本发明涉及脑机接口技术领域，更具体地说，涉及一种融合注意力检测的SSVEP异步分类方法。
背景技术
脑机接口(BCI)作为一种不依赖于人的外周神经和肌肉、直接通过脑电活动来传递思维信息的人-机交互技术，可以解析出运动障碍病人脑电信号中携带的信息。通过将脑机接口与机器人这两种康复服务型技术相结合，由脑机接口直接输出大脑的控制决策、由被试自身感知机器人的反馈信息，从而在大脑与机器人之间建立起来的双向信息交互方式称机器人脑控技术。
在机器人脑控技术中，脑电信号模式是产生稳定可靠、可区分、可重复的脑电信号特征的关键。在目前的脑控机器人研究中，稳态视觉诱发电位(SSVEP)是一种常用的脑电信号模式，它通过注视固定频率闪烁的视觉刺激来产生，相比于其他脑电模式能够取得更高的正确率和信息传输率，因此在面向各类任务的脑控机器人系统中都得到了广泛应用。对于SSVEP信号的分类方式主要有同步和异步两种，其中异步方式中并不给予任何同步提示信号，被试可以在任意时刻通过注视特定的SSVEP刺激源来发出控制指令，由异步分类方法对脑电信号的控制状态和空闲状态进行实时区分。因此，异步分类系统提供了一种更灵活、更人性化的人机交互途径，更加贴近人们的日常生活方式，因而是未来脑控机器人研究发展的必然趋势。
但是受到大脑容积传导效应的影响，携带有被试意图信息的脑电信号往往会被各种环境噪声所干扰，表现出信噪比低、非平稳、存在个体间和个体内差异性的特点，尤其对于以服务运动障碍病人为目的的脑控仿人机器人系统，在真实使用环境中会受到比实验室更大的干扰和噪声。由于被试的空闲状态包括了除控制状态外大脑的所有活动状态，如闭目休息、活动头部和身体其他部位、观察机器人的运动状态等，这些活动的脑电模式是非常复杂、不固定的，很难为它们都建立具有代表性、数据量充足的训练模型，这就使得当前研究对空闲状态的实时检测精度仍较为有限。在系统的长时间工作过程中，如果无法准确识别空闲状态，就容易在被试不想控制时产生各种各样的误操作，并可能导致碰撞、机器人失控、甚至对周围人群造成伤害等严重后果，因此如何对空闲状态进行实时准确的识别是当前研究亟待解决的一个难题。
发明内容
本发明的目的在于提出一种融合注意力检测的SSVEP异步分类方法。本发明可以用于SSVEP模式脑电信号的异步分类，不仅能够识别被试所注视的目标闪烁频率，而且能够准确检测出被试的空闲状态，有效降低异步控制过程中错误指令的触发率。
为了实现上述目的，现提出的方案如下：
一种融合注意力检测的SSVEP异步分类方法，所述方法包括：
在离线训练阶段：
分别开展控制任务和空闲任务的离线试验，采集大脑额区和枕区产生的脑电信号，得到额区离线数据集和枕区离线数据集；
将所述额区离线数据集分为第一控制任务数据集和第一空闲任务数据集，基于所述第一控制任务数据集和所述第一空闲任务数据集训练注意力检测算法；
将所述枕区离线数据集分为第二空闲任务数据集和多个不同目标频率的第二控制任务数据集，基于所述第二空闲任务数据集和多个不同目标频率的第二控制任务数据集训练频率识别算法；
在在线分类阶段：
实时采集大脑额区和枕区的脑电信号；
用训练好的注意力检测算法处理所述实时采集的额区的脑电信号进行处理，得到第一分类结果和第一置信度；
用训练好的频率识别算法对所述实时采集的枕区的脑电信号进行处理，得到第二分类结果和第二置信度；
根据所述第一置信度和所述第二置信度对所述第一分类结果和所述第二分类结果进行融合，得到异步分类方法的最终输出结果。
优选地，所述离线试验包括：控制任务和空闲任务分别进行n组试验，每组包含20次试验；n为大于1的整数；
在每次试验开始后，被试首先进行短暂的休息；休息2秒后，由系统随机指示本次试验的目标刺激源，并提醒被试准备进行试验；1秒后所有目标刺激源同时开始闪烁，在控制任务中被试需要在3秒内注视目标刺激源并尽量不要眨眼和移动头部，在空闲任务中被试可以进行除注视刺激源以外的任意活动；采集整个试验过程中的额区和枕区脑电数据。
优选地，所述基于所述第一控制任务数据集和所述第一空闲任务数据集训练注意力检测算法，包括：
将所述额区离线数据集划分为第一空闲任务数据集和第一控制任务数据集；
采用注意力检测算法处理所述第一空闲任务数据集，提取空闲任务下的注意力指数特征，构建第一特征向量集；
采用注意力检测算法处理所述第一控制任务数据集，提取控制任务下的注意力指数特征构，构建第二特征向量集；
使用所述第一特征向量集和所述第二特征向量集训练支持向量机分类器，得到训练好的注意力检测算法；
相应地，所述用训练好的注意力检测算法对所述实时采集的额区的脑电信号进行处理，得到第一分类结果和第一置信度包括：
使用训练好的注意力检测算法处理所述实时采集的额区的脑电信号，提取注意力指数特征，构造第五特征向量，使用训练好的分类器对所述第五特征向量进行分类，得到第一分类结果以及第一置信度。
优选地，所述基于所述第二空闲任务数据集和多个不同目标频率的第二控制任务数据集训练频率识别算法，包括：
将所述枕区离线数据集划分为第二空闲任务数据集和多个目标频率的第二控制任务数据集；
采用异步的频率识别算法处理所述第二空闲任务数据集，提取空闲任务下的脑电频率特征，构造第三特征向量集；
采用异步的频率识别算法处理所述多个不同目标频率的第二控制任务数据集，分别提取各个目标频率下的脑电频率特征，基于每个目标频率下的脑电频率特征构造与所述目标频率相对应的第四特征向量集；
构造包含与各个目标频率相对应的支持向量机分类器的分类器组，针对每个目标频率，使用所述第三特征向量集和与所述目标频率相对应的第四特征向量集，训练与所述目标频率相对应的分类器，得到训练好的频率识别算法；
相应地，所述用训练好的频率识别算法对所述实时采集的枕区的脑电信号进行处理，得到第二分类结果和第二置信度：
使用训练好的频率识别算法处理所述实时采集的枕区的脑电信号，提取脑电频率特征，构造第六特征向量，使用训练好的分类器组中的各个分类器分别对所述第六特征向量进行分类，得到各个分类器的置信度，将置信度最大的分类器的分类结果作为第二分类结果，将最大的置信度作为第二置信度。
优选地，所述实时采集大脑额区和枕区的脑电信号，包括：
使用在线程序实时采集大脑额区和枕区的脑电信号，并存入2秒时长的数据缓存，每隔0.5秒对缓存中的脑电数据进行处理。
优选地，所述根据所述第一置信度和所述第二置信度对所述第一分类结果和所述第二分类结果进行融合，包括：
其中，T为最终输出结果，Ta为第一分类结果，Tf为第二分类结果，分类结果为0表示空闲状态，分类结果为1表示控制状态；sa表示第一分类结果为控制状态的置信度，表示第一分类结果为空闲状态的置信度；s(n)表示分类器组中分类器n的分类结果为控制状态的置信度；sf＝maxs(n)，表示第二分类结果为控制状态的置信度，/>表示第二分类结果为空闲状态的置信度。
从上述的技术方案可以看出，本发明公开的融合注意力检测的SSVEP异步分类方法，在脑电信号的分类过程中，同时采用了传统的SSVEP频率识别算法和一种先进的注意力检测算法，并将它们的分类结果根据置信度进行融合，有效降低了空闲状态下指令的误触发率，具有更为优越的异步分类性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种融合注意力检测的SSVEP异步分类方法进行控制任务和空闲任务的离线实验流程图；
图2是本发明实施例中一种融合注意力检测的SSVEP异步分类方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图2，其示出了本发明实施例中的一种融合注意力检测的SSVEP异步分类方法的流程示意图。在采集完离线试验的脑电数据后，分别使用其中的额区数据和枕区数据训练注意力检测算法和频率识别算法；训练完成后，使用训练好的两种算法分别处理额区和枕区采集的实时脑电数据，得到两种算法的分类结果和置信度；根据分类结果的置信度进行决策融合，输出最终的系统指令。
本发明实施例中采用IFBOCN(individualized frequency band based optimizedcomplex network)算法作为注意力检测算法，采用MSMP(maximum signal-noise ratioand maximum phase-lock-value)算法作为频率识别算法；采用8通道脑电信号采集系统进行脑电信号的采集；采用Matlab软件平台进行离线和在线试验的编程和实现。
本发明实施例提供的融合注意力检测的SSVEP异步分类方法包括离线训练阶段和在线分类阶段：
在离线训练阶段：
第1步：搭建SSVEP范式的离线试验系统，开展离线试验并记录额区和枕区的脑电数据。包括以下具体步骤：
A、在被试额区FPz(额极中点线)位置放置EEG(脑电图)测量电极，在枕区P3、P4、Pz、O1、O2、Oz位置放置测量电极，在Fz和FPz之间放置接地电极，在顶区Cz位置放置参考电极，脑电信号的采样频率设为1kHz，开启脑电信号采集系统。
B、配置SSVEP刺激源界面，在界面上显示5个以不同频率闪烁的刺激源，闪烁频率分别设置为4.615Hz、12Hz、6.667Hz、15Hz和20Hz。
C、分别开展控制任务和空闲任务的离线试验。
参见图1，其示出了本发明实施例中一种融合注意力检测的SSVEP异步分类方法进行控制任务和空闲任务的离线实验流程图。离线试验包含控制任务和空闲任务两类试验，每类任务需要进行n组试验，每组包含20次试验，n为大于1的正整数，在每次试验开始后，被试首先进行短暂的休息，要求被试保持放松并且可以随意活动；休息2秒后，由系统随机指示本次试验的目标刺激源，并提醒被试准备进行试验；1秒后所有目标刺激源同时开始闪烁，在控制任务中被试需要在3秒内注视目标刺激源并尽量不要眨眼和移动头部，在空闲任务中被试可以进行除注视刺激源以外的任意活动；采集整个试验过程中的额区和枕区脑电数据，用于后续的离线分析和算法训练。本发明实施例中，总计开展4组试验，采用8通道脑电信号采集系统采集并记录整个试验过程中各通道的脑电数据。
D、对采集到的脑电数据进行降采样，降采样后的频率为250Hz，提取每次试验闪烁开始后的0.13秒到2.13秒的2秒长度数据段，从而得到额区离线数据集和枕区离线数据集/>其中Na表示额区所用的通道数目，Nf表示枕区所用的通道数目，Ns表示采样点个数，Nt表示离线试验的次数，且Nt＝2×n×2包含控制任务和离线任务下的所有试次。本发明实施例中得到的额区离线数据集/>和枕区离线数据集/>
第2步：采用IFBOCN(individualized frequency band based optimizedcomplex network)算法进行注意力检测，处理额区脑电数据以提取控制任务和空闲任务下的特征向量集，完成IFBOCN算法的参数训练。包括以下具体步骤：
A、频带滤波：基于每个被试的训练数据，将原始EEG信号分解成包含不同频带成分的子信号，包括δ频段(0.5-3.5Hz)、θ频段(4-7Hz)、α频段(8-13Hz)、β频段(13-30Hz)、γ频段(30-60Hz)，其中γ频段需要做50Hz的陷波。本发明实施例中滤波器采用4阶巴特沃斯零相移滤波器，由matlab的filtfilt函数实现。
B、确定个性化最优参数τ、m和ε：对于滤波后的每个频带的数据，数据长度从0.5秒到4秒之间选择，间隔为0.5s，根据标准OCN(optimized complex network)方法，确定每个被试不同频带不同时间长度的个性化参数τ、m和ε。
C、选择个性化最优频段：基于被试的个性化最优参数τ、m和ε的训练结果选择表现最好的三个最优频段。
D、训练分类器：采用上述训练好的参数提取OCN特征，训练2分类的线性SVM分类器。
训练过程具体包括：
D1、根据额区数据集的离线标记，将全部试次数据划分为空闲任务数据集控制任务数据集/>
D2、采用注意力检测算法分别处理和/>两个数据集，分别提取空闲任务和控制任务下的注意力指数特征，构建特征向量集/>和/>其中N1表示注意力指数特征的维数，为大于0的整数。
D3、使用和/>练支持向量机(SVM)分类器，分类结果为0表示空闲状态，结果为1表示控制状态，得到训练好的注意力检测算法。
第3步：采用MSMP算法(maximum signal-noise ratio and maximum phase-lock-value)作为频率识别算法进行频率识别，处理枕区脑电数据，以提取控制任务和空闲任务下的特征向量集，完成MSMP算法的参数训练。包括以下具体步骤：
A、针对闪烁频率及其谐波成分，训练由40个空间滤波器组成的MSMP滤波器组。考虑到5个闪烁频率，以及每个频率的4次谐波成分，采用每个被试的训练数据分别训练20个MS(maximum signal-noise ratio)空间滤波器和20个MP(maximum phase-lock-value)空间滤波器。
B、训练MS空间滤波器：采用梯度下降法优化MS空间滤波器ws，使得空间滤波后的信号y＝wsX的信噪比最大，优化的目标函数为其中信噪比/>p(f)为快速傅里叶变换计算出的功率谱密度函数，X为滤波前的多通道脑电数据，f为该空间滤波器的目标频率，n为信噪比计算的频率范围。
C、训练MP空间滤波器：采用梯度下降法优化MP空间滤波器wp，使得空间滤波后的信号y＝wpX的锁相值最大，优化的目标函数为其中锁相值PLVf的计算公式如下：
其中，表示滤波后信号y的希尔伯特变换，t表示时间点，T表示信号的时间长度，h表示数据试次的编号，H表示试次的个数，/>f表示该空间滤波器的目标频率，且ω＝2·π·f表示其角频率。
D、提取特征向量并训练分类器：使用训练好的MSMP滤波器组(MS空间滤波器和MP空间滤波器)处理每个试次的训练数据，对每个MS空间滤波器处理后的数据计算信噪比特征，对每个MP空间滤波器处理后的数据计算锁相值特征，构造40维特征向量并训练2分类的线性SVM分类器。
训练过程具体包括：
D1、根据SSVEP试验中记录的试次标记，将枕区离线数据集划分为空闲任务数据集目标频率1数据集/>目标频率2数据集/>……、目标频率N数据集/>其中N表示SSVEP试验中目标频率的个数，N为大于0的正整数，为满足机器人脑控系统的移动控制需求，N的取值通常大于等于3。
D2、采用异步的频率识别算法分别处理上述各个数据集，分别提取空闲任务和各目标频率下的脑电频率特征构造特征向量集 其中N2表示频率识别特征的维数，为大于0的整数。
D3、构造包含N个SVM分类器的分类器组，各分类器分别命名为“目标1与空闲”分类器、“目标2与空闲”分类器、……、“目标N与空闲”分类器。分别使用对应的特征向量集训练各个分类器，例如“目标i与空闲”分类器使用和/>进行训练。
在线分类阶段：
第4步：使用训练好的IFBOCN和MSMP算法搭建SSVEP范式的在线试验系统，根据置信度对两种算法的分类结果进行融合。包括以下具体步骤：
A、搭建SSVEP范式的在线试验系统：配置SSVEP刺激源界面上的5个刺激源闪烁频率为4.615Hz、12Hz、6.667Hz、15Hz和20Hz，使用matlab程度实时读取脑电设备采集到的脑电信号，存入2s时长的数据缓存并每隔0.5s对缓存中的脑电信号进行处理。
B、使用训练好的IFBOCN算法处理额区脑电信号提取注意力指数特征，构造特征向量，使用训练好的分类器对其进行分类，得到分类结果Ta以及该结果的置信度sa和/>其中，sa表示分类结果为控制状态的置信度，/>表示分类结果为空闲状态的置信度。
C、使用训练好的MSMP算法分类枕区脑电信号提取脑电频率特征，构造特征向量F，使用训练好的分类器组中的N个分类器分别对特征向量F进行分类，得到各个分类器的置信度s(n)，其中n＝1,2,…,N表示分类器的序号。将置信度最大的分类器序号作为频率识别算法的最终分类结果/>将最大的置信度作为该结果的置信度sf＝maxs(n)和/>
D、根据置信度对注意力检测算法和频率识别算法的分类结果Ta和Tf进行融合，得到异步分类方法的最终输出结果T，并输出最终的系统指令。融合方法为：
分类结果为0表示空闲状态，分类结果为1表示控制状态。当两种算法的分类结果Ta和Tf一致时，即都为控制状态或空闲状态，则输出结果T与频率识别结果Tf一致；当Ta为空闲状态而Tf为控制状态时，根据两个结果的置信度进行融合，若则输出注意力检测结果Ta，否则输出频率识别结果Tf；当Ta为控制状态而Tf为空闲状态时，根据两个结果的置信度进行融合，若/>则输出空闲状态，否则输出控制状态下的目标频率，由于Tf＝0并未得出目标频率，需要直接比较频率识别算法各分类器的置信度，即/>
第5步：通过wifi发送系统指令给搭载STM32F103ZE处理器的移动机器人平台，实现在线控制。
本发明实施例公开的融合注意力检测的SSVEP异步分类方法，在脑电信号的分类过程中，同时采用了传统的SSVEP频率识别算法和一种先进的注意力检测算法，并将它们的分类结果根据置信度进行融合，有效降低了空闲状态下指令的误触发率，具有更为优越的异步分类性能。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种融合注意力检测的SSVEP异步分类方法，其特征在于，所述方法包括：
在离线训练阶段：
分别开展控制任务和空闲任务的离线试验，采集大脑额区和枕区产生的脑电信号，得到额区离线数据集和枕区离线数据集；
将所述额区离线数据集分为第一控制任务数据集和第一空闲任务数据集，基于所述第一控制任务数据集和所述第一空闲任务数据集训练注意力检测算法；
将所述枕区离线数据集分为第二空闲任务数据集和多个不同目标频率的第二控制任务数据集，基于所述第二空闲任务数据集和多个不同目标频率的第二控制任务数据集训练频率识别算法；
在在线分类阶段：
实时采集大脑额区和枕区的脑电信号；
用训练好的注意力检测算法对所述实时采集的额区的脑电信号进行处理，得到第一分类结果和第一置信度；
用训练好的频率识别算法对所述实时采集的枕区的脑电信号进行处理，得到第二分类结果和第二置信度；
根据所述第一置信度和所述第二置信度对所述第一分类结果和所述第二分类结果进行融合，得到异步分类方法的最终输出结果；
其中，所述基于所述第一控制任务数据集和所述第一空闲任务数据集训练注意力检测算法，包括：
将所述额区离线数据集划分为第一空闲任务数据集和第一控制任务数据集；
采用注意力检测算法处理所述第一空闲任务数据集，提取空闲任务下的注意力指数特征，构建第一特征向量集；
采用注意力检测算法处理所述第一控制任务数据集，提取控制任务下的注意力指数特征构，构建第二特征向量集；
使用所述第一特征向量集和所述第二特征向量集训练支持向量机分类器，得到训练好的注意力检测算法；
相应地，所述用训练好的注意力检测算法对所述实时采集的额区的脑电信号进行处理，得到第一分类结果和第一置信度包括：
使用训练好的注意力检测算法处理所述实时采集的额区的脑电信号，提取注意力指数特征，构造第五特征向量，使用训练好的分类器对所述第五特征向量进行分类，得到第一分类结果以及第一置信度；
其中，所述基于所述第二空闲任务数据集和多个不同目标频率的第二控制任务数据集训练频率识别算法，包括：
将所述枕区离线数据集划分为第二空闲任务数据集和多个目标频率的第二控制任务数据集；
采用异步的频率识别算法处理所述第二空闲任务数据集，提取空闲任务下的脑电频率特征，构造第三特征向量集；
采用异步的频率识别算法处理所述多个不同目标频率的第二控制任务数据集，分别提取各个目标频率下的脑电频率特征，基于每个目标频率下的脑电频率特征构造与所述目标频率相对应的第四特征向量集；
构造包含与各个目标频率相对应的支持向量机分类器的分类器组，针对每个目标频率，使用所述第三特征向量集和与所述目标频率相对应的第四特征向量集，训练与所述目标频率相对应的分类器，得到训练好的频率识别算法；
相应地，所述用训练好的频率识别算法对所述实时采集的枕区的脑电信号进行处理，得到第二分类结果和第二置信度：
使用训练好的频率识别算法处理所述实时采集的枕区的脑电信号，提取脑电频率特征，构造第六特征向量，使用训练好的分类器组中的各个分类器分别对所述第六特征向量进行分类，得到各个分类器的置信度，将置信度最大的分类器的分类结果作为第二分类结果，将最大的置信度作为第二置信度。
2.根据权利要求1所述的方法，其特征在于，所述离线试验包括：控制任务和空闲任务分别进行n组试验，每组包含20次试验；n为大于1的整数；
在每次试验开始后，被试首先进行短暂的休息；休息2秒后，由系统随机指示本次试验的目标刺激源，并提醒被试准备进行试验；1秒后所有目标刺激源同时开始闪烁，在控制任务中被试需要在3秒内注视目标刺激源并尽量不要眨眼和移动头部，在空闲任务中被试可以进行除注视刺激源以外的任意活动；采集整个试验过程中的额区和枕区脑电数据。
3.根据权利要求1所述的方法，其特征在于，所述实时采集大脑额区和枕区的脑电信号，包括：
使用在线程序实时采集大脑额区和枕区的脑电信号，并存入2秒时长的数据缓存，每隔0.5秒对缓存中的脑电数据进行处理。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一置信度和所述第二置信度对所述第一分类结果和所述第二分类结果进行融合，包括：
其中，T为最终输出结果，Ta为第一分类结果，Tf为第二分类结果，分类结果为0表示空闲状态，分类结果为1表示控制状态；sa表示第一分类结果为控制状态的置信度，表示第一分类结果为空闲状态的置信度；s(n)表示分类器组中分类器n的分类结果为控制状态的置信度；sf＝max s(n)，表示第二分类结果为控制状态的置信度，/>表示第二分类结果为空闲状态的置信度。
CN202010905746.2A 2020-09-01 2020-09-01 一种融合注意力检测的ssvep异步分类方法 Active CN112070141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010905746.2A CN112070141B (zh) 2020-09-01 2020-09-01 一种融合注意力检测的ssvep异步分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010905746.2A CN112070141B (zh) 2020-09-01 2020-09-01 一种融合注意力检测的ssvep异步分类方法

Publications (2)

Publication Number Publication Date
CN112070141A CN112070141A (zh) 2020-12-11
CN112070141B true CN112070141B (zh) 2024-02-02

Family

ID=73665310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010905746.2A Active CN112070141B (zh) 2020-09-01 2020-09-01 一种融合注意力检测的ssvep异步分类方法

Country Status (1)

Country Link
CN (1) CN112070141B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114652532B (zh) * 2022-02-21 2023-07-18 华南理工大学 基于ssvep与注意力检测的多功能脑控轮椅系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094720A1 (zh) * 2016-11-24 2018-05-31 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN109656356A (zh) * 2018-11-13 2019-04-19 天津大学 一种ssvep脑-机接口的异步控制系统
CN111104898A (zh) * 2019-12-18 2020-05-05 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199904B2 (en) * 2017-10-06 2021-12-14 Holland Bloorview Kids Rehabilitation Hospital Brain-computer interface platform and process for classification of covert speech

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094720A1 (zh) * 2016-11-24 2018-05-31 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN109656356A (zh) * 2018-11-13 2019-04-19 天津大学 一种ssvep脑-机接口的异步控制系统
CN111104898A (zh) * 2019-12-18 2020-05-05 武汉大学 基于目标语义和注意力机制的图像场景分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种运动想象异步BCI的空闲状态检测方法;苏少军;方慧娟;;华侨大学学报(自然科学版)(第04期);全文 *

Also Published As

Publication number Publication date
CN112070141A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
Hu et al. Attention recognition in EEG-based affective learning research using CFS+ KNN algorithm
Jenke et al. Feature extraction and selection for emotion recognition from EEG
CN106108894A (zh) 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
CN107656612B (zh) 基于p300-ssvep的大指令集脑-机接口方法
Achanccaray et al. A p300-based brain computer interface for smart home interaction through an anfis ensemble
KR102557024B1 (ko) 다기능 뇌 컴퓨터 인터페이스 장치 및 방법
CN112070141B (zh) 一种融合注意力检测的ssvep异步分类方法
CN114366103B (zh) 注意力评估方法、装置及电子设备
CN116881762A (zh) 一种基于动态脑网络特征的情绪识别方法
CN116244633A (zh) 一种运动想象脑电信号分类方法及系统
Gong et al. An idle state-detecting method based on transient visual evoked potentials for an asynchronous ERP-based BCI
Hurtado-Rincon et al. Motor imagery classification using feature relevance analysis: An Emotiv-based BCI system
CN113558644A (zh) 一种3d矩阵与多维卷积网络的情感分类方法、介质和设备
Sarraf EEG-based movement imagery classification using machine learning techniques and Welch’s power spectral density estimation
Trigka et al. A survey on signal processing methods for EEG-based brain computer interface systems
Rathee et al. Eeg-based emotion identification using general factor analysis
Chum et al. Optimal EEG feature extraction based on R-square coefficients for motor imagery BCI system
CN113070875A (zh) 一种基于脑波识别的机械手控制方法及装置
Bagh et al. Classification of motor imagery tasks using phase space reconstruction and empirical mode decomposition
Ngo et al. EEG Signal-Based Eye Blink Classifier Using Convolutional Neural Network for BCI Systems
Sarma et al. Emotion analysis based on LASSO
Yang et al. Quadcopter Control via Onset Eye Blink Signals: A BCI Study
Shilaskar et al. Brain Computer Interface for Eye Movement Recognition Using Random Forest
Das et al. Movie’s-Emotracker: Movie Induced Emotion Detection by Using EEG and AI Tools
Liu et al. Comparsion of methods for a motor imagery-based two-state self-paced brain-computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant