CN113576496A - 视觉追踪的脑机接口检测系统 - Google Patents

视觉追踪的脑机接口检测系统 Download PDF

Info

Publication number
CN113576496A
CN113576496A CN202110773825.7A CN202110773825A CN113576496A CN 113576496 A CN113576496 A CN 113576496A CN 202110773825 A CN202110773825 A CN 202110773825A CN 113576496 A CN113576496 A CN 113576496A
Authority
CN
China
Prior art keywords
stimulation
target
module
trial
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110773825.7A
Other languages
English (en)
Other versions
CN113576496B (zh
Inventor
李远清
肖君
余天佑
潘家辉
黄海云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou, South China University of Technology SCUT filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority to CN202110773825.7A priority Critical patent/CN113576496B/zh
Publication of CN113576496A publication Critical patent/CN113576496A/zh
Application granted granted Critical
Publication of CN113576496B publication Critical patent/CN113576496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种视觉追踪的脑机接口检测系统，包括高清人脸头像采集与移动模块、EEG信号采集模块、时频特征分析提取与分类模块、统计检验评估标准模块这几个功能模块。该系统根据行为量表评估视觉追踪的过程，选定脑机接口实验范式中的目标刺激与非目标刺激，目标刺激键闪烁同时移动，非目标保持不动。通过目标刺激的移动与闪烁，引导患者选择性追踪该目标头像并保持注意直至目标键从中心移至初始位置，并由ITPC(试次间相位一致性)作为特征进行分类实时输出在线结果，20次在线任务的结果进行统计检验，达到显著水平，则认为患者存在视觉追踪，否则不存在。本发明克服了行为量表和经验检测的对行为响应变化的敏感度不高、评估者主观性太强等缺点。

Description

视觉追踪的脑机接口检测系统
技术领域
本发明涉及脑机接口技术、运动视觉诱发电位、人脸识别诱发电位以及偶发任务相关的诱发电位的技术领域，尤其是指一种视觉追踪的脑机接口检测系统。
背景技术
皮层脑电信号(electroencephalogram，EEG)可以通过无损伤的脑机接口系统采集，并且逐渐被应用于神经系统疾病辅助诊断、脑功能的研究等方面。人们通过研究EEG脑电信号中自主产生的内源性的节律成分或者由外部刺激诱发的外源性脑电成分以及信源的空间位置和相互关系去获取大脑对外部环境的反应。因此，对于严重缺乏行为表达和存在感觉缺陷的意识障碍患者来说，多模态脑机接口系统通过播放多种感官刺激并直接检测大脑中与刺激相关的脑电成分，用于辅助意识障碍患者的临床诊断，从而提供更为客观准确的诊断与预后评估结果。
目前对意识障碍患者的临床评估主要依据各种行为量表，但患者的行为表达容易受到运动损伤、感觉缺陷、觉醒水平低或易疲劳等因素影响而造成很高的误诊率(37-43％)。昏迷恢复量表-修订版(Coma Recovery Scale-Revised，CRS-R)分为听觉，视觉，运动，语言，交流，唤醒6个子量表；每个子量表包含若干项目分别检测患者各项功能状态；比如视觉子量表包含：0分–无反应，1分–视觉惊吓，2分–视觉定位，3分–视觉追踪，4分–物体定位，5分–物体识别；5个项目的评分由经验丰富的临床医生先对患者实施具体的刺激过程，随后通过患者的行为响应给出相应评分。其中视觉追踪项的具体评估过程如下：在患者面前50cm处，评估者手持直径为10-15cm的圆镜，缓慢地向上、下、左、右四个方向移动，观察移动过程中患者的眼睛是否跟随镜子有相应的移动，4个方向的4次评估中如果观察到2次追踪行为，则认为患者具有视觉追踪行为，否则进行2分项(视觉定位)的评估。这种评估可能会因为眼动受限(运动障碍)或行为不易观察到等而造成诊断结果不准确。
本发明根据运动视觉刺激、人脸识别、偶发任务刺激诱发事件相关电位(ERP)的原理设计的脑机接口检测系统。该系统提取ITPC(inter-trial phase coherence，试次间相位一致性)特征进行分类并实时输出结果，同时结合离线的ERP波形与时频分析中的ERSP(event related spectral perturbation,事件相关谱扰动)共同判断患者是否具有视觉追踪响应。大脑对外部刺激的内/外源性的响应比起行为响应更为敏感、客观准确。因此，采用脑机接口检测意识障碍患者的视觉追踪可能获得更为准确客观的评分。
本发明的难点在于实时运动的人脸视觉刺激的设计与实现、意识障碍患者脑电信号中与刺激相关的特征提取及基于ITPC分类算法的设计。根据行为量表中的视觉追踪和意识障碍被试的特点，选择运动的人脸刺激和对应ERP的潜伏期。采用高清摄像头实时采集被试当前的头像作为大小4cm的人脸刺激键，并通过Microsoft Visual C++软件编程实现目标人脸刺激键的实时移动，移动过程记录EEG信号，在单个试次结束后，根据提取的特征输出结果并以视听反馈形式播放给被试者。ITPC特征的选择需要确定有效的潜伏期与对应的频带范围，确保达到预期的检测效果。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种视觉追踪的脑机接口检测系统，可补充临床行为量表中经典的行为与生理观察，减少因为患者缺乏行为或者评估者主观解释造成的临床误诊率。
为实现上述目的，本发明所提供的技术方案为：视觉追踪的脑机接口检测系统，包括：高清人脸头像采集与移动模块、EEG信号采集模块、特征分析提取与分类模块、统计检验评估标准模块；
所述高清人脸头像采集与移动模块，通过计算机的显示器上的高清摄像头正面实时采集当前被试者的头像并裁剪为4cm*4cm的头像，作为人脸刺激键，并将此刺激键分布于显示器正方形范围内的上、下、左、右四个方向，在每个试次前随机选取一个方向为目标方向，并将此方向上的人脸刺激键置于显示器中心，用于提示患者选择性注意；试次开始后，目标方向上的人脸刺激键作为目标键进行移动并同时闪烁，而非目标的其余3个方向上的人脸刺激键则在原地闪烁而不移动，且在目标闪烁移动过程中，通过EEG信号采集模块实时采集患者脑电信号，并通过特征分析提取与分类模块进行特征提取与分类，同时将结果输出；
所述EEG信号采集模块，要求每个被试者按照扩展国际10-20系统标准佩戴电极帽，以单极导联方式连接，将右侧耳垂处的电极作为公共端；试次选择了Fp1、Fp2、F7、F3、Fz、F4、F8、FT7、FC3、FCz、FC4、FT8、T7、C3、Cz、C4、T8、TP7、CP3、CPz、CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz和O2共30个信号的通道作为脑电通道用来采集EEG数据；GND作为接地电极，A2作为参考电极；在数据采集过程中，为保证信号质量，所有通道的电极接触阻抗都保持在5k欧以下；脑电原始数据经过[0.1-70]Hz的带通滤波，并通过50Hz陷波滤波器去除工频干扰和去除脑电背景噪声；
所述特征分析提取与分类模块，要求单个试次的目标键从中间移至初始位置后，EEG数据被实时送入计算机中，采用相位一致性分类算法即ITPC特征提取与分类算法对数据进行处理，并根据结果同时播放正性/负性反馈图片与声音；
所述统计检验评估标准模块，对每个被试者，分类准确率就是命中的次数除以总的试次(trial)数，为了评估分类准确率的显著性，使用如下描述的基于Jeffreys’Beta分布的二项式检验：
Figure BDA0003153480130000041
式中，N表示试次(trial)的个数，m是期望的命中个数，a是期望对比的准确率，λ为所求的达到显著所需的准确率，z是标准正态分布中的z值；对于单边检测即大于期望值，当置信度为0.05时，z值为1.65；对于完成20次训练任务与20次在线任务的患者中，认为正确率在显著水平45％以上，且同时存在显著的ERP成分或者某个频带显著的ERSP，就判定被试者在视觉追踪项目评分为3，20个试次(trial)的在线任务分两次完成，每次10个试次(trial)，每次在线任务前，先收集10次训练任务即10个试次(trial)作为训练数据集，用于建立分类模型。
进一步，在所述特征分析提取与分类模块中，采用的ITPC分类算法具体步骤如下：
S1、由EEG信号采集模块采集到的EEG数据经过0.1Hz-50Hz的零相位带通滤波，并采用回归方法去除眼电伪迹；
S2、选择与视觉相关的区域的通道，至少包含P3、Pz、P4、O1、Oz和O2；利用所选通道的滤波后EEG数据构建至少400个目标和1200个非目标的数据单元，每个数据单元从刺激移动前100ms至刺激结束后800ms，将400个目标和1200个非目标的数据单元进行基于快速傅里叶变化的时频分析；
S3、时频分析包含计算事件相关谱扰动ERSP和试次间的相位一致性ITPC；ERSP的值能够反映脑电图信号中不同频率的功率随刺激起始而改变的程度，其中，ERSP的计算如下：
Figure BDA0003153480130000051
其中，ERSP(f,t)是频率f和时间t下的事件相关谱扰动；n是实验试次数；Fk(f,t)是频率f和时间t下，第k试次的谱估计；ITPC能够被视为ERSP的补充，揭示了选定频率范围与时间窗口内不同试次间的脑电图频谱相位一致性，即相位一致性的程度，计算如下：
Figure BDA0003153480130000052
其中，ITPC(f,t)是频率f和时间t下的相位一致性；
S4、采用不同频段的ITPC值作为特征进行分类，决定目标刺激；按照上、下、左、右方位构建某个频段(1-20Hz)的特征向量，从训练数据集的数据中提取特征向量，训练一个支持向量机SVM或者线性的分类器，即分类模型，在分类器中，对应目标和3个非目标的特征向量分别被标注为1和-1；对于每个在线的试次，训练的分类模型被应用到对应上、下、左、右不同方位的4个特征向量中，获得4个值，4个值中最大值对应的刺激方位被认为是目标，在试次中即为移动的目标键；如果检测到的方位与实际方位一致，则这个试次(trial)正确响应。
进一步，所述EEG信号采集模块在数据采集过程中，要求意识障碍患者面对显示器，并与显示器保持设定的距离，保证患者的视角在设定的角度范围内，给被试者佩戴电极帽，并注入电极膏确保每个电极导通。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明根据移动视觉刺激、人脸识别以及偶发任务诱发的多种ERP成分(如N170，N200，P200，P300和N400等)结合昏迷恢复量表的视觉追踪评估，选定脑机接口实验范式中的目标刺激与非目标刺激，目标刺激键闪烁同时移动，非目标保持不动。通过目标刺激的移动与闪烁，引导患者选择性追踪注意该目标头像并保持注视直至目标键从中心移至初始位置，并由ITPC作为特征进行分类实时输出在线结果，20次在线任务的结果进行统计检验，达到显著水平，则认为患者存在视觉追踪，否则不存在。
2、本发明采用基于脑机接口的检测方式，克服了行为量表和经验检测的对行为响应变化的敏感度不高、评估者主观性太强等缺点。
3、本发明不但可以有效应用于视觉追踪的辅助诊断，还可以用于意识障碍患者康复效果的预测。
附图说明
图1为单个试次(trial)的示意图。图中，在7s的实验提示语播放完毕后，刺激开始，一个试次(trial)包含10次重复的刺激(但目标键是随机选定的)，整个刺激过程持续8s，刺激完成后，分类结果实时输出反馈(4s)。
图2为不同组患者的ERSP与ITPC分布图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例公开了一种视觉追踪的脑机接口检测系统，该系统包括高清人脸头像采集与移动模块、EEG信号采集模块、特征分析提取与分类模块、统计检验评估标准模块，各个功能模块的具体情况如下：
a、高清人脸头像采集与移动模块
根据行为量表评估过程与脑机接口评估范式结合，首先，通过计算机的显示器上的高清摄像头正面实时采集当前被试者的头像，并由程序裁剪为4cm*4cm的头像，作为人脸刺激键，并将此刺激键分布于显示器正方形范围内的上、下、左、右四个方向，在每个试次前随机选取一个方向为目标方向，并将此方向上的人脸刺激键置于显示器中心，用于提示患者选择性注意；单个试次(trial)过程见图1所示，试次开始后，先播放7s时长的实验提示语，帮助被试者注意到中间的人脸刺激键，然后目标方向上的人脸刺激键作为目标键进行移动并同时闪烁，而非目标的其余3个方向上的人脸视觉刺激则在原地闪烁而不移动。目标键从中间移动到初始位置后，单个刺激完成，整个刺激过程包含10个重复刺激，目标键的选取是由程序随机选定的。且在目标闪烁移动过程中，通过EEG信号采集模块实时采集患者单个试次共10次刺激的脑电信号，并通过特征分析提取与分类模块进行特征提取与分类，同时将结果作为反馈输出(反馈时间为10s)。
b、EEG信号采集模块
要求每个被试者按照扩展国际10-20系统标准佩戴电极帽，以单极导联方式连接，将右侧耳垂处的电极作为公共端。试次选择了Fp1、Fp2、F7、F3、Fz、F4、F8、FT7、FC3、FCz、FC4、FT8、T7、C3、Cz、C4、T8、TP7、CP3、CPz、CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz和O2共30个信号的通道作为脑电通道用来采集EEG数据。GND作为接地电极，A2作为参考电极。在数据采集过程中，先让意识障碍患者就坐于显示器前0.5m左右，保证患者的视角在30°左右，给被试者佩戴电极帽，并注入电极膏确保每个电极导通，为保证信号质量，所有通道的电极接触阻抗都保持在5k欧以下，脑电原始数据经过[0.1-70]Hz的带通滤波，并通过50Hz陷波滤波器去除工频干扰，去除头动、肌电等脑电背景噪声。
c、特征分析提取与分类模块
要求单个试次的目标键从中间移至初始位置后，EEG数据被实时送入计算机中，采用ITPC(相位一致性)分类算法立即对数据进行处理，并根据结果同时播放正性/负性反馈图片与声音；其中，ITPC(相位一致性)分类算法具体步骤如下：
S1、由EEG信号采集模块采集到的EEG数据经过0.1Hz-50Hz的零相位带通滤波，并采用回归方法去除眼电伪迹；
S2、选择与视觉相关的区域的通道，至少包含P3、Pz、P4、O1、Oz和O2；利用所选通道的滤波后EEG数据构建至少400个目标和1200个非目标的数据单元，每个数据单元从刺激移动前100ms至刺激结束后800ms，将400个目标和1200个非目标的数据单元进行基于快速傅里叶变化的时频分析；
S3、时频分析包含计算事件相关谱扰动(event-related spectralperturbation，ERSP)和试次间的相位一致性(ITPC)，ERSP的值可以反映脑电图信号中不同频率的功率随刺激起始而改变的程度，其中，ERSP的计算如下：
Figure BDA0003153480130000081
其中，ERSP(f,t)是频率f和时间t下的事件相关谱扰动；n是实验试次数；Fk(f,t)是频率f和时间t下，第k试次的谱估计；ITPC能够被视为ERSP的补充，揭示了选定频率范围与时间窗口内不同试次间的脑电图频谱相位一致性(即相位一致性的程度)，计算如下：
Figure BDA0003153480130000082
其中，ITPC(f,t)是频率f和时间t下的相位一致性。
不同组患者的ERSP与ITPC分布见图2所示；在正常被试组中低频带(小于20Hz)的ERSP值非常高，且300-400ms时间窗内的ITPC值也较高，即锁相性很好，同样的现象在意识障碍患者中一些后期出现视觉追踪的患者中(Responsive组和Inconsistent组中)也可观察到，此现象没有在不具备视觉追踪的患者中观察到。
S4、采用不同频段的ITPC值作为特征进行分类，决定目标刺激；按照上、下、左、右方位构建某个频段(1-20Hz)的特征向量。每位患者进行20个trial的在线任务，分两次完成，每次10个trial。每次在线任务前，先收集10次训练任务(10个trial)作为训练数据集，用于建立分类模型。从训练数据集中提取特征向量，训练一个支持向量机SVM或者线性的分类器，即分类模型，在分类器中，对应目标和3个非目标的特征向量分别被标注为1和-1；对于每个在线的试次，训练的分类模型被应用到对应上、下、左、右不同方位的4个特征向量中，获得4个值，4个值中最大值对应的刺激方位被认为是目标，在试次中即为移动的目标键；如果检测到的方位与实际方位一致，则这个试次(trial)正确响应。
d、统计检验评估标准模块
对每个被试者，分类准确率就是命中的次数除以总的试次(trial)数，然而，意识障碍患者的准确率普遍较低，为了评估分类准确率的显著性，使用如下描述的基于Jeffreys’Beta分布的二项式检验：
Figure BDA0003153480130000091
式中，N表示试次(trial)的个数，m是期望的命中个数，a是期望对比的准确率(这里是0.25)，λ为所求的达到显著所需的准确率，z是标准正态分布中的z值；对于单边检测(即大于期望值)，当置信度为0.05时，z值为1.65；对于完成20次训练任务与20次在线任务的患者中，认为正确率在显著水平45％以上，且同时存在ITPC的，就判定被试者在视觉追踪项目评分为3。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.视觉追踪的脑机接口检测系统，其特征在于，包括：高清人脸头像采集与移动模块、EEG信号采集模块、特征分析提取与分类模块、统计检验评估标准模块；
所述高清人脸头像采集与移动模块，通过计算机的显示器上的高清摄像头正面实时采集当前被试者的头像并裁剪为预定大小的头像，作为人脸刺激键，并将此刺激键分布于显示器正方形范围内的上、下、左、右四个方向，在每个试次前随机选取一个方向为目标方向，并将此方向上的人脸刺激键置于显示器中心，用于提示患者选择性注意；试次开始后，目标方向上的人脸刺激键作为目标键进行移动并同时闪烁，而非目标的其余3个方向上的人脸刺激键则在原地闪烁而不移动，且在目标闪烁移动过程中，通过EEG信号采集模块实时采集患者脑电信号，并通过特征分析提取与分类模块进行特征提取与分类，同时将结果输出；
所述EEG信号采集模块，要求每个被试者按照扩展国际10-20系统标准佩戴电极帽，以单极导联方式连接，将右侧耳垂处的电极作为公共端；试次选择了Fp1、Fp2、F7、F3、Fz、F4、F8、FT7、FC3、FCz、FC4、FT8、T7、C3、Cz、C4、T8、TP7、CP3、CPz、CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz和O2共30个信号的通道作为脑电通道用来采集EEG数据；GND作为接地电极，A2作为参考电极；在数据采集过程中，为保证信号质量，所有通道的电极接触阻抗都保持在5k欧以下；脑电原始数据经过[0.1-70]Hz的带通滤波，并通过50Hz陷波滤波器去除工频干扰和去除脑电背景噪声；
所述特征分析提取与分类模块，要求单个试次的目标键从中间移至初始位置后，EEG数据被实时送入计算机中，采用相位一致性分类算法即ITPC特征提取与分类算法对数据进行处理，并根据结果同时播放正性/负性反馈图片与声音；
所述统计检验评估标准模块，对每个被试者，分类准确率就是命中的次数除以总的试次数，为了评估分类准确率的显著性，使用如下描述的基于Jeffreys’Beta分布的二项式检验：
Figure FDA0003153480120000021
式中，N表示试次的个数，m是期望的命中个数，a是期望对比的准确率，λ为所求的达到显著所需的准确率，z是标准正态分布中的z值；对于单边检测即大于期望值，当置信度为0.05时，z值为1.65；对于完成20次训练任务与20次在线任务的患者中，认为正确率在显著水平45％以上，且同时存在显著的ERP成分或者某个频带显著的ERSP，就判定被试者在视觉追踪项目评分为3，20个试次的在线任务分两次完成，每次10个试次，每次在线任务前，先收集10次训练任务即10个试次作为训练数据集，用于建立分类模型。
2.根据权利要求1所述的视觉追踪的脑机接口检测系统，其特征在于，在所述特征分析提取与分类模块中，采用的ITPC分类算法具体步骤如下：
S1、由EEG信号采集模块采集到的EEG数据经过0.1Hz-50Hz的零相位带通滤波，并采用回归方法去除眼电伪迹；
S2、选择与视觉相关的区域的通道，至少包含P3、Pz、P4、O1、Oz和O2；利用所选通道的滤波后EEG数据构建至少400个目标和1200个非目标的数据单元，每个数据单元从刺激移动前100ms至刺激结束后800ms，将400个目标和1200个非目标的数据单元进行基于快速傅里叶变化的时频分析；
S3、时频分析包含计算事件相关谱扰动ERSP和试次间的相位一致性ITPC；ERSP的值能够反映脑电图信号中不同频率的功率随刺激起始而改变的程度，其中，ERSP的计算如下：
Figure FDA0003153480120000031
其中，ERSP(f,t)是频率f和时间t下的事件相关谱扰动；n是实验试次数；Fk(f,t)是频率f和时间t下，第k试次的谱估计；ITPC能够被视为ERSP的补充，揭示了选定频率范围与时间窗口内不同试次间的脑电图频谱相位一致性，即相位一致性的程度，计算如下：
Figure FDA0003153480120000032
其中，ITPC(f,t)是频率f和时间t下的相位一致性；
S4、采用不同频段的ITPC值作为特征进行分类，决定目标刺激；按照上、下、左、右方位构建某个频段的特征向量，从训练数据集的数据中提取特征向量，训练一个支持向量机SVM或者线性的分类器，即分类模型，在分类器中，对应目标和3个非目标的特征向量分别被标注为1和-1；对于每个在线的试次，训练的分类模型被应用到对应上、下、左、右不同方位的4个特征向量中，获得4个值，4个值中最大值对应的刺激方位被认为是目标，在试次中即为移动的目标键；如果检测到的方位与实际方位一致，则这个试次正确响应。
3.根据权利要求1所述的视觉追踪的脑机接口检测系统，其特征在于，所述EEG信号采集模块在数据采集过程中，要求意识障碍患者面对显示器，并与显示器保持设定的距离，保证患者的视角在设定的角度范围内，给被试者佩戴电极帽，并注入电极膏确保每个电极导通。
CN202110773825.7A 2021-07-08 2021-07-08 视觉追踪的脑机接口检测系统 Active CN113576496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110773825.7A CN113576496B (zh) 2021-07-08 2021-07-08 视觉追踪的脑机接口检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110773825.7A CN113576496B (zh) 2021-07-08 2021-07-08 视觉追踪的脑机接口检测系统

Publications (2)

Publication Number Publication Date
CN113576496A true CN113576496A (zh) 2021-11-02
CN113576496B CN113576496B (zh) 2022-05-20

Family

ID=78246443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110773825.7A Active CN113576496B (zh) 2021-07-08 2021-07-08 视觉追踪的脑机接口检测系统

Country Status (1)

Country Link
CN (1) CN113576496B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115363605A (zh) * 2022-08-29 2022-11-22 天津大学 基于高频gamma神经振荡的自适应ASSR增强装置
CN116186502A (zh) * 2023-04-27 2023-05-30 华南理工大学 一种多模态视觉神经功能检测方法及其系统
CN116421202A (zh) * 2023-02-13 2023-07-14 华南师范大学 基于脑电快速周期性视觉刺激奇异范式的大脑视觉功能快速检测方法、装置及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538823A (zh) * 2001-06-13 2004-10-20 用于监测意识的方法和设备
WO2011123072A1 (en) * 2010-03-31 2011-10-06 Agency For Science, Technology And Research A method and system for motor rehabilitation
CN103584840A (zh) * 2013-11-25 2014-02-19 天津大学 基于脑电、心率变异及两者相干性的自动睡眠分期方法
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN105266805A (zh) * 2015-10-23 2016-01-27 华南理工大学 一种基于视听觉脑机接口的意识状态检测方法
CN105476631A (zh) * 2015-11-25 2016-04-13 华南理工大学 一种基于脑电信号的睡眠检测及睡眠辅助方法及装置
CN105496404A (zh) * 2015-11-25 2016-04-20 华南理工大学 基于脑机接口辅助crs-r量表听觉惊吓的评估方法
CN107080521A (zh) * 2017-03-07 2017-08-22 华南理工大学 一种基于脑机接口辅助crs‑r量表交流评估的方法
CN108803873A (zh) * 2018-05-22 2018-11-13 西安交通大学 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
WO2019033213A1 (en) * 2017-08-15 2019-02-21 University Health Network CONTINGENT STIMULATION TO INCREASE MEMORY
CN109645991A (zh) * 2019-01-02 2019-04-19 华南理工大学 一种智能颅内皮质电极及其精确采集皮质脑电的方法
CN109645994A (zh) * 2019-01-04 2019-04-19 华南理工大学 一种基于脑-机接口系统辅助评估视觉定位的方法
CN109657560A (zh) * 2018-11-24 2019-04-19 天津大学 机械手臂控制在线脑-机接口系统及实现方法
KR20190056287A (ko) * 2017-11-16 2019-05-24 고려대학교 산학협력단 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법
CN109893093A (zh) * 2019-02-20 2019-06-18 华南理工大学 一种隐式注视脑机接口的意识状态检测系统
CN110347242A (zh) * 2019-05-29 2019-10-18 长春理工大学 基于空间和语义一致的视听觉脑机接口拼写系统及其方法
CN111714120A (zh) * 2020-05-08 2020-09-29 广东食品药品职业学院 能进行视觉定位能力评估的脑机接口系统及其应用
US10849526B1 (en) * 2016-10-13 2020-12-01 University Of South Florida System and method for bio-inspired filter banks for a brain-computer interface
CN112022155A (zh) * 2020-07-27 2020-12-04 广东食品药品职业学院 能对意识障碍患者进行听觉行为评估的脑机接口系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538823A (zh) * 2001-06-13 2004-10-20 用于监测意识的方法和设备
WO2011123072A1 (en) * 2010-03-31 2011-10-06 Agency For Science, Technology And Research A method and system for motor rehabilitation
CN103584840A (zh) * 2013-11-25 2014-02-19 天津大学 基于脑电、心率变异及两者相干性的自动睡眠分期方法
CN103845137A (zh) * 2014-03-19 2014-06-11 北京工业大学 基于稳态视觉诱发脑机接口的机器人控制方法
CN105266805A (zh) * 2015-10-23 2016-01-27 华南理工大学 一种基于视听觉脑机接口的意识状态检测方法
CN105476631A (zh) * 2015-11-25 2016-04-13 华南理工大学 一种基于脑电信号的睡眠检测及睡眠辅助方法及装置
CN105496404A (zh) * 2015-11-25 2016-04-20 华南理工大学 基于脑机接口辅助crs-r量表听觉惊吓的评估方法
US10849526B1 (en) * 2016-10-13 2020-12-01 University Of South Florida System and method for bio-inspired filter banks for a brain-computer interface
CN107080521A (zh) * 2017-03-07 2017-08-22 华南理工大学 一种基于脑机接口辅助crs‑r量表交流评估的方法
WO2019033213A1 (en) * 2017-08-15 2019-02-21 University Health Network CONTINGENT STIMULATION TO INCREASE MEMORY
KR20190056287A (ko) * 2017-11-16 2019-05-24 고려대학교 산학협력단 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법
CN108803873A (zh) * 2018-05-22 2018-11-13 西安交通大学 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
CN109657560A (zh) * 2018-11-24 2019-04-19 天津大学 机械手臂控制在线脑-机接口系统及实现方法
CN109645991A (zh) * 2019-01-02 2019-04-19 华南理工大学 一种智能颅内皮质电极及其精确采集皮质脑电的方法
CN109645994A (zh) * 2019-01-04 2019-04-19 华南理工大学 一种基于脑-机接口系统辅助评估视觉定位的方法
CN109893093A (zh) * 2019-02-20 2019-06-18 华南理工大学 一种隐式注视脑机接口的意识状态检测系统
CN110347242A (zh) * 2019-05-29 2019-10-18 长春理工大学 基于空间和语义一致的视听觉脑机接口拼写系统及其方法
CN111714120A (zh) * 2020-05-08 2020-09-29 广东食品药品职业学院 能进行视觉定位能力评估的脑机接口系统及其应用
CN112022155A (zh) * 2020-07-27 2020-12-04 广东食品药品职业学院 能对意识障碍患者进行听觉行为评估的脑机接口系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴祯等: "视觉感知正反馈的显著性检测", 《中国图象图形学报》 *
王禾等: "视觉诱发电位判别注视目标的实验", 《中国临床康复》 *
郁洪强等: "过度使用互联网对脑电时频特性的影响研究", 《自然科学进展》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115363605A (zh) * 2022-08-29 2022-11-22 天津大学 基于高频gamma神经振荡的自适应ASSR增强装置
CN115363605B (zh) * 2022-08-29 2024-02-23 天津大学 基于高频gamma神经振荡的自适应ASSR增强装置
CN116421202A (zh) * 2023-02-13 2023-07-14 华南师范大学 基于脑电快速周期性视觉刺激奇异范式的大脑视觉功能快速检测方法、装置及存储介质
CN116421202B (zh) * 2023-02-13 2024-04-02 华南师范大学 基于脑电快速周期性视觉刺激奇异范式的大脑视觉功能快速检测方法、装置及存储介质
CN116186502A (zh) * 2023-04-27 2023-05-30 华南理工大学 一种多模态视觉神经功能检测方法及其系统

Also Published As

Publication number Publication date
CN113576496B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN113576496B (zh) 视觉追踪的脑机接口检测系统
CN110801237B (zh) 一种基于眼动和脑电特征的认知能力评估系统
CN109645994B (zh) 一种基于脑-机接口系统辅助评估视觉定位的方法
CA2888355C (en) Systems and methods for evaluation of neuropathologies
CN105496404B (zh) 基于脑机接口辅助crs-r量表听觉惊吓的评估方法
CN100450429C (zh) 用于探测和监测早期青光眼的自动化过程的装置与方法
CN111227825B (zh) 一种基于脑机接口系统辅助评估声源定位的方法
CN110037696A (zh) 基于眼电开关的脑电生物反馈系统
CN110600103B (zh) 一种提升视力的可穿戴智能服务系统
WO2014150684A1 (en) Artifact as a feature in neuro diagnostics
Pun et al. Brain-computer interaction research at the Computer Vision and Multimedia Laboratory, University of Geneva
CN109893093A (zh) 一种隐式注视脑机接口的意识状态检测系统
CN112545460B (zh) 基于视-听双任务的脑力负荷检测方法
AU2022221742A1 (en) Apparatus, systems and methods for monitoring symptoms of neurological conditions
Smith Electroencephalograph based brain computer interfaces
CN116098634A (zh) 一种基于刺激事件的脑功能检测评估方法、装置及系统
Wessel Pioneering research into brain computer interfaces
CN111714120A (zh) 能进行视觉定位能力评估的脑机接口系统及其应用
CN112022155A (zh) 能对意识障碍患者进行听觉行为评估的脑机接口系统
Wang et al. Gamma oscillation in brain connectivity in emotion recognition by Granger causality
CN112000223B (zh) 可抗个体差异的运动想象布尔决策型脑机接口方法
Freyer Data pre-processing and feature analysis for a feature-based EEG alcohol detector
Hulewicz et al. Steady-State Visual Evoked Potentials SSVEP in Brain-Computer Interfaces
Alam et al. Implementation of EEG Approach for Detection of Upper Limb Movement
Lv et al. A novel saccade signals detection algorithm for eog-based human activity recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant