CN114403903A - 面向跨被试rsvp的多特征低维子空间erp检测方法 - Google Patents
面向跨被试rsvp的多特征低维子空间erp检测方法 Download PDFInfo
- Publication number
- CN114403903A CN114403903A CN202210042481.7A CN202210042481A CN114403903A CN 114403903 A CN114403903 A CN 114403903A CN 202210042481 A CN202210042481 A CN 202210042481A CN 114403903 A CN114403903 A CN 114403903A
- Authority
- CN
- China
- Prior art keywords
- feature
- dimensional
- matrix
- tested
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 38
- 239000006185 dispersion Substances 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000002344 surface layer Substances 0.000 claims abstract description 11
- 239000010410 layer Substances 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000009467 reduction Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 41
- 210000004556 brain Anatomy 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 239000004576 sand Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000013526 transfer learning Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000763 evoking effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了面向跨被试RSVP的多特征低维子空间ERP检测方法。该方法首先采用迁移学习方法中的欧式空间对齐,对来自不同被试、不同试次的EEG数据在欧式空间中进行对齐。然后采用不同的特征提取方式表层和深层两路特征,其次将来自不同空间的两路特征分别进行有监督降维,使得不同类特征的类内离散度尽可能低,且类间离散度尽可能高。得到凝练且位于不同维度的两个一维特征,对这两个一维特征进行融合重构,最终将重构后的特征用于ERP检测。有效提升ERP检测时的稳定性与准确率。
Description
技术领域
本发明属于事件相关电位分析技术领域,涉及跨被试的事件相关电位检测,具体涉及面向跨被试RSVP的多特征低维子空间ERP检测方法。
背景技术
基于计算机视觉的目标图像检索应用广泛,然而有些目标具有伪装、遮挡、环境变化以及不确定等特性,而机器识别由于场景泛化能力弱、本征抽象难,导致它对这类复杂目标难以准确识别。如图1所示,基于快速序列视觉呈现(Rapid Serial VisualPresentation,RSVP)的目标图像检索借助于人脑在看到目标图像时产生的事件相关电位(Event-related Potentials,ERP)来完成目标图像检索,具有对复杂目标进行识别的能力。ERP是脑电图(Electroencephalogram,EEG)中的一个诱发电位,其包含P300、N170、N200等成分,可以通过听觉或者视觉等刺激来进行诱发。
值得注意的是,在经典的RSVP范式中,ERP的检测识别是基于单试次的,相比于基于多试次叠加检测ERP的拼写器范式,存在较大的难度。此外,在应用RSVP范式进行在线的目标图像检测时往往存在跨时段甚至跨被试的问题。跨时段检测会受到被试个人精神状态变化、脑电帽电极位置偏移、外部环境变化等因素的干扰,跨被试检测还会受到被试间个体差异的影响。
为了寻求更好的方法来提高单试次ERP检测的准确率。Solis-Escalante等提出了基于经验模态分解的单试次检测方法,从P300的训练集中分解平均事件响应,在事件响应分解上提供了一个很好的方向;Krusienski等使用逐步线性判别分析(StepWise LinearDiscriminant Analysis,SWLDA)来对P300进行判别,在判别器层面提供了一个改进方向;Bertrand Rivet等提出了一种通过构造一个空间滤波器来提高EEG数据信噪比的xDAWN算法,在EEG数据信噪比提升的方法改善上做出了贡献;Lawhern等提出了一个紧凑的卷积神经网络模型架构EEGNet,为EEG数据的模式识别提供了一个优秀的神经网络模型基线。然而这些方法虽然在单试次ERP检测中表现出优良的效果,但是在跨被试的情况下表现一般。
为了增强模型的跨被试性能,迁移学习被引入到EEG数据的模式识别当中,其思路是利用源域的信息来提高目标域的学习性能。Paolo Zanini等提出了一种迁移学习方法,称为RA-MDRM,通过利用来自其他被试的辅助数据来提高MDRM分类器的准确率。值得注意的是,该方法还需要用到来自新被试的少量有标签的EEG数据。何赫等提出了一种欧式空间EEG数据对齐的方法,通过将每个试次EEG数据的平均协方差矩阵映射到单位矩阵上来达到数据对齐的目的,这个方法无需用到来自新被试的标签。但是这些方法使用的特征尺度均较为单一,会限制模型的准确率与稳定性。
发明内容
针对现有技术的不足,本发明提出了面向跨被试RSVP的多特征低维子空间ERP检测方法,首先通过迁移学习的方法对齐不同被试、不同试次的采样数据,然后采用不同的方式进行特征提取与降维,再融合多路特征,进行事件相关电位检测,提高准确率与稳定性。
面向跨被试RSVP的多特征低维子空间ERP检测方法,具体包括以下步骤:
步骤一、样本数据对齐
使用欧式空间对齐(Euclidean Space Data Alignment,EA)的方法对来自不同被试、多个试次下的原始EEG数据进行处理。欧式空间对齐可以在不使用任何来源于新被试的EEG数据标签的条件下,使已知的来自不同被试的EEG数据分布更加接近,即在欧式空间内对齐被试的EEG数据。
步骤二、多路特征提取
针对步骤一对齐后的EEG数据分别提取表层特征与深层特征,以构建多特征脑电信号,缓解单一特征在跨被试检测时存在的不良影响。
s2.1、表层特征提取
脑电信号中能够被人类识别的特征称为表层特征,即其信号幅值。ERP在原始的时域上形成的波形具备一定的辨识度,因此其信号幅值中会包含一些重要信息。如果直接使用信号幅值作为表层特征,容易出现对训练集被试过拟合的问题。为了缓解这个问题,本方法在表层特征提取过程中,首先对对齐后的EEG数据进行降采样操作,然后经过xDAWN空域滤波器,将提高信噪比后的脑电信号的幅值作为表层特征FS。
所述xDAWN空域滤波器是一种空域滤波的方法,最初是为P300诱发电位设计的,通过参照非目标响应来增强目标响应。
xDAWN空域滤波器的响应模式为:
S=DA+N (3)
其中表示脑电信号,Nt表示脑电信号的采样点个数,Ns表示脑电信号的通道数量,是一个托普利兹矩阵(Toeplitz matrix),当存在刺激时其第一列的值被固定为1,表示目标刺激的同步响应,Ne表示包含ERP的脑电信号的样本数量,N表示大脑的持续活动及伪影。
s2.2、深层特征提取
由于被试间存在一定的个体差异,因此在提取得到深层特征后,将多次使用标签进行检验,以此让深层特征中包含更多跨被试且与ERP相关的信息。首先使用xDAWN空域滤波器提高信号信噪比;然后计算信号的协方差矩阵作为特征,减少跨被试时电极位置偏移的影响;最后将信号投影到切线空间,获取其深层特征FD。
所述切线空间投影将一组协方差矩阵投影到其切线空间,相当于一个核操作。切线空间投影可以看成是一个局部近似的流形学习,在转换样本协方差矩阵的同时保留了流形的内部结构。
首先通过协方差矩阵估计或正则化的方式,计算对齐后的EEG数据的协方差矩阵:
然后根据协方差矩阵Ci,通过梯度下降法计算出参考矩阵Cref:
其中δR表示协方差矩阵在黎曼空间距离的度量。
下一步计算出协方差矩阵Ci在切线空间的投影Si:
步骤三、特征一维化
采用线性判别分析的思想对步骤二中提取到的表层特征FS和深层特征FD分别进行有监督降维,使得不同类特征的类内离散度尽可能低,且类间离散度尽可能高。
其中fi s表示第i个样本对应的表层特征。
s3.2、根据s3.1所述的方法,对深层特征FD进行一维化处理,得到一维化后的深层特征FD’。
步骤四、构建联合特征空间
由于浅层特征与深层特征的提取方法不同,因此两类特征位于不同的特征空间,在进行分类检测前,需要先进行特征融合,即构建联合特征空间。现有技术直接将处于不同特征空间的特征合并到一个高维的混合特征空间,混合后的特征既存在来源于一个特征空间的相同特征,也存在来源于两个特征空间的不同特征,由于分类器本身无法辨别当前特征来源于哪一个特征空间,因此通过这种方法融合后的特征会给分类器的分类任务增加困难,虽然信息量增加,但反而可能导致识别精度下降。
本方法经过步骤三对两路特征进行有监督的降维,分别投影到两个一维特征空间,步骤三得到的一维化特征合并为两个维度,重构出二维的联合特征空间,每一维的特征都是对先前提取的特征的高度凝练,不同的特征位于不同的维度,互不干扰。根据这个思想得到融合后的特征FC∈R2xn为:
步骤五、ERP检测
使用线性判别器对步骤四得到的融合特征FC进行分类,即可实现得到ERP检测结果。
本发明具有以下有益效果:
本方法首先将原有数据进行对齐,然后提取了两路不同的特征,并且在一维化操作后将两路特征在二维联合特征空间中融合,基于融合后的特征进行ERP检测,在小幅提升事件相关电位检测精度的同时,能够有效的增加事件相关电位检测精度的稳定性。
附图说明
图1为经典RSVP实验范式示意图;
图2为面向跨被试RSVP的多特征低维子空间ERP检测流程图。
具体实施方式
以下结合附图对本发明作进一步的解释说明;
如图2所示,面向跨被试RSVP的多特征低维子空间ERP检测方法,首先采用迁移学习方法中的欧式空间对齐,对不同被试的数据进行对齐。其次将来自不同空间的特征分别进行有监督降维、重构。最终将重构后的特征用于ERP检测。
以下采用留一被试法作为检验方法,以平衡准确率作为评价指标,分别通过本方法以及部分现有技术,针对相同的数据集在采用不同长度分段的情况下,进行跨被试ERP检测。所述长度分段是指在对脑电数据进行分割时采用的时长t,以当前试次开始点为时间零点,截取时间间隔[0,t]的脑电数据作为当前试次对应脑电样本。
实施例1
本实施例针对PhysioNetRSVP数据集在7个不同长度分段下,分别使用切线空间投影法、xDAWN空域滤波器进行特征提取,并使用直接联合以及本方法所述的特征联合法进行特征融合,分析四种特征提取方法下,ERP检测的平衡准确率,结果如表1所示:
表1
根据表中统计的数据可知:(1)使用欧式空间对齐数据的分类效果普遍比不对齐数据要好。(2)本方法所提出的特征联合方法在7个长度的分段下,均不是分类效果最差的。(3)在7个不同长度分段下,本方法所提出的特征联合方法在其中5个长度分段下取得了最高的平衡准确率,即分类效果最好,而现有技术中的直接联合法只在1个长度分段下达到最优。
实施例2
本实施例与实施例1保持相同的实验条件,针对清华RSVP数据集的7个不同长度分段,进行ERP检测,实验结果如表2所示:
表2
由表2可知,本方法在7个不同长度分段下,均达到了最优效果。其标准差相较于其他方法也更低。
本方法在两个不同数据集下共计14个长度分段中,有12个长度分段达到最优分类结果,表明了本方法能够有效提升ERP检测时的稳定性与准确率。
Claims (7)
1.面向跨被试RSVP的多特征低维子空间ERP检测方法,其特征在于:具体包括以下步骤:
步骤一、样本数据对齐
使用欧式空间对齐法,在欧式空间内对来自不同被试、多个试次下的原始EEG数据进行对齐;
步骤二、多路特征提取
针对步骤一对齐后的EEG数据分别提取表层特征与深层特征,具体包括以下步骤:
s2.1、表层特征提取
首先对对齐后的EEG数据进行降采样操作,经过xDAWN空域滤波器后再计算其信号幅值,作为表层特征FS;
s2.2、深层特征提取
对齐后的EEG数据先经过xDAWN空域滤波器提高信号信噪比,然后计算其协方差矩阵,再将协方差矩阵投影到切线空间,将投影结果作为深层特征FD;
步骤三、特征一维化
对步骤二提取到的表层特征FS和深层特征FD分别进行有监督降维,具体步骤包括:根据EEG数据的标签对特征进行分类,得到由不同类别的特征组成的两个子集;在原特征空间内计算两个子集的均值向量和类内离散度矩阵,分别计算特征集合的总类内离散度矩阵Sw和总类间离散度矩阵Sb;然后求取的最大特征值对应的特征向量ω,将该特征向量作为特征一维化的投影方向,得到一维化后的特征:
fi'=ωTfi (1)
其中fi表示特征集合中的第i个特征;
步骤四、构建联合特征空间
将步骤三得到的一维化浅层特征和深层特征合并为两个维度,重构出二维的联合特征空间,得到融合后的特征FC∈R2xn为:
步骤五、ERP检测
使用线性判别器对步骤四得到的融合特征FC进行分类,即可实现得到ERP检测结果。
5.如权利要求4所述面向跨被试RSVP的多特征低维子空间ERP检测方法,其特征在于:通过协方差矩阵估计或正则化的方式求取协方差矩阵,通过梯度下降法计算参考矩阵。
7.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1、2、3、5、6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210042481.7A CN114403903B (zh) | 2022-01-14 | 2022-01-14 | 面向跨被试rsvp的多特征低维子空间erp检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210042481.7A CN114403903B (zh) | 2022-01-14 | 2022-01-14 | 面向跨被试rsvp的多特征低维子空间erp检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114403903A true CN114403903A (zh) | 2022-04-29 |
CN114403903B CN114403903B (zh) | 2024-10-11 |
Family
ID=81273484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210042481.7A Active CN114403903B (zh) | 2022-01-14 | 2022-01-14 | 面向跨被试rsvp的多特征低维子空间erp检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114403903B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024046112A1 (zh) * | 2022-09-02 | 2024-03-07 | 中兴通讯股份有限公司 | 数据处理方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160051163A1 (en) * | 2013-04-14 | 2016-02-25 | B. G. Negev Technologies And Applications Ltd. At Ben-Gurion University | Classifying eeg signals in response to visual stimulus |
CN105700687A (zh) * | 2016-03-11 | 2016-06-22 | 中国人民解放军信息工程大学 | 基于folding HDCA算法的单试次脑电P300成分检测方法 |
CN110991406A (zh) * | 2019-12-19 | 2020-04-10 | 燕山大学 | 一种基于rsvp脑电特征的弱小目标检测方法及系统 |
CN112528834A (zh) * | 2020-12-08 | 2021-03-19 | 杭州电子科技大学 | 子带目标对齐共空间模式的脑电信号跨被试分类方法 |
CN112861629A (zh) * | 2021-01-07 | 2021-05-28 | 天津大学 | 一种多窗口判别典型模式匹配方法及脑-机接口应用 |
CN113191395A (zh) * | 2021-04-07 | 2021-07-30 | 杭州电子科技大学 | 一种基于双脑的多层次信息融合的目标检测方法 |
-
2022
- 2022-01-14 CN CN202210042481.7A patent/CN114403903B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160051163A1 (en) * | 2013-04-14 | 2016-02-25 | B. G. Negev Technologies And Applications Ltd. At Ben-Gurion University | Classifying eeg signals in response to visual stimulus |
CN105700687A (zh) * | 2016-03-11 | 2016-06-22 | 中国人民解放军信息工程大学 | 基于folding HDCA算法的单试次脑电P300成分检测方法 |
CN110991406A (zh) * | 2019-12-19 | 2020-04-10 | 燕山大学 | 一种基于rsvp脑电特征的弱小目标检测方法及系统 |
CN112528834A (zh) * | 2020-12-08 | 2021-03-19 | 杭州电子科技大学 | 子带目标对齐共空间模式的脑电信号跨被试分类方法 |
CN112861629A (zh) * | 2021-01-07 | 2021-05-28 | 天津大学 | 一种多窗口判别典型模式匹配方法及脑-机接口应用 |
CN113191395A (zh) * | 2021-04-07 | 2021-07-30 | 杭州电子科技大学 | 一种基于双脑的多层次信息融合的目标检测方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024046112A1 (zh) * | 2022-09-02 | 2024-03-07 | 中兴通讯股份有限公司 | 数据处理方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114403903B (zh) | 2024-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lewicki | A review of methods for spike sorting: the detection and classification of neural action potentials | |
Stahl et al. | Novel machine learning methods for ERP analysis: a validation from research on infants at risk for autism | |
Groen et al. | From image statistics to scene gist: evoked neural activity reveals transition from low-level natural image structure to scene category | |
Saraydemir et al. | Down syndrome diagnosis based on gabor wavelet transform | |
Moin et al. | Emotion recognition framework using multiple modalities for an effective human–computer interaction | |
CN113191395B (zh) | 一种基于双脑的多层次信息融合的目标检测方法 | |
Wismueller et al. | Model-free functional MRI analysis for detecting low-frequency functional connectivity in the human brain | |
Lotte et al. | EEG feature extraction | |
Eom et al. | Deep-learned spike representations and sorting via an ensemble of auto-encoders | |
Samuel Schwarzkopf et al. | Pattern classification using functional magnetic resonance imaging | |
Mohammadi et al. | Cursor movement detection in brain-computer-interface systems using the K-means clustering method and LSVM | |
CN114403903A (zh) | 面向跨被试rsvp的多特征低维子空间erp检测方法 | |
Bourdaud et al. | Characterizing the EEG correlates of exploratory behavior | |
La Rocca et al. | Stable EEG features for biometric recognition in resting state conditions | |
CN113378650B (zh) | 一种基于脑电源成像和正则化共空间模式的情绪识别方法 | |
CN112861629B (zh) | 一种多窗口判别典型模式匹配方法及脑-机接口应用 | |
Anderson et al. | Classification of spatially unaligned fMRI scans | |
Yamin et al. | Investigating the impact of genetic background on brain dynamic functional connectivity through machine learning: A twins study | |
Alimardani et al. | Presenting a spatial-geometric EEG feature to classify BMD and schizophrenic patients | |
Huang et al. | Automatic artifact removal in EEG using independent component analysis and one-class classification strategy | |
CN114861738A (zh) | 一种基于脑电溯源和偶极子选择的运动想象分类方法 | |
Krishnan et al. | Advanced framework for epilepsy detection through image-based EEG signal analysis | |
Youssofzadeh et al. | An automated framework for emotional fMRI data analysis using covariance matrix | |
Zhang et al. | Data-driven evaluation of functional connectivity metrics | |
Ghoushchi et al. | Clustering of brain tumors in brain MRI images based on extraction of textural and statistical features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |