CN112861629B - 一种多窗口判别典型模式匹配方法及脑-机接口应用 - Google Patents
一种多窗口判别典型模式匹配方法及脑-机接口应用 Download PDFInfo
- Publication number
- CN112861629B CN112861629B CN202110019758.XA CN202110019758A CN112861629B CN 112861629 B CN112861629 B CN 112861629B CN 202110019758 A CN202110019758 A CN 202110019758A CN 112861629 B CN112861629 B CN 112861629B
- Authority
- CN
- China
- Prior art keywords
- time windows
- window
- under
- euclidean distance
- effective time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种多窗口判别典型模式匹配方法及脑‑机接口应用,包括:基于Fisher线性判别的思想构建空间滤波器,利用空间滤波器对训练集和验证集进行滤波,对训练集划分不同时间窗Win;在不同时间窗Win下进行空间滤波器和欧氏距离的计算;根据不同刺激范式的编码策略构建不同解码模板,利用向前/向后逐步回归筛选有效时间窗,计算有效时间窗下空间滤波后测试信号与模板信号之间的欧氏距离;集成多Win下计算得到的欧式距离系数,该距离系数用于识别分类。
Description
技术领域
本发明涉及脑-机接口领域,尤其涉及一种多窗口判别典型模式匹配方法及脑-机接口应用。
背景技术
脑-机接口(Brain-Computer Interface,BCI)可作为人脑和输出设备间直接的控制和交流通路,是一个将中枢神经系统活动直接转化为人工输出的系统,它能够替代、修复、增强、补充或者改善中枢神经系统的正常输出,从而改善中枢神经系统与内外环境之间的交互作用。事件相关电位(Event-Related Potential,ERP)信号受外源性刺激或内源性精神活动的调节。在BCI系统中用到的外源性刺激多为听觉或视觉刺激(如视觉刺激诱发的P100、N100响应),而内源性则包括用户注意力或心理活动相关的任务(如P300是大脑对外部新异刺激产生的内源性响应)。在BCI系统中,受试者可以通过主观控制(如调整注意力)来调节感觉、知觉或认知相关的ERP信号,可以利用信号处理和分类算法对经过调制的ERP编码信息进行解码。相比于不需要外部刺激的自发性脑电节律,ERP信号具有信噪较高、时-空特性较稳定的优势,伴随着信号编码和解码技术的飞速发展,ERP-BCI系统已经实现了很高的信息传输速率,在近些年的BCI研究中也越来越受到关注。
近年来有研究创新开发了判别典型模式匹配(Discriminative canonicalpattern matching,DCPM)算法,通过与线性判别分析(Linear DiscriminantAnalysis,LDA)、贝叶斯线性判别分析(Bayesian LDA)、阶梯式线性判别分析(Stepwise LDA,SWLDA)、收缩线性判别分析(Shrinkage LDA,SKLDA)、空-时判别分析(Spatial-TemporalDiscriminant Analysis)、xDAWN(B.Rivet,A.Souloumiac,V.Attina,and G.Gibert,"xDAWN algorithm to enhance evoked potentials:application to brain-computerinterface,"IEEE Trans Biomed Eng,vol.56,no.8,pp.2035-43,Aug 2009.)、EEGNet(V.J.Lawhern,A.J.Solon,N.R.Waytowich,S.M.Gordon,C.P.Hung,and B.J.Lance,"EEGNet:a compact convolutional neural network for EEG-based brain–computerinterfaces,"Journal of neural engineering,vol.15,no.5,p.056013,2018.)七种分类方法对比,并在非对称视觉诱发电位aVEP(asymmetric VEP,aVEP)、P300、EPFL、快速序列视觉呈现RSVP((Rapid Serial Visual Presentation,RSVP))和运动视觉诱发电位mVEP(motion VEP,mVEP)五种数据集中进行应用验证,证明了DCPM是一种鲁棒性更高、泛化性更强的分类算法,在各种ERP特征模式的单试次识别分类中具有优异的性能,且在小样本条件下表现更加突出。然而,尽管DCPM优于其他算法,但其对P300特征的识别效果不够理想,考虑原因是部分ERP响应极性变化大、潜伏期长导致解码效率低,限制了BCI技术进一步向应用成果转化。
发明内容
本发明提供了一种多窗口判别典型模式匹配方法及脑-机接口应用,本发明结合Fisher线性判别空间滤波及模板匹配原则的特征分类,将脑电信号划分为多个时间窗长下的信号特征,在不同时间窗下基于Fisher线性判别的思想构建空间滤波器,根据不同刺激范式的编码策略构建不同解码模板,利用向前/向后逐步回归筛选有效时间窗,计算有效时间窗下空间滤波后测试信号与模板信号之间的欧氏距离,通过集成各窗口下的距离系数进行识别分类,并将该分类方法应用到脑机接口系统中,详见下文描述:
一种多窗口判别典型模式匹配方法,所述方法包括:
基于Fisher线性判别的思想构建空间滤波器,利用空间滤波器对训练集和验证集进行滤波,对训练集划分不同时间窗Win;在不同时间窗Win下进行空间滤波器和欧氏距离的计算;
根据不同刺激范式的编码策略构建不同解码模板,利用向前/向后逐步回归筛选有效时间窗,计算有效时间窗下空间滤波后测试信号与模板信号之间的欧氏距离;
集成多Win下计算得到的欧式距离系数,该距离系数用于识别分类。
其中,所述利用向前/向后逐步回归筛选有效时间窗包括:
在训练集内进行交叉验证,划分训练样本内的训练和测试样本并进行模板匹配,计算训练样本内训练集的特征值,比较特征值预测分类模式,得到训练样本内的平均分类正确率值;
根据平均分类正确率值初步筛选i1个有效时间窗,采用阶梯式线性判别分析向前/向后逐步回归的思想,对i1个有效时间窗下的特征值进行筛选,进一步筛选出i2个有效时间窗。
其中,所述集成多Win下计算得到的欧式距离系数,该距离系数用于识别分类具体为:
进一步地,所述分类器集成可用线性判别分析、支持向量机,预测样本的类别并输出结果。
其中,所述方法还包括:
对训练集和测试集都在时间尺度上进行零均值处理,即每一个时间点的数值都减去时间窗内的时间平均值。
一种多窗口判别典型模式匹配方法,所述多窗口判别典型模式匹配方法还应用于脑-机接口。
本发明提供的技术方案的有益效果是:
1、本发明设计的多窗口判别欧式模板匹配特征提取与分类,可在脑-机接口系统中用于ERP特征的分类识别,应用范围广泛;
2、通过脑-机接口实验测试结果显示,本发明算法应用于脑-机接口系统中,与较传统分类方法相比可有效提升P300特征的字符识别正确率,证明利用该方法能进一步完善脑-机接口技术,促进该技术向应用成果转化;
3、本发明已应用于基于P300脑电特征控制的脑-机字符拼写系统中,设计实施了36指令集的P300-speller实验,进一步研究可以得到完善的脑-机接口系统,有望获得可观的社会效益和经济效益。
附图说明
图1为一种多窗口判别典型模式匹配方法的流程图;
图2为一种多窗口判别典型模式匹配的脑-机接口应用的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
一种多窗口判别典型模式匹配方法,参见图1,该方法包括以下步骤:
本发明实施例根据脑电特征的时域特性,基于Fisher线性判别的思想构建空间滤波器,并结合向前/向后逐步回归和线性判别方法对时间窗进行筛选和集成,设计了多窗口判别典型模式匹配算法(Multi-Window Discriminative Canonical Pattern Matching,Multi-windowDCPM)。
Multi-window DCPM可用于ERP等脑电特征的提取和分类识别,可以有效提升识别信号的分类正确率。经实验验证,该方法可用于基于P300脑电特征控制的脑-机字符拼写系统中,其字符平均分类正确率较传统DCPM算法提高了5%。
该方法主要包括三个部分:
1)将训练样本分为训练集和验证集,对训练集划分不同时间窗Win;在不同时间窗Win下进行空间滤波器和欧氏距离的计算;
即,利用空间滤波器对训练集和验证集进行滤波,计算二者滤波后的欧式距离系数,将欧式距离系数作为决策值用于训练集的分类评判。
2)采用SWLDA算法筛选具有特异性的Win;在特异性Win下对测试样本进行空间滤波器和欧氏距离的计算;
即,利用空间滤波器对全部的测试样本和训练样本进行滤波,计算滤波后二者的欧式距离系数,将欧式距离系数作为决策值用于测试样本分类评判。
3)集成多Win下计算得到的欧式距离系数,进行最终的决策分类。
实施例2
下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍,详见下文描述:
图1为本发明算法流程图,首先划分n个时间窗ti∈[t1,t2]i,i=1,2,…,n,设第i个时间窗下为训练集,k表示两类特征,即k=1,2,为测试样本,其中Nc表示采集脑电的通道数,表示第i个时间窗下截取信号长度,Ns表示训练集样本个数,R为时数域。
其中,T为转置。
两类信号的方差表示为:
基于Fisher线性判别准则,求解不同时间窗i下DSP空间滤波器Wi,
其中,是Wi的特征值,为第i个时间窗下的类内散度矩阵,为第i个时间窗下的类间散度矩阵。经Wi空间滤波可以滤除两类信号之间的共模信号。然后由训练集数据构建模板,并进行特征提取,求解不同时间窗下表示训练模板和测试样本信号之间相似性的特征向量
Multi-window DCPM由于存在多个时间窗条件,因此通过训练样本可以求解得到多个Wi,为了对不同时间窗进行筛选,算法需要在训练集内进行交叉验证,划分训练样本内的训练和测试样本并进行模板匹配,根据式(7)计算训练样本内训练集的特征值根据式(8)比较特征值预测分类模式,得到训练样本内的平均分类正确率
其中,Wini1为筛选出的i1个有效时间窗。
然后采用阶梯式线性判别分析向前/向后逐步回归的思想,对i1个有效时间窗下的特征值进行筛选,进一步筛选出i2个有效时间窗:
其中,Wini2为筛选出的i2个有效时间窗,stepwise为阶梯式判别分析。
在i2个时间窗下对测试样本Yi2进行计算,代入公式(7)和(8)计算测试样本的最后将i2个时间窗下全部特征向量利用分类器集成,集成方法可用线性判别分析(Linear DiscriminantAnalysis,LDA)、支持向量机(Support Vector Machine,SVM)等多种分类器模型,进而预测该样本的类别并输出结果,如图1所示。
实施例3
该实施例是与实施例1和2中的方法部分所对应,对上述方法的具体应用,参见图2,图2所示为本发明算法应用的包含36指令集的脑-机接口系统结构示意图。该系统包括液晶显示器刺激界面、脑电电极和脑电放大器等脑电采集系统以及计算机处理平台等部分。该系统应用经典Oddball范式诱发P300脑电特征,采用NeuroScan公司生产的脑电数字采集系统采集脑电信号,将信号经过脑电放大器放大、滤波后输入计算机,应用本发明算法对两类脑电特征进行分类,最终将脑电信号解码后转化为BCI指令进行输出。刺激呈现及数据处理分析均基于Matlab平台完成。
范式中每行每列字符按照伪随机序列依次点亮,每次点亮时间为100ms、熄灭75ms。一轮刺激包含12次点亮(6行6列),每个字符刺激6轮。每名受试者拼写30个字符,要求受试者专注于目标字符,实验过程中避免频繁眨眼、吞咽及大幅动作等行为,在刺激开始后心中默数目标字符被点亮的次数。每名受试者采集2160个试次,包含360个目标试次和1800非目标试次。
本发明算法应用于P300-speller,并对20名受试者进行了测试。测试时选择LDA分类器进行多窗口下的决策值集成决策,实验结果表明,在应用本发明算法后,20名被试的6轮平均字符拼写正确率较传统DCPM算法提升了5%。
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种多窗口判别典型模式匹配方法,其特征在于,所述方法包括:
基于Fisher线性判别的思想构建空间滤波器,利用空间滤波器对训练集和验证集进行滤波,对训练集划分不同时间窗Win;在不同时间窗Win下进行空间滤波器和欧氏距离的计算;
根据不同刺激范式的编码策略构建不同解码模板,利用向前/向后逐步回归筛选有效时间窗,计算有效时间窗下空间滤波后测试信号与模板信号之间的欧氏距离;
集成多个有效时间窗下计算得到的欧式距离系数,该距离系数用于识别分类;
其中,所述利用向前/向后逐步回归筛选有效时间窗具体为:
在训练集内进行交叉验证,划分训练样本内的训练和测试样本并进行模板匹配,计算训练样本内训练集的特征值,比较特征值预测分类模式,得到训练样本内的平均分类正确率值;
根据平均分类正确率值初步筛选i1个有效时间窗,采用阶梯式线性判别分析向前/向后逐步回归的思想,对i1个有效时间窗下的特征值进行筛选,进一步筛选出i2个有效时间窗。
3.根据权利要求1所述的一种多窗口判别典型模式匹配方法,其特征在于,所述分类器集成可用线性判别分析、支持向量机,预测样本的类别并输出结果。
4.根据权利要求1所述的一种多窗口判别典型模式匹配方法,其特征在于,所述方法还包括:
对训练集和测试集都在时间尺度上进行零均值处理,即每一个时间点的数值都减去时间窗内的时间平均值。
5.根据权利要求1-4中的任一权利要求所述的多窗口判别典型模式匹配方法,其特征在于,所述多窗口判别典型模式匹配方法还应用于脑-机接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110019758.XA CN112861629B (zh) | 2021-01-07 | 2021-01-07 | 一种多窗口判别典型模式匹配方法及脑-机接口应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110019758.XA CN112861629B (zh) | 2021-01-07 | 2021-01-07 | 一种多窗口判别典型模式匹配方法及脑-机接口应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112861629A CN112861629A (zh) | 2021-05-28 |
CN112861629B true CN112861629B (zh) | 2022-05-10 |
Family
ID=76005009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110019758.XA Active CN112861629B (zh) | 2021-01-07 | 2021-01-07 | 一种多窗口判别典型模式匹配方法及脑-机接口应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112861629B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114403903A (zh) * | 2022-01-14 | 2022-04-29 | 杭州电子科技大学 | 面向跨被试rsvp的多特征低维子空间erp检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201012095D0 (en) * | 2010-07-19 | 2010-09-01 | Ipsotek Ltd | Apparatus, system and method |
CN106527732A (zh) * | 2016-11-30 | 2017-03-22 | 中国医学科学院生物医学工程研究所 | 体感电刺激脑机接口中特征信号的选择和优化方法 |
CN110740297A (zh) * | 2019-10-25 | 2020-01-31 | 浙江工贸职业技术学院 | 一种自动识别的基于计算机的监控装置及监控方法 |
CA3133970A1 (en) * | 2019-03-18 | 2020-09-24 | Health Tech Connex Inc. | System and method for automatic evoked potential measurement |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104548347A (zh) * | 2015-01-22 | 2015-04-29 | 天津大学 | 一种纯意念神经肌肉电刺激控制与神经功能评价系统 |
US20200408875A1 (en) * | 2015-07-17 | 2020-12-31 | Chao-Lun Mai | Method, apparatus, and system for positioning and powering a wireless monitoring system |
WO2019144776A1 (zh) * | 2018-01-23 | 2019-08-01 | 天津大学 | 一种基于非对称脑电特征的脑-机接口系统编解码方法 |
CN109214325B (zh) * | 2018-08-28 | 2022-04-29 | 天津大学 | 一种基于空间滤波与模版匹配的运动相关电位检测方法 |
-
2021
- 2021-01-07 CN CN202110019758.XA patent/CN112861629B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201012095D0 (en) * | 2010-07-19 | 2010-09-01 | Ipsotek Ltd | Apparatus, system and method |
CN106527732A (zh) * | 2016-11-30 | 2017-03-22 | 中国医学科学院生物医学工程研究所 | 体感电刺激脑机接口中特征信号的选择和优化方法 |
CA3133970A1 (en) * | 2019-03-18 | 2020-09-24 | Health Tech Connex Inc. | System and method for automatic evoked potential measurement |
CN110740297A (zh) * | 2019-10-25 | 2020-01-31 | 浙江工贸职业技术学院 | 一种自动识别的基于计算机的监控装置及监控方法 |
Non-Patent Citations (2)
Title |
---|
一种基于时-空-频联合选择与相关向量机的运动想象脑电信号分析算法;王洪涛等;《控制理论与应用》;20171015(第10期);全文 * |
基于深度表示学习和高斯过程迁移学习的情感分析方法;吴冬茵等;《中文信息学报》;20170115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112861629A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020151075A1 (zh) | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 | |
Blankertz et al. | Single-trial analysis and classification of ERP components—a tutorial | |
CN111329474B (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
CN106569604B (zh) | 视听双模态语义匹配和语义失配协同刺激脑机接口方法 | |
US8849727B2 (en) | Method and system for classifying brain signals in a BCI using a subject-specific model | |
CN110265148B (zh) | 一种fMRI脑网络机制启发的动态功能模式学习方法 | |
CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
Gao et al. | A novel concealed information test method based on independent component analysis and support vector machine | |
CN111580643B (zh) | 一种基于稳态不对称视觉诱发电位的脑-机接口方法 | |
CN113191395B (zh) | 一种基于双脑的多层次信息融合的目标检测方法 | |
Simbolon et al. | An experiment of lie detection based EEG-P300 classified by SVM algorithm | |
Lotte et al. | EEG feature extraction | |
Safont et al. | Multichannel dynamic modeling of non-Gaussian mixtures | |
WO2022135449A1 (zh) | 癫痫患者发作间期痫样电活动检测装置和方法 | |
Borra et al. | A lightweight multi-scale convolutional neural network for P300 decoding: analysis of training strategies and uncovering of network decision | |
CN107595281A (zh) | 利用eeg‑nirs融合特征的动作意向分类方法 | |
Berberyan et al. | Discovering the brain stages of lexical decision: Behavioral effects originate from a single neural decision process | |
CN106974660B (zh) | 基于脑功能活动检测中的血氧特征实现性别判定的方法 | |
Anwar et al. | Event Related Potential (ERP) based lie detection using a wearable EEG headset | |
López-García et al. | Multivariate pattern analysis techniques for electroencephalography data to study flanker interference effects | |
CN112861629B (zh) | 一种多窗口判别典型模式匹配方法及脑-机接口应用 | |
CN111671445A (zh) | 一种意识障碍程度分析方法 | |
CN111144450A (zh) | 一种构建基于不同长度名字刺激的erp范式的方法 | |
CN108470182B (zh) | 一种用于非对称脑电特征增强与识别的脑-机接口方法 | |
CN114376524A (zh) | 基于语音统计学习的意识评估方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |