CN113662562B - 运动想象任务的脑电信号特征提取方法、装置及存储介质 - Google Patents

运动想象任务的脑电信号特征提取方法、装置及存储介质 Download PDF

Info

Publication number
CN113662562B
CN113662562B CN202110954518.9A CN202110954518A CN113662562B CN 113662562 B CN113662562 B CN 113662562B CN 202110954518 A CN202110954518 A CN 202110954518A CN 113662562 B CN113662562 B CN 113662562B
Authority
CN
China
Prior art keywords
csp
electroencephalogram
matrix
data
motor imagery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110954518.9A
Other languages
English (en)
Other versions
CN113662562A (zh
Inventor
于南希
黄梦婕
杨瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong Liverpool University
Original Assignee
Xian Jiaotong Liverpool University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong Liverpool University filed Critical Xian Jiaotong Liverpool University
Priority to CN202110954518.9A priority Critical patent/CN113662562B/zh
Publication of CN113662562A publication Critical patent/CN113662562A/zh
Application granted granted Critical
Publication of CN113662562B publication Critical patent/CN113662562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请涉及一种运动想象任务的脑电信号特征提取,属于脑‑机接口领域,该方法包括:获取运动想象任务的脑电信号;对脑电信号进行预处理,得到预处理后的脑电信号;将预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵;对特征矩阵进行特征提取,得到用于特征分类的特征向量。可以解决现有的CSP算法无法实现其最优化的目标,从而导致脑电信号特征提取不准确的问题。本申请的特征提取方法通过预先构建的深度CSP算法模型,对预处理后的脑电信号进行深度CSP滤波,可以提取出更显著的脑电特征,并使提取的脑电特征逼近真实目标函数的最优解,从而提升脑电信号特征分类的准确率。

Description

运动想象任务的脑电信号特征提取方法、装置及存储介质
技术领域
本申请涉及一种运动想象任务的脑电信号特征提取方法,属于脑-机接口技术领域。
背景技术
脑-机接口技术是一种将人脑的生理信号直接翻译成外部设备的控制命令,而不依赖于人的肌肉或者神经活动作为输出的技术,基于运动想象的脑-机接口系统可以为运动障碍患者提供一种新的控制方式,在医疗康复等领域有着广泛的应用前景。
由于脑电信号具有很强的个体差异性、非平稳性和时变差异性且极易受噪声影响,一些传统的时域、频域和时频分析方法在特征提取上具有一定的局限性,往往无法稳定准确的提取任务的特征。
共空间模式(Common Spatial Pattern,CSP)算法作为一种有监督的特征提取方法,它不依赖于专家或重复实验的经验判断,即可稳定准确地提取特征,该CSP算法也已经在脑电分类领域中应用。
CSP算法是通过同时对角化两类数据的平均协方差矩阵,以实现使两类数据方差差异最大的目标。然而现有的CSP算法定义的优化目标函数为
其中,W表示空间滤波器,表示第一类运动想象任务的脑电信号数据的平均空间协方差矩阵,WT表示空间滤波器W的转置,而为了实现两类数据方差差异最大的目标,其对应的优化目标函数实际应为:
其中,表示滤波后的第一类运动想象任务的脑电信号数据的平均空间协方差矩阵,/>表示滤波后的第二类运动想象任务的脑电信号数据的平均空间协方差矩阵。
因此,现有的CSP算法无法实现其最优化的目标,从而导致脑电信号特征提取不准确的问题。
发明内容
本申请提供了一种运动想象任务的脑电信号特征提取方法、装置和存储介质,用于解决现有CSP算法不能实现其最优化的目标,从而导致脑电信号特征提取不准确的问题。
本申请为解决其技术问题,提供如下技术方案:
第一方面,提供了一种运动想象任务的脑电信号特征提取方法,所述方法包括:
获取运动想象任务的脑电信号;
对所述脑电信号进行预处理,以滤除所述脑电信号的噪声,得到预处理后的脑电信号;
将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵;
对所述特征矩阵进行特征提取,得到用于特征分类的特征向量。
可选地,所述深度CSP算法模型包括至少三层CSP模型,其中,每一层所述CSP模型输出作为下一层所述CSP模型的输入,且所述每一层所述CSP模型均基于对应的输入,构建对应的CSP空间滤波器。
可选地,所述将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,包括:
将所述预处理后的脑电信号,输入第一层CSP模型进行CSP滤波,得到特征矩阵;
对所述特征矩阵,选取具有预定区分度的数据;
将所述具有预定区分度的数据,输入下一层所述CSP模型进行CSP滤波,得到下一层所述CSP模型输出的特征矩阵;
执行所述对所述特征矩阵,选取具有预定区分度的数据的步骤;
直到最后一层CSP模型输出具有预定区分度的数据,则得到的预定区分度的数据即为满足预设区分度要求的特征矩阵。
可选地,所述选取满足区分度要求的数据,包括:
对所述特征矩阵,选取头部和尾部预设行数的数据;
将所述预设行数的数据进行合并,得到满足区分度要求的数据,所述满足区分度要求的数据为输入所述CSP模型的脑电信号数据的方差差异满足要求的数据。
可选地,所述特征分类包括多分类任务,对于所述多分类任务,所述将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,包括:
将多类运动想象任务对应的脑电信号数据,划分为多组脑电数据,所述脑电数据由第一类脑电数据和第二类脑电数据组成,其中,所述第一类脑电数据由其中一类运动想象任务对应的脑电信号数据构成,所述第二类脑电数据由第一类脑电数据之外的其他至少一类运动想象任务的脑电信号数据构成;
针对每一组所述第一类脑电数据和第二类脑电数据,采用预先构建的CSP空间滤波器进行CSP滤波,得到每一组脑电数据对应的特征矩阵,以用于提取特征向量后,将各所述特征向量进行融合,得到融合后的用于特征分类的特征向量。
可选地,所述将多类运动想象任务对应的脑电信号数据,划分为多组第一类脑电数据和第二类脑电数据包括:
分别针对每一类运动想象任务,将其当前运动想象任务对应的脑电信号数据作为所述第一类脑电数据,将其他类运动想象任务对应的脑电信号数据合并后得到所述第二类脑电数据。
可选地,所述将多类运动想象任务对应的脑电信号数据,划分为多组第一脑电信号数据和第二脑电信号数据包括:
通过排列组合的方式,依次选取其中两类运动想象任务对应的脑电信号数据分别作为第一类脑电数据和第二类脑电数据。
第二方面,提供了运动想象任务的脑电信号特征提取装置,其特征在于,所述装置包括:
信号获取模块,用于获取运动想象任务的脑电信号;
预处理模块,用于对所述脑电信号进行预处理,以滤除所述脑电信号的噪声,得到预处理后的脑电信号;
滤波模块,用于将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵;
特征提取模块,用于对所述特征矩阵进行特征提取,得到用于特征分类的特征向量。
第三方面,提供了一种运动想象任务的脑电信号特征提取装置,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现第一方面所述的运动想象任务的脑电信号特征提取方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有程序,所述程序被处理器执行时用于实现第一方面所述运动想象任务的脑电信号特征提取方法。
本申请的有益效果在于:本申请的特征提取方法通过将预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求地特征矩阵;对特征矩阵进行特征提取,得到用于特征分类的特征向量。可以解决现有CSP算法无法实现其最优化的目标,从而导致脑电信号特征提取不准确的问题。本申请的特征提取方法通过预先构建的深度CSP算法模型,对预处理后的脑电信号进行深度CSP滤波,可以提取出更显著的脑电特征,并使提取的脑电特征逼近真实目标函数的最优解,从而提升脑电信号特征分类的准确率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的运动想象任务的脑电信号特征提取方法的流程图;
图2是本申请一个实施例提供的预先构建的深度CSP算法模型的框图;
图3是本申请一个实施例提供的基于预先构建的深度CSP算法模型进行CSP深度滤波的流程图;
图4是本申请一个实施例CSP模型构建CSP空间滤波器的方法的流程图;
图5是本申请一个实施例提供的运动想象任务的脑电信号特征提取装置的框图;
图6是本申请另一个实施例提供的运动想象任务的脑电信号特征提取装置的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本申请的具体实施方式作进一步详细描述。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可选地,本申请各个实施例的执行主体为电子设备,该电子设备具有运动想象任务的脑电信号特征提取功能。示意性地,电子设备通过调用预先安装的运动想象任务的脑电信号提取软件执行本申请提供的运动想象任务的脑电信号特征提取方法。
其中,电子设备可以为计算机,手机等,本实施例不对电子设备的设备类型作限定。
针对现有技术中,CSP算法无法实现其最优化的目标,从而导致脑电信号特征提取不准确的问题,本申请提供了一种运动想象任务的脑电信号特征提取方法、装置及存储介质。
图1是本申请的一个实施例提供的运动想象任务的脑电信号特征提取方法的流程图。该方法至少包括步骤101-104:
步骤101,获取运动想象任务的脑电信号。
具体的,运动想象任务是指没有实际的肢体行为,利用大脑意念想象肢体动作的任务,比如:大脑现在想象一个左手举起的任务,但是没有实际进行左手举起任务,此时的左手举起就属于运动想象任务。
脑电信号是人体重要的生理信号,是由大脑发出的电信号。具体通过脑电波来呈现大脑的电信号,脑电波记录大脑活动时的电波变化,是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
本实施例通过电子设备获取脑电信号,该脑电信号可以通过脑电信号采集设备来采集。
该脑电信号采集设备,例如可以是EMOTIV公司生产的EPOC Flex胶电极版。通过胶体导电剂作为中间介质,穿透头发,将电极和头皮连接起来。
将脑电信号采集设备的电极置于人体的头皮,具体可以根据不同的运动想象任务,将电极放置在头皮的预设位置,例如,FPz(额极中线)、C4(右中央)、FP1(左额极)和FP2(右额极)等,以采集多通道的脑电信号。
步骤102,对脑电信号数据进行预处理,以滤除脑电信号的噪声,得到预处理后的脑电信号。
具体地,由于运动想象任务的脑电信号含有大量的伪迹成分(人体内部振荡引起的非脑电信号,比如:眼动、心跳等,)和外界干扰噪声,因此,需要对运动想象任务的脑电信号进行预处理,以减少脑电信号中的伪迹和干扰,降低噪声对脑电信号的影响,提升数据的信噪比。
可选地,本实施例对脑电信号进行预处理的步骤,包括:
对脑电信号进行滤波。由于外界干扰噪声频率较高,因此,采用低通滤波进行分离,将高于预设频率的信号过滤掉。
对脑电信号进行分割。对于连续的脑电信号,只取包含运动想象任务的部分,比如:选取单次总时长3.5s的任务中的0.5s-3s的部分。
对脑电信号进行伪迹去除。针对采集的脑电数据中存在眨眼、心电、肌电等伪迹的干扰问题,可以采用独立成分分析法去除。
步骤103,将预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵。
可选地,如图2所示,本实施例预先构建的深度CSP算法模型,包括:至少三层CSP模型,其中,每一层所述CSP模型的输出作为下一层所述CSP模型的输入,且每一层所述CSP模型均基于对应的输入,构建CSP空间滤波器。
可选地,参考图3本实施例基于预先构建的深度CSP算法模型进行CSP深度滤波的步骤至少包括步骤401-405:
步骤401:将预处理后的脑电信号,输入第一层CSP模型进行CSP滤波,得到特征矩阵;
步骤402:对得到的特征矩阵,选取出具有预定区分度的数据;
步骤403:当前是否为最后一层CSP模型,若否,则执行步骤404;若是,则执行步骤405;
步骤404:将具有预定区分度的数据,输入到下一层CSP模型进行CSP滤波,得到下一层CSP模型输出的特征矩阵,并返回步骤402。
步骤405:当前得到的具有预定区分度的数据,即为满足预设区分度要求的特征矩阵。
本实施例选取的具有预定区分度的数据,例如,是选取特征矩阵的前m行和后m行数据。因为CSP算法最终是要使输入的两类数据的方差差异最大,而在特征矩阵的头部和尾部的数据方差的差异较大,中段的数据则相对较小,因此,本实施例选取特征矩阵的头部和尾部的各m行数据作为最终提取的特征矩阵。
本申请深度CSP算法模型分为基于二分类运动想象任务的深度CSP算法模型和基于多分类运动想象任务的深度CSP算法模型。
其中,基于二分类运动想象任务的深度CSP算法模型,针对获取的两类运动想象任务的脑电样本数据,构建二分类的CSP空间滤波器。
基于多分类运动想象任务的深度CSP算法模型,将多类运动想象任务的脑电样本数据,划分为多组第一类脑电数据和第二类脑电数据,构建对应的多分类的CSP空间滤波器。
可选地,本实施例构建多分类的CSP空间滤波器时,对多类运动想象任务的脑电样本数据,按照预定的划分方式,划分为多组脑电样本数据,每一组脑电样本数据均由第一类脑电数据和第二类脑电数据组成。对每一组脑电样本数据,均采用CSP算法,构建对应的CSP空间滤波器,并对每一组脑电样本数据对应的CSP空间滤波器,选取预定行数的数据,并将选取的预定行数的数据进行合并,得到多分类的CSP空间滤波器。
可选地,本实施例预定的划分方式,具体有两种:
第一种,将其中一类运动想象任务对应的脑电数据作为第一类脑电数据,将其他类运动想象任务对应的脑电数据合并得到第二类脑电数据。比如,四分类的运动想象任务的脑电数据:M1、M2、M3、M4,将M1作为第一类脑电数据,将M2、M3和M4合并后的数据作为第二类脑电数据,将M2作为第一类脑电数据,将M1、M3和M4作为第二类脑电数据,依次类推,共得到四组数据。
第二种,选取任意两类运动想象任务对应的脑电信号数据,分别作为第一类脑电数据和第二类脑电数据。比如,四分类的运动想象任务的脑电数据:M1、M2、M3、M4,将M1和M2分别作为第一类脑电数据和第二类脑电数据,将M1和M3分别作为第一类和第二类脑电数据,将M1和M4分别作为第一类和第二类脑电数据,将M2和M3分别作为第一类脑电数据和第二类脑电数据,将M2和M4分别作为第一类脑电数据和第二类脑电数据,将M3和M4分别作为第一类脑电数据和第二类脑电数据,共得到6组脑电数据。
本实施例各CSP模型进行CSP滤波的方法包括:
步骤31,根据预先构建的CSP空间滤波器,得到滤波后的特征矩阵。
对于二分类运动想象任务,根据构建的二分类的CSP空间滤波器,对输入的预处理后的脑电信号进行CSP滤波,得到特征矩阵:
Zi=WXi,i=1,2
W为构建的二分类的CSP空间滤波器。
对于多分类运动想象任务,对步骤405划分的多组两类脑电数据,分别基于预先构建的多分类的CSP空间滤波器,进行CSP滤波,得到每组脑电数据对应的特征矩阵,即:
Zi=W′Xi,i=1,2
W′为构建的多分类的CSP空间滤波器。
步骤32:选择数据
由于脑电数据的特征矩阵各维度的方差在头部和尾部差异较大,而中段的数据区分度则相对较小,为了简便计算复杂度并且避免冗余数据对算法的不良影响,因此选取脑电数据的特征矩阵的头尾部各m行进行进一步计算,其中2m≤N,N是通道数。
对于多分类运动想象任务,将划分的每一组脑电数据分别进行深度CSP滤波,得到对应的特征矩阵。在进行特征分类时,将基于各特征矩阵提取的特征向量进行特征融合,得到最终融合后的特征向量用于特征分类。
图4给出了本申请实施例的CSP模型构建CSP空间滤波器的方法流程图,参见图4,本实施例中,每一层CSP模型均通过以下方式构建CSP空间滤波器,本实施例各CSP模型构建CSP空间滤波器的具体过程包括步骤301-304:
步骤301:分别计算每一类脑电数据对应的空间协方差矩阵,并计算每一类脑电数据的平均空间协方差矩阵,以及对应的混合空间协方差矩阵。
其中,Ri表示第i类脑电数据对应的空间协方差矩阵,Xi表示采集的第i类脑电数据的矩阵,表示Xi的转置矩阵,/>表示Xi、/>对角线上的元素和。其中的脑电数据为训练集样本数据。
从而得到混合空间协方差矩阵R为:
其中表示第i类脑电数据的平均协方差矩阵,i=1,2。
对于二分类的运动想象任务,将其中一类运动想象任务的脑电数据作为第1类脑电数据,另一类运动想象任务的脑电数据作为第2类脑电数据。
对于多分类的运动想象任务,可以根据步骤405划分得到第1类脑电数据和第2类脑电数据。
步骤302:使用奇异值分解定理对混合空间协方差矩阵R进行特征值分解,并按降序排列。
R=UλUT
其中,U是R的特征向量矩阵,λ是对应的特征值构成的对角阵。
步骤303:计算白化矩阵。
通过正交白化得到白化矩阵P:
步骤304:构建CSP空间滤波器。
对于二分类的CSP滤波算法,利用白化矩阵P分别作用于得到对应的两个白化后的矩阵S1、S2
S1=PR1PT=Bλ1BT
S2=PR2PT=Bλ2BT
因为S1、S2具有公共特征向量矩阵B,而且存在两个对角矩阵λ1、λ2,通过主分量分解可得λ12等于单位矩阵I。
因此,构造CSP空间滤波器W=BTP,该CSP空间滤波器W满足:当S1有最大的特征值时,S2有最小的特征值。
对于多分类的CSP滤波算法,同理,得到矩阵S′1、S′2
S′1=PR1PT=B′λ′1B′T
S′2=PR′1PT=B′λ2′B′T
因为S1、S′1具有公共特征向量矩阵B′,而且存在两个对角矩阵λ2′、λ1′,通过主分量分解可得λ2′+λ1′等于单位矩阵I。
因此,构造CSP空间滤波器为:W′=B′TP,该CSP空间滤波器满足:当S′2有最大的特征值时,S′1有最小的特征值。
步骤104,对特征矩阵进行特征提取,得到用于分类的特征向量。
具体地,对最终选出的2k(2k≤2m≤N)行数据计算yj=log(Var(zj)),形成2k维特征,得到用于分类的特征向量。其中yj表示选出的数据第j行的特征向量,zj表示选出的数据的第j行,j=1,2,…,2k。
为了更清楚地理解本申请提供地运动想象任务的脑电信号特征提取方法,下面以一个用于对脑电信号进行二分类的特征提取的具体实例,对本申请的脑电信号特征提取方法进行说明。
步骤1,采集运动想象任务的脑电信号的样本数据。
采集的样本数据包含想象右手和右脚的两类运动想象任务。
样本数据采集于五个健康受试者头皮表面的118个电极,采样频率为100Hz。每个受试者记录280次运动想象任务的脑电信号的样本数据,其中右手和右脚各140次,单次运动想象任务持续3.5s,两次运动想象任务间会有1.75s-2.25s间随机时长的休息时间。
步骤2,对采集的运动想象任务的脑电信号样本数据进行预处理。
对原始的脑电信号样本数据进行8-30Hz的滤波,从单次总时长3.5s的运动想象任务中,选取0.5s-3s的部分,使用独立成分分析法去除眼电等伪迹成分,得到预处理后的脑电信号样本数据,因此预处理后的单次运动想象的样本数据维度为116*250。
步骤3,将样本数据数据输入预先构建的深度CSP算法模型进行深度CSP滤波,得出特征矩阵,并进行特征提取。
在本实施例中,深度CSP算法模型中各层选择数据的维度取决于最终提取特征的维度。比如,最终提取了2m维的特征,则最后一层的输入数据维4m*250维,前一层的输入数据维8m*250维,以此类推。
表1为m取1到10的实验结果即分类特征2至20维的10次实验,表中列出来10次实验的平均准确率,最高准确率和最低准确率三个指标来反应模型的表现,其中单层的结果即是使用CSP算法模型的结果,而二层和三层分别表示叠加重复使用两次CSP算法的结果和叠加重复使用三次CSP算法的深度CSP算法的结果。
表1二分类的单层CSP算法模型、二层CSP算法模型和三次深度CSP算法模型的准确率汇总
通过表1可以看出,无论是二层还是三层的结果,相比单层的CSP算法模型的准确率在三个指标上都有了一定提升,除了受试者Al的最高准确率无论使用几次CSP都是98.93%。但由于这个准确率已经比较高了,没有进一步提升也是合理的。
下面以一个用于多分类的特征提取的具体实例,对本申请的特征提取方法进行说明:
步骤1,采集运动想象任务的脑电信号的样本数据。
采集的运动想象任务的脑电信号的样本数据包含想象右手、左手、脚和舌头运动的四类运动想象任务。
脑电信号的样本数据来自三名健康受试者(受试者B1、受试者B2和受试者B3),采集于头皮表面的60个电极,采样频率为250Hz。受试者B1采集了360次运动想象任务的脑电信号样本数据,受试者B2和受试者B3各采集了240次运动想象任务的脑电信号样本数据,且单次运动想象任务的持续时间为4s。
步骤2,对采集的运动想象任务的脑电信号进行预处理。
预处理可参见二分类的特征提取实施例的预处理步骤。最终选取了单次运动想象任务的第100-900个采样点信息用于后续的特征提取和分类。预处理后的单次运动想象任务的样本数据维度为60*800。
步骤3,将样本数据输入预先构建的深度CSP算法模型进行深度CSP滤波,得出特征矩阵,并进行特征提取。
样本数据是基于右手、左手、脚和舌头四类运动想象任务的样本数据。
对四类运动想象任务的训练集样本数据划分为两类数据,可以采用步骤S376给出的两种划分方式:
第一种,对每一类运动想象任务,均将该运动现象任务对应的训练样本数据作为第一类脑电数据,其余三类运动想象任务对应的训练样本数据合并,作为第二类脑电数据,最终得到四组训练样本数据。
以右手运动想象任务为例,将右手运动想象任务对应的训练集样本数据作为第一类脑电数据,将左手、脚和舌头的运动想象任务对应的训练集样本数据合并,作为第二类脑电数据。
针对每一类运动想象任务,分别基于划分的两类数据,设计CSP空间滤波器,从而得到四个对应的CSP空间滤波器,然后再将四个CSP空间滤波器的数据合并,得到四分类的CSP空间滤波器。
分别将右手、左手、脚和舌头四类运动想象任务的样本数据,输入四分类的CSP空间滤波器,进行CSP滤波,得到四组特征矩阵,最终形成四组特征,将四组特征串联融合起来,得到最终的提取的特征向量。如果每一层CSP模型滤波后都提取了2m维特征,则最终用于分类的特征向量是8m维的。
第二种,将右手和左手作为第一类和第二轮运动想象任务,针对这两类设计深度CSP算法模型进行滤波,然后将右手和脚作为第一类和第二轮运动想象任务,针对这两类设计深度CSP算法模型进行滤波,以此类推,最终形成六组特征,将六组特征串联融合起来,如果每一层CSP算法模型滤波后都提取了2m维特征,则最终用于分类的特征是12m维的。
表2为m取1到5的实验结果,即分类特征2至10维的5次实验,表中列出来5次实验的平均准确率,最高准确率和最低准确率三个指标来反应模型的表现,其中单层的结果即是使用CSP算法模型的结果,而二层和三层分别表示叠加重复使用两次CSP算法的结果和叠加重复使用三次CSP算法的深度CSP算法的结果。
表2,多分类的单层CSP算法模型、二层CSP算法模型和三次深度CSP算法模型的准确率汇总
通过表2可以看出,本实施例采用的深度CSP算法模型进行特征提取方法可以提取更显著的运动想象任务的脑电信号的特征,提升分类的准确率。
综上所述,本实施例提供的运动想象任务的脑电信号特征提取方法,通过获取运动想象任务的脑电信号;对所述脑电信号进行预处理,以滤除所述脑电信号的噪声,得到预处理后的脑电信号;将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵;对所述特征矩阵进行特征提取,得到用于特征分类的特征向量;可以解决现有的CSP算法无法实现其最优化的目标,从而导致脑电信号特征提取不准确的问题。本申请的特征提取方法通过预先构建的深度CSP算法模型,对预处理后的脑电信号进行深度CSP滤波,可以提取出更显著的脑电特征,并使提取的脑电特征逼近真实目标函数的最优解,从而提升脑电信号特征分类的准确率。
图5是本申请一个实施例提供的运动想象任务的脑电信号特征提取装置的框图。该装置至少包括以下几个模块:信号获取模块510、预处理模块520、滤波模块530和特征提取模块540。
信号获取模块510,用于获取运动想象任务的脑电信号;
预处理模块520,用于对所述脑电信号进行预处理,以滤除所述脑电信号的噪声,得到预处理后的脑电信号;
滤波模块530,用于将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵;
特征提取模块540,用于对所述特征矩阵进行特征提取,得到用于特征分类的特征向量。
相关细节参考上述方法实施例。
需要说明的是:上述实施例中提供的运动想象任务的脑电信号特征提取装置在进行脑电特征提取时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将运动想象任务的脑电特征提取装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的运动想象任务的脑电信号特征提取装置与运动想象任务的脑电信号特征提取方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请一个实施例提供的运动想象任务的脑电特征提取装置的框图,该装置可以是:平板电脑、笔记本电脑、台式电脑或服务器。运动想象任务的脑电特征提取装置还可能被称为便携式终端、台式终端、控制终端等,本实施例不对提取装置的类型作限定。该装置至少包括处理器601和存储器602。
处理器601包括一个或多个处理核心,比如:4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的运动想象任务的脑电信号特征提取方法。
在一些实施例中,运行想象的脑电信号特征提取设备还可以包括有:外围设备接口和至少一个外围设备。处理器601、存储器602和外围设备接口之间可以通过总线和信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。
当然,运动想象任务的脑电信号特征提取装置还可以包括更少或更多的组件,本实施例对此不作限定。
可选地,本申请还提供有一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的运动想象任务的脑电信号特征提取方法。
可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的运动想象任务的脑电信号特征提取方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种运动想象任务的脑电信号特征提取方法,其特征在于,所述方法包括:
获取运动想象任务的脑电信号;
对所述脑电信号进行预处理,以滤除所述脑电信号的噪声,得到预处理后的脑电信号;
将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵;所述深度CSP算法模型分为基于二分类运动想象任务的深度CSP算法模型和基于多分类运动想象任务的深度CSP算法模型;其中,基于二分类运动想象任务的深度CSP算法模型,针对获取的两类运动想象任务的脑电样本数据,构建二分类的CSP空间滤波器;基于多分类运动想象任务的深度CSP算法模型,将多类运动想象任务的脑电样本数据,划分为多组第一类脑电数据和第二类脑电数据,构建对应的多分类的CSP空间滤波器;
构建所述CSP空间滤波器包括:
分别计算每一类脑电数据对应的空间协方差矩阵,并计算每一类脑电数据的平均空间协方差矩阵,以及对应的混合空间协方差矩阵;
其中,Ri表示第i类脑电数据对应的空间协方差矩阵,Xi表示采集的第i类脑电数据的矩阵,表示Xi的转置矩阵,/>表示Xi、/>对角线上的元素和;其中的脑电数据为训练集样本数据;
从而得到混合空间协方差矩阵R为:
其中表示第i类脑电数据的平均协方差矩阵,i=1,2;
使用奇异值分解定理对混合空间协方差矩阵R进行特征值分解,并按降序排列;
R=UλUT
其中,U是R的特征向量矩阵,UT是U的转置矩阵,λ是对应的特征值构成的对角阵;
计算白化矩阵;
通过正交白化得到白化矩阵P:
构建CSP空间滤波器;
对于二分类的CSP滤波算法,利用白化矩阵P分别作用于得到对应的两个白化后的矩阵S1、S2
S1=PR1PT=Bλ1BT
S2=PR2PT=Bλ2BT
因为S1、S2具有公共特征向量矩阵B,而且存在两个对角矩阵λ1、λ2,通过主分量分解可得λ12等于单位矩阵I,PT是白化矩阵P的转置矩阵,BT是B的转置矩阵;
因此,构造CSP空间滤波器W=BTP,该CSP空间滤波器W满足:当S1有最大的特征值时,S2有最小的特征值;
对于多分类的CSP滤波算法,同理,得到矩阵S′1、S′2
S′1=PR1PT=B′λ′1B′T
S′2=PR′1PT=B′λ2′B′T
因为S1、S′1具有公共特征向量矩阵B′,而且存在两个对角矩阵λ2′、λ1′,通过主分量分解可得λ2′+λ1′等于单位矩阵I;
其中S′1和S′2分别为对于多分类的CSP滤波算法利用白化矩阵P分别作用于和/>得到对应的两个白化后的矩阵;R1和R′1分别代表二分类和多分类的平均协方差矩阵,B′T为公共特征向量矩阵B′的转置矩阵;
对所述特征矩阵进行特征提取,得到用于特征分类的特征向量。
2.根据权利要求1所述的方法,其特征在于,所述深度CSP算法模型包括至少三层CSP模型,其中,每一层所述CSP模型输出作为下一层所述CSP模型的输入,且所述每一层所述CSP模型均基于对应的输入,构建对应的CSP空间滤波器。
3.根据权利要求2所述的方法,其特征在于,所述将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,包括:
将所述预处理后的脑电信号,输入第一层CSP模型进行CSP滤波,得到特征矩阵;
对所述特征矩阵,选取具有预定区分度的数据;
将所述具有预定区分度的数据,输入下一层所述CSP模型进行CSP滤波,得到下一层所述CSP模型输出的特征矩阵;
执行所述对所述特征矩阵,选取具有预定区分度的数据的步骤;
直到最后一层CSP模型输出具有预定区分度的数据,即为满足预设区分度要求的特征矩阵。
4.根据权利要求3所述的方法,其特征在于,所述选取具有预定区分度的数据,包括:
对所述特征矩阵,选取头部和尾部预设行数的数据;
将所述预设行数的数据进行合并,得到满足区分度要求的数据,所述满足区分度要求的数据为输入所述CSP模型的脑电信号数据的方差差异满足要求的数据。
5.根据权利要求4所述的方法,其特征在于,所述特征分类包括多分类任务,对于所述多分类任务,所述将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,包括:
将多类运动想象任务对应的脑电信号数据,划分为多组脑电数据,所述脑电数据由第一类脑电数据和第二类脑电数据组成,其中,所述第一类脑电数据由其中一类运动想象任务对应的脑电信号数据构成,所述第二类脑电数据由第一类脑电数据之外的其他至少一类运动想象任务的脑电信号数据构成;
针对每一组所述第一类脑电数据和第二类脑电数据,采用预先构建的CSP空间滤波器进行CSP滤波,得到每一组脑电数据对应的特征矩阵,以用于提取特征向量后,将各所述特征向量进行融合,得到融合后的用于特征分类的特征向量。
6.根据权利要求4所述的方法,其特征在于,所述将多类运动想象任务对应的脑电信号数据,划分为多组脑电数据,包括:
分别针对每一类运动想象任务,将其对应的脑电信号数据作为所述第一类脑电数据,将其他类运动想象任务对应的脑电信号数据合并后作为所述第二类脑电数据。
7.根据权利要求4所述的方法,其特征在于,所述将多类运动想象任务对应的脑电信号数据,划分为多组脑电数据,包括:
通过排列组合的方式,依次选取其中两类运动想象任务对应的脑电信号数据分别作为第一类脑电数据和第二类脑电数据。
8.一种运动想象任务的脑电信号特征提取装置,其特征在于,所述装置包括:
信号获取模块,用于获取运动想象任务的脑电信号;
预处理模块,用于对所述脑电信号进行预处理,以滤除所述脑电信号的噪声,得到预处理后的脑电信号;
滤波模块,用于将所述预处理后的脑电信号输入预先构建的深度CSP算法模型进行深度CSP滤波,得到满足预设区分度要求的特征矩阵;所述深度CSP算法模型分为基于二分类运动想象任务的深度CSP算法模型和基于多分类运动想象任务的深度CSP算法模型;其中,基于二分类运动想象任务的深度CSP算法模型,针对获取的两类运动想象任务的脑电样本数据,构建二分类的CSP空间滤波器;基于多分类运动想象任务的深度CSP算法模型,将多类运动想象任务的脑电样本数据,划分为多组第一类脑电数据和第二类脑电数据,构建对应的多分类的CSP空间滤波器;
构建所述CSP空间滤波器包括:
分别计算每一类脑电数据对应的空间协方差矩阵,并计算每一类脑电数据的平均空间协方差矩阵,以及对应的混合空间协方差矩阵;
其中,Ri表示第i类脑电数据对应的空间协方差矩阵,Xi表示采集的第i类脑电数据的矩阵,表示Xi的转置矩阵,/>表示Xi、/>对角线上的元素和;其中的脑电数据为训练集样本数据;
从而得到混合空间协方差矩阵R为:
其中表示第i类脑电数据的平均协方差矩阵,i=1,2;
使用奇异值分解定理对混合空间协方差矩阵R进行特征值分解,并按降序排列;
R=UλUT
其中,U是R的特征向量矩阵,UT是U的转置矩阵,λ是对应的特征值构成的对角阵;
计算白化矩阵;
通过正交白化得到白化矩阵P:
构建CSP空间滤波器;
对于二分类的CSP滤波算法,利用白化矩阵P分别作用于得到对应的两个白化后的矩阵S1、S2
S1=PR1PT=Bλ1BT
S2=PR2PT=Bλ2BT
因为S1、S2具有公共特征向量矩阵B,而且存在两个对角矩阵λ1、λ2,通过主分量分解可得λ12等于单位矩阵I,PT是白化矩阵P的转置矩阵,BT是B的转置矩阵;
因此,构造CSP空间滤波器W=BTP,该CSP空间滤波器W满足:当S1有最大的特征值时,S2有最小的特征值;
对于多分类的CSP滤波算法,同理,得到矩阵S′1、S′2
S′1=PR1PT=B′λ′1B′T
S′2=PR′1PT=B′λ2′B′T
因为S1、S′1具有公共特征向量矩阵B′,而且存在两个对角矩阵λ2′、λ1′,通过主分量分解可得λ2′+λ1′等于单位矩阵I;
其中S′1和S′2分别为对于多分类的CSP滤波算法利用白化矩阵P分别作用于和/>得到对应的两个白化后的矩阵;R1和R′1分别代表二分类和多分类的平均协方差矩阵,B′T为公共特征向量矩阵B′的转置矩阵;
特征提取模块,用于对所述特征矩阵进行特征提取,得到用于特征分类的特征向量。
9.一种运动想象任务的脑电信号特征提取装置,其特征在于,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的运动想象任务的脑电信号特征提取方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序,所述程序被处理器执行时用于实现如权利要求1至7任一项所述的运动想象任务的脑电信号特征提取方法。
CN202110954518.9A 2021-08-19 2021-08-19 运动想象任务的脑电信号特征提取方法、装置及存储介质 Active CN113662562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110954518.9A CN113662562B (zh) 2021-08-19 2021-08-19 运动想象任务的脑电信号特征提取方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110954518.9A CN113662562B (zh) 2021-08-19 2021-08-19 运动想象任务的脑电信号特征提取方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113662562A CN113662562A (zh) 2021-11-19
CN113662562B true CN113662562B (zh) 2024-02-09

Family

ID=78543978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110954518.9A Active CN113662562B (zh) 2021-08-19 2021-08-19 运动想象任务的脑电信号特征提取方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113662562B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980197A (zh) * 2010-10-29 2011-02-23 北京邮电大学 一种基于长时结构声纹的多层滤波音频检索方法和装置
CN102613972A (zh) * 2012-03-28 2012-08-01 西安电子科技大学 运动想象脑电信号特征的提取方法
CN107016355A (zh) * 2017-03-20 2017-08-04 天津大学 一种低误触发率运动想象双层分类识别方法
JP2017202183A (ja) * 2016-05-12 2017-11-16 株式会社国際電気通信基礎技術研究所 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム
CN109858537A (zh) * 2019-01-22 2019-06-07 南京邮电大学 改进的eemd与csp结合的脑电信号特征提取方法
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN113255447A (zh) * 2021-04-23 2021-08-13 桂林电子科技大学 脑电信号解码方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980197A (zh) * 2010-10-29 2011-02-23 北京邮电大学 一种基于长时结构声纹的多层滤波音频检索方法和装置
CN102613972A (zh) * 2012-03-28 2012-08-01 西安电子科技大学 运动想象脑电信号特征的提取方法
JP2017202183A (ja) * 2016-05-12 2017-11-16 株式会社国際電気通信基礎技術研究所 脳波パターン分類装置、脳波パターン分類方法、脳波パターン分類プログラムおよびニューロフィードバックシステム
CN107016355A (zh) * 2017-03-20 2017-08-04 天津大学 一种低误触发率运动想象双层分类识别方法
CN109858537A (zh) * 2019-01-22 2019-06-07 南京邮电大学 改进的eemd与csp结合的脑电信号特征提取方法
CN111652814A (zh) * 2020-05-26 2020-09-11 浙江大华技术股份有限公司 一种视频图像的去噪方法、装置、电子设备及存储介质
CN113255447A (zh) * 2021-04-23 2021-08-13 桂林电子科技大学 脑电信号解码方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113662562A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
Tao et al. EEG-based emotion recognition via channel-wise attention and self attention
Wang et al. Phase-locking value based graph convolutional neural networks for emotion recognition
Li et al. A multi-scale fusion convolutional neural network based on attention mechanism for the visualization analysis of EEG signals decoding
Bashivan et al. Learning representations from EEG with deep recurrent-convolutional neural networks
Li et al. Multi-modal bioelectrical signal fusion analysis based on different acquisition devices and scene settings: Overview, challenges, and novel orientation
Zhao et al. A 3D convolutional neural network for emotion recognition based on EEG signals
Sun et al. Graph convolution neural network based end-to-end channel selection and classification for motor imagery brain–computer interfaces
Liu et al. A compact multi-branch 1D convolutional neural network for EEG-based motor imagery classification
Jolly et al. Universal EEG encoder for learning diverse intelligent tasks
Li et al. EEG emotion recognition based on 3-D feature representation and dilated fully convolutional networks
CN112990008B (zh) 基于三维特征图和卷积神经网络的情绪识别方法及系统
Li et al. A novel decoding method for motor imagery tasks with 4D data representation and 3D convolutional neural networks
Abibullaev et al. A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs
Subasi et al. The Ensemble Machine Learning‐Based Classification of Motor Imagery Tasks in Brain‐Computer Interface
Niu et al. A brain network analysis-based double way deep neural network for emotion recognition
CN107256408B (zh) 一种大脑功能网络的关键路径搜索方法
Zhu et al. RAMST-CNN: a residual and multiscale spatio-temporal convolution neural network for personal identification with EEG
CN117574059A (zh) 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统
CN113662562B (zh) 运动想象任务的脑电信号特征提取方法、装置及存储介质
Gagliardi et al. Improving emotion recognition systems by exploiting the spatial information of EEG sensors
CN113662561B (zh) 子带级联共空间模式的脑电特征提取方法及装置
Zhang et al. Affective EEG‐Based Person Identification Using Channel Attention Convolutional Neural Dense Connection Network
CN115721323A (zh) 一种脑机接口信号识别方法、系统及电子设备
Li et al. Key band image sequences and a hybrid deep neural network for recognition of motor imagery EEG
Lin et al. A motor-imagery BCI system based on deep learning networks and its applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant