CN113974658B - 基于eeg分时频谱黎曼的语义视觉图像分类方法及装置 - Google Patents
基于eeg分时频谱黎曼的语义视觉图像分类方法及装置 Download PDFInfo
- Publication number
- CN113974658B CN113974658B CN202111267002.3A CN202111267002A CN113974658B CN 113974658 B CN113974658 B CN 113974658B CN 202111267002 A CN202111267002 A CN 202111267002A CN 113974658 B CN113974658 B CN 113974658B
- Authority
- CN
- China
- Prior art keywords
- riemann
- data sets
- frequency domain
- domain features
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001228 spectrum Methods 0.000 title claims abstract description 15
- 210000004556 brain Anatomy 0.000 claims abstract description 26
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000002474 experimental method Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000000638 stimulation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000000540 analysis of variance Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于EEG分时频谱黎曼的语义视觉图像分类方法及装置，方法包括：设计实验范式，通过脑电采集设备采集受试者的脑电数据，然后进行相应的预处理；将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集做傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征；将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类，通过分类结果判断语义视觉图像的分类正确率。装置包括：处理器和存储器。本发明通过提取VEP成分和N400成分的时域、频域以及空间域等特征，来提升不同语义之间视觉刺激的分类准确性。
Description
技术领域
本发明涉及脑机接口领域，尤其涉及一种基于EEG(脑电图)的分时频谱黎曼的语义视觉图像分类方法及装置，该方法融合了时域、频域和空间域的特征，可提高不同语义视觉图像分类的准确性。
背景技术
脑机接口是一种可以将中枢神经系统的各种神经活动转换为计算机命令的系统，它可以控制外界设备执行所需的动作或指令，完成大脑与外部环境之间的交互。通过脑电采集设备采集受试者在不同任务下的脑电信号，然后通过预处理、特征提取、模式识别等方法完成对脑电信号的解码，从而建立外界环境和人脑之间的交流通道，BCI(脑机接口)技术是一种高效、快速、全新的通讯方式，它允许人在不使用语言和肢体动作的情况下，仅通过大脑意识就完成交流。因此，BCI技术有着广阔的发展前景，在通讯领域更是有着巨大的价值。
在BCI通讯技术研究中，基于运动想象(Motor Imagery，MI)的主动式BCI和基于事件相关电位(Event-Related Potential,ERP)的反应式BCI应用较为广泛，MI-BCI通过受试者去想象肢体运动来激发脑电特征信号，但指令集较小，应用范围有限；ERP-BCI则通过视觉刺激产生视觉诱发电位(Visual Evoked Potential，VEP)，视觉刺激可来源于任意的真实场景或图像，局限性较小，比较容易应用到现实场景中，但是视觉刺激容易受到外界环境的干扰，受试者的注意力会被其他视觉刺激分散，从而降低脑电特征信号的质量。
目前有研究表明，语义判断会改变大脑的活动状态，诱发出ERP的N400成分，该成分和VEP类似，在不同脑区的响应幅值不一样，而且不同类别的语义视觉图像的响应，在空间分布上具有一定的区分度。将语义判断与视觉观察相结合，是提高视觉图像分类准确性的一种方法，然而目前对于语义视觉观察的研究较少。许多研究只是单独研究语义或者视觉观察，而没有将二者结合起来，这就导致脑电信号中的有用特征较少，从而降低了分类正确率。将语义和视觉观察相结合不仅会同时具有二者的脑电特征，还可以分析两种特征之间潜在的关联度，以及二者的混合特征，有助于提高图像分类的准确度。
发明内容
本发明提供了一种基于EEG的分时频谱黎曼的语义视觉图像分类方法及装置，本发明通过提取VEP成分和N400成分的时域、频域以及空间域等特征，来提升不同语义之间视觉刺激的分类准确性，对脑机接口实现真正的意念解码有着重要意义，详见下文描述：
第一方面，一种基于EEG分时频谱黎曼的语义视觉图像分类方法，所述方法包括：
设计实验范式，通过脑电采集设备采集受试者的脑电数据，然后进行相应的预处理；
将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集做傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征；
将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类，通过分类结果判断语义视觉图像的分类正确率。
在一种实施方式中，所述实验范式为：
以“+”号表示实验的开始，受试者在实验开始时需要静息2s，静息完成后，刺激界面会给受试者提示即将出现图片的语义类别，语义提示持续1s；
受试者进行4s的图片观察，在观察的同时对图片的语义类别进行判断。
在一种实施方式中，所述相应的预处理为：
每个样本会包含4s的任务期数据，对每个样本进行1-50Hz的滤波，并降采样至200Hz。
优选地，所述将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集做傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征具体为：
采用滑动窗口对任务期数据以500ms的窗宽截取8份子数据集，滑动窗口之间互不交叠；分别对不同时域的子数据集进行傅立叶变换，在频域对数据集提取黎曼空间域特征。
其中，所述将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类具体为：
将k个不同时域得到的切向量ts拼接起来，得到拼接后的ts特征，维度为C(C+1)/2*k，最后进行特征选择，选出f值最大的m维特征作为最终的分类特征，将最终的分类特征输入分类器中进行分类。
第二方面，一种基于EEG分时频谱黎曼的语义视觉图像分类装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、本发明通过混合视觉图像刺激诱发的脑电特征和语义判断产生的脑电特征，分别从时域、频域和空间域提取分类特征，提高不同语义之间视觉图像刺激的分类准确性，减少受试者因干扰而注意力分散产生的影响，增强系统的容错性，同时也减轻了受试者的负担；
2、本发明克服了传统主动式BCI指令集少和反应式BCI依赖固定频率刺激的缺点，使得BCI更加灵活，应用场景更加广泛；
3、本发明设计的基于EEG的分时频谱黎曼分类方法融合了视觉观察和语义的特征，增强了语义视觉图像分类系统的容错性，减少了被试的负担；
4、本发明将数据划分为不同的时间段，融合了时域、频域、空间域三种特征，使得特征具有更高的可分性；
5、本发明可以用于通讯、意念控制等领域，进一步研究可以实现真正的意念解码，有望获得可观的社会效益和经济效益。
附图说明
图1为范式设计的示意图；
图2为基于EEG分时频谱黎曼的语义视觉图像分类方法的示意图；
图3为基于EEG分时频谱黎曼的语义视觉图像分类装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例设计了一种基于EEG的分时频谱黎曼的语义视觉图像分类方法。该方法能够区分大脑在观察不同语义视觉图像时的脑电响应，语义视觉图像观察(SemanticVisual Observe，SVO)是一种新的脑-机接口(Brain-Computer Interface,BCI)范式。当人们在观察不同语义的视觉图像时，由于产生的认知和情绪不同，会改变大脑不同区域的神经元活动状态，从而改变不同频段的能量以及不同空间的能量分布情况，并且不同语义的视觉图像在时域上的响应也不同。本发明实施例融合了时域、频域和空间域的特征，可提高不同语义视觉图像分类的准确性。其技术流程如下所示：
101：通过脑电采集设备采集被试的脑电数据，然后进行相应的预处理；
102：将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集做傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征；
103：将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类，通过分类结果判断语义视觉图像的分类正确率。
综上所述，本发明实施例通过上述步骤101-步骤103提取VEP成分和N400成分的时域、频域以及空间域等特征，来提升不同语义之间视觉刺激的分类准确性，满足实际应用中的多种需要。
实施例2
下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：
图1为本发明实施例的范式设计示意图。该设计主要包括：刺激界面、脑电采集模块和信号处理模块。刺激界面采用Matlab Psychtoolbox工具包编写，脑电采集模块选择NeuroScan公司的脑电帽和放大器，信号处理模块则通过python实现数据处理、特征提取和分类等步骤。
实验范式以“+”号表示实验的开始，受试者在实验开始时需要先静息2s。静息完成后，刺激界面会给受试者提示即将出现图片的语义类别，语义提示持续1s。之后受试者会进行4s的图片观察，在观察的同时对图片的语义类别进行判断。实验共有三类图片，实验共分为12个组，每组有24个试次(每一类图片8个试次)，总共288个样本，每一类图片96个样本。
图2为语义视觉图像的分类示意图。通过实验，可以得到288个样本，每个样本会包含4s的任务期数据；对每个样本进行1-50Hz的滤波，并降采样至200Hz；采用滑动窗口对任务期数据以500ms的窗宽截取8份子数据集，滑动窗口之间互不交叠；分别对不同时域的子数据集进行傅立叶变换，在频域对数据集提取黎曼空间域特征，并将每份子数据集的特征拼接在一起，得到不同时域的拼接特征；对拼接特征进行特征选择，将筛选后的特征输入分类器中进行分类。
一、特征提取和特征选择
傅立叶变换是一种常见的频谱分析方法。该方法通过线性积分变换将时域信号转换为频域信号，其在离散数据上的一般表示形式为公式(1)，xn表示离散时域数据，N表示数据长度，fk为变换后频率的幅值：
计算数据集的协方差矩阵，这里将协方差矩阵记为P，P为对称正定矩阵：
其中，Ps为第s个样本的协方差矩阵，Xs为第s个样本频率变换后的离散频域数据，T为转置。
根据公式(3)计算协方差矩阵的黎曼均值其中，λc是/>的实特征值，c＝1,2,…,C。黎曼均值矩阵/>到所有样本协方差矩阵距离之和最小：
其中，P1,P2为两个样本的协方差矩阵，δR为测地线距离函数，S为数据的样本数量，P(c)为对称正定矩阵空间。
对于每一个P∈P(c)，都可以看作是黎曼流形上的一个点，且都存在一个由点P处的切向量集合组成的切空间。将每个样本协方差矩阵切空间中的切向量记为ts，则ts可根据公式(4)求得：
其中，表示频域数据集协方差矩阵的黎曼均值，upper(·)表示取上三角矩阵，并设置对角线元素权重为1，对角线外元素权重为/>ts的维度为C(C+1)/2。将不同时域得到的切向量ts拼接起来，得到拼接后的ts特征，维度为4C(C+1)，最后通过特征选择，选出m维作为最终的分类特征。
即，将k个不同时域得到的切向量ts拼接起来，得到拼接后的ts特征，维度为C(C+1)/2*k，最后通过方差分析(ANOVA，也称F检验)进行特征选择，选出f值最大的m维特征作为最终的分类特征。
上述方差分析属于统计学里的专业术语，为本领域技术人员所公知的技术，在此不做赘述。同时本发明实施例是以方差分析方法为例进行说明，具体实现时也可以用互信息进行特征选择，根据实际应用中的需要进行设定，本发明实施例对此不做限制。
二、分类
本发明实施例使用支持向量机(Support Vector Machine，SVM)来进行分类决策，SVM的基本思想是找到一个超平面，使其到不同类别的样本点距离最远。当遇到样本线性不可分的情况，可采用核函数将样本映射到高维空间，使其线性可分。本发明实施例采用高斯核函数来进行建模，该核函数可将样本映射到无限维，可以得到很复杂的决策边界，从而取得很好的分类效果。
综上所述，本发明实施例通过上述几部分提取VEP成分和N400成分的时域、频域以及空间域等特征，来提升不同语义之间视觉刺激的分类准确性，满足实际应用中的多种需要。
实施例3
下面结合图1和图2、实验数据、表1和表2，对实施例1和2中的方案进行进一步地介绍，详见下文描述：
一、实验过程：
受试者按照图1范式设计示意图，在实验开始时需要先静息2s。静息完成后，刺激界面会给受试者提示即将出现图片的语义类别，语义提示持续1s。之后受试者会进行4s的图片观察，在观察的同时对图片的语义类别进行判断。实验共有三类图片，实验共分为12个组，每组有24个试次(每一类图片8个试次)，总共288个样本，每一类图片96个样本。
按照上述过程采集12名受试者的脑电数据，脑电采集模块选择NeuroScan公司的脑电帽和放大器，操作如下：
图2为语义视觉图像的分类示意图。通过实验，可以得到288个样本，每个样本会包含4s的任务期数据；对每个样本进行1-50Hz的滤波，并降采样至200Hz；采用滑动窗口对任务期数据以500ms的窗宽截取8份子数据集，滑动窗口之间互不交叠；分别对不同时域的子数据集进行傅立叶变换，在频域对数据集提取黎曼空间域特征，并将每份子数据集的特征拼接在一起，得到不同时域的拼接特征；对拼接特征进行特征选择，将筛选后的特征送入分类器进行分类。
二、对比实验：
实验过程不变，依然使用同一批受试者的脑电数据，对脑电数据进行1-50Hz的带通滤波，并降采样至200Hz，然后分别提取不同的特征(时域黎曼切空间特征，空间域特征CSP，频域特征psd)。
表1实验结果
表2显著性分析
综上，从表2中的数据可以看出P值小于0.05，本算法显著优于时域黎曼切空间特征，空间域特征CSP，频域特征psd这些已有方法。
实施例4
一种基于EEG分时频谱黎曼的语义视觉图像分类装置，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的以下方法步骤：
设计实验范式，通过脑电采集设备采集受试者的脑电数据，然后进行相应的预处理；
将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集做傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征；
将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类，通过分类结果判断语义视觉图像的分类正确率。
在一种实施方式中，上述实验范式为：
以“+”号表示实验的开始，受试者在实验开始时需要静息2s，静息完成后，刺激界面会给受试者提示即将出现图片的语义类别，语义提示持续1s；
受试者进行4s的图片观察，在观察的同时对图片的语义类别进行判断。
在一种实施方式中，上述相应的预处理为：
每个样本会包含4s的任务期数据，对每个样本进行1-50Hz的滤波，并降采样至200Hz。
优选地，所述将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集做傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征具体为：
采用滑动窗口对任务期数据以500ms的窗宽截取8份子数据集，滑动窗口之间互不交叠；分别对不同时域的子数据集进行傅立叶变换，在频域对数据集提取黎曼空间域特征。
其中，将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类具体为：
将k个不同时域得到的切向量ts拼接起来，得到拼接后的ts特征，维度为C(C+1)/2*k，最后进行特征选择，选出f值最大的m维特征作为最终的分类特征，将最终的分类特征输入分类器中进行分类。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
实施例5
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于EEG分时频谱黎曼的语义视觉图像分类方法，其特征在于，所述方法包括：
设计实验范式，通过脑电采集设备采集受试者的脑电数据，然后进行相应的预处理；
将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集作傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征；
将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类，通过分类结果判断语义视觉图像的分类正确率；
其中，所述实验范式为：
以“+”号表示实验的开始，受试者在实验开始时需要静息2s，静息完成后，刺激界面会给受试者提示即将出现图片的语义类别，语义提示持续1s；
受试者进行4s的图片观察，在观察的同时对图片的语义类别进行判断；
所述将不同时间段的黎曼空间域特征拼接起来，通过特征选择从拼接后的黎曼空间域特征中选出最终的m维特征，对选择后的最终的m维特征进行分类具体为：
将k个不同时域得到的切向量ts拼接起来，得到拼接后的ts特征，维度为C(C+1)/2*k，最后进行特征选择，选出f值最大的m维特征作为最终的分类特征，将最终的分类特征输入分类器中进行分类。
2.根据权利要求1所述的一种基于EEG分时频谱黎曼的语义视觉图像分类方法，其特征在于，所述相应的预处理为：
每个样本会包含4s的任务期数据，对每个样本进行1-50Hz的滤波，并降采样至200Hz。
3.根据权利要求1所述的一种基于EEG分时频谱黎曼的语义视觉图像分类方法，其特征在于，所述将预处理后的数据按时间段划分为不同的数据集，对不同时域的数据集做傅立叶变换，获得数据集的频域特征，在频域从数据集的频域特征中提取黎曼空间域特征具体为：
采用滑动窗口对任务期数据以500ms的窗宽截取8份子数据集，滑动窗口之间互不交叠；分别对不同时域的子数据集进行傅立叶变换，在频域对数据集提取黎曼空间域特征。
4.一种基于EEG分时频谱黎曼的语义视觉图像分类装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-3中的任一项所述的方法步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-3中的任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267002.3A CN113974658B (zh) | 2021-10-28 | 2021-10-28 | 基于eeg分时频谱黎曼的语义视觉图像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267002.3A CN113974658B (zh) | 2021-10-28 | 2021-10-28 | 基于eeg分时频谱黎曼的语义视觉图像分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113974658A CN113974658A (zh) | 2022-01-28 |
| CN113974658B true CN113974658B (zh) | 2024-01-26 |
Family
ID=79743881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111267002.3A Active CN113974658B (zh) | 2021-10-28 | 2021-10-28 | 基于eeg分时频谱黎曼的语义视觉图像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113974658B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077206A (zh) * | 2012-12-27 | 2013-05-01 | 浙江大学 | 一种基于事件相关电位的图片语义分类搜索方法 |
| CN107427250A (zh) * | 2015-04-06 | 2017-12-01 | 国立研究开发法人情报通信研究机构 | 通过脑活动的解析推测感知语义内容的推测方法 |
| CN109657642A (zh) * | 2018-12-29 | 2019-04-19 | 山东建筑大学 | 一种基于黎曼距离的运动想象脑电信号分类方法及系统 |
| CN110123313A (zh) * | 2019-04-17 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 一种自训练脑机接口系统及相关训练方法 |
| CN112036354A (zh) * | 2020-09-09 | 2020-12-04 | 东南大学 | 一种基于黎曼几何的自然动作脑电识别方法 |
| CN113095428A (zh) * | 2021-04-23 | 2021-07-09 | 西安交通大学 | 一种融合脑电和刺激源信息的视频情感分类方法及系统 |
| CN113349801A (zh) * | 2021-06-21 | 2021-09-07 | 西安电子科技大学 | 基于卷积神经网络的想象言语脑电信号解码方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018090467A1 (zh) * | 2016-11-17 | 2018-05-24 | 丹阳华神电器有限公司 | 基于模糊熵的含噪信号处理方法及迭代奇异谱软阈值去噪方法 |
| US11402905B2 (en) * | 2018-01-09 | 2022-08-02 | Holland Bloorview Kids Rehabilitation Hospital | EEG brain-computer interface platform and process for detection of changes to mental state |
-
2021
- 2021-10-28 CN CN202111267002.3A patent/CN113974658B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077206A (zh) * | 2012-12-27 | 2013-05-01 | 浙江大学 | 一种基于事件相关电位的图片语义分类搜索方法 |
| CN107427250A (zh) * | 2015-04-06 | 2017-12-01 | 国立研究开发法人情报通信研究机构 | 通过脑活动的解析推测感知语义内容的推测方法 |
| CN109657642A (zh) * | 2018-12-29 | 2019-04-19 | 山东建筑大学 | 一种基于黎曼距离的运动想象脑电信号分类方法及系统 |
| CN110123313A (zh) * | 2019-04-17 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 一种自训练脑机接口系统及相关训练方法 |
| CN112036354A (zh) * | 2020-09-09 | 2020-12-04 | 东南大学 | 一种基于黎曼几何的自然动作脑电识别方法 |
| CN113095428A (zh) * | 2021-04-23 | 2021-07-09 | 西安交通大学 | 一种融合脑电和刺激源信息的视频情感分类方法及系统 |
| CN113349801A (zh) * | 2021-06-21 | 2021-09-07 | 西安电子科技大学 | 基于卷积神经网络的想象言语脑电信号解码方法 |
Non-Patent Citations (2)
| Title |
|---|
| Yong Cao et al.The effects of semantic congruency: a research of audiovisual P300‑speller.《BioMed Eng OnLine》.2017,全文. * |
| 刘政，何峰， 汤佳贝，万柏坤，明东.基于深度学习的头皮脑电信息解码研究进展.《中国生物医学工程学报》.2020,第39卷(第2期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113974658A (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111329474B (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
| Delorme et al. | EEGLAB, SIFT, NFT, BCILAB, and ERICA: new tools for advanced EEG processing | |
| Yuan et al. | Patients’ EEG data analysis via spectrogram image with a convolution neural network | |
| Guo et al. | A hybrid fuzzy cognitive map/support vector machine approach for EEG-based emotion classification using compressed sensing | |
| CN111265212A (zh) | 一种运动想象脑电信号分类方法及闭环训练测试交互系统 | |
| CN111714118A (zh) | 一种基于集成学习的脑认知模型融合方法 | |
| Ameri et al. | Projective dictionary pair learning for EEG signal classification in brain computer interface applications | |
| CN113191395B (zh) | 一种基于双脑的多层次信息融合的目标检测方法 | |
| CN109375776B (zh) | 基于多任务rnn模型的脑电信号动作意图识别方法 | |
| CN114533086A (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| Lu et al. | Combined CNN and LSTM for motor imagery classification | |
| KR102557024B1 (ko) | 다기능 뇌 컴퓨터 인터페이스 장치 및 방법 | |
| CN111772629B (zh) | 一种脑认知技能移植的方法 | |
| Janapati et al. | Signal processing algorithms based on evolutionary optimization techniques in the BCI: A review | |
| CN108470182B (zh) | 一种用于非对称脑电特征增强与识别的脑-机接口方法 | |
| Sethi et al. | Stockwell-common spatial pattern technique for motor imagery-based Brain Computer Interface design | |
| CN113180659A (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别系统 | |
| CN113974658B (zh) | 基于eeg分时频谱黎曼的语义视觉图像分类方法及装置 | |
| Kong et al. | Task-free brainprint recognition based on degree of brain networks | |
| Yang et al. | EEG classification for BCI based on CSP and SVM-GA | |
| CN105787459A (zh) | 一种基于最优评分稀疏判别的erp信号分类方法 | |
| Song et al. | Eeg-based emotion classification with wavelet entropy feature | |
| CN109685031A (zh) | 一种脑机接口中脑电信号特征分类方法及系统 | |
| CN111265214B (zh) | 一种基于数据结构化分解的脑电信号分析方法 | |
| Hasson-Meir et al. | Inference of Brain Mental States from Spatio-temporal Analysis of EEG Single Trials. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |