CN109325410B - 一种基于卷积神经网络的脑电信号eeg特征提取方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的脑电信号EEG特征提取方法，包括下述步骤：S1，设计颜色识别的脑电数据采集实验方案；设一个周期有三张测试图片和三张全黑色的过渡图片，测试图片用时t₁，过渡图片用时t₂，每个周期中的测试图片分别为红、绿、蓝三原色，且红、绿、蓝三原色出现的顺序随机，则一个周期用时3t₁+3t₂，每个被试者测试N个周期，共用时N(3t₁+3t₂)；设置过渡图片的目的是为了消除在切换测试图片时产生的视觉残留；本发明避免了使用AR模型提取脑电信号特征中阶数的问题，而且使用卷积神经网络所提取的特征在颜色识别方面取得了满意的结果。

Description

一种基于卷积神经网络的脑电信号EEG特征提取方法

技术领域

本发明涉及脑电特征提取及脑电颜色认知技术领域，具体涉及一种基于卷积神经网络的脑电信号EEG特征提取方法。

背景技术

脑电领域的相关研究可以追溯到20世纪末，Poulos M(1999)使用FFT提取脑电信号特征，并用LVQ神经网络进行身份识别分类；Poulos M(2002)使用线性AR模型提取脑电信号特征；Mohammadi G(2006)使用线性AR模型提取脑电信号特征，利用竞争神经网络进行分类；Palaniappan R(2007)使用脑电信号的功率作为特征；HTouyama(2009)使用PCA对脑电信号进行降维处理，使用降维后的脑电数据作为特征；Tangkraingkij P(2009)使用ICA提取脑电信号特征；La Rocca D(2012)使用AR模型提取脑电信号的特征；Liew S(2015)计算脑电信号的相干性、互相关、振幅均值作为特征；Mu Z(2016)使用模糊熵提取脑电信号的特征；上述的特征提取方法大多数都是基于信息处理领域的信号处理算法，例如提取脑电信号中的AR参数，Fz-AR参数、功率谱(PSD)和模糊熵等，而这些特征提取算法往往需要脑电信号是一个平稳随机信号，而在实际中的脑电信号是非平稳随机信号；而且在一些特征提取算法中存在模型定阶等问题，例如AR模型等，阶数的确定会影响特征提取的效果，而阶数的确定大多数是基于人为确定，因此使用传统的特征提取算法来提取EEG的特征具有一定的缺陷。

通常采集到的EEG数据是一个多维时间序列集，即由各个头皮电极上的时间序列构成的数据集，因此EEG是一个高维度的数据集，而在选择哪些头皮电极数据来进行研究的问题中，在以往EEG论文中有以下几种做法：(1)把每个头皮电极当做是独立的，对每个头皮电极的数据进行特征提取，最后再对每个头皮电极的实验结果进行平均，但是，这种做法忽略了每个头皮电极之间可能存在互相影响的关系；(2)按照经验或者穷举法来选择组合多个头皮电极，这种做法弥补了方法(1)的缺陷，但是，在实际应用过程中，这种做法所需要的时间远远小于方法(1)，而且凭借经验选择电极组合，缺乏一定的客观性和科学性。

以往对脑电信号这一个高维数据进行降维或者特征提取的做法中，大多数使用的是PCA、自回归模型等无监督算法进行降维或者特征提取，但是，使用这些算法有以下缺点：即可能会把我们需要的特征给舍弃，或者赋予较低权重，从而使得分类器精度下降。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于卷积神经网络的脑电信号EEG特征提取方法，本方法的卷积神经网络可以不需要很多先验知识以及手工提取特征，能够直接对复杂的数据逐级抽取特征，能够准确提取特征的局部相关性，提高特征提取的准确度，且能够避免易陷入极值等问题。

本发明的目的通过下述技术方案实现：

一种基于卷积神经网络的脑电信号EEG特征提取方法，包括下述步骤：

S1，设计颜色识别的脑电数据采集实验方案；

设一个周期有三张测试图片和三张全黑色的过渡图片，测试图片用时t₁，过渡图片用时t₂，每个周期中的测试图片分别为红、绿、蓝三原色，且红、绿、蓝三原色出现的顺序随机，则一个周期用时3t₁+3t₂，每个被试者测试N个周期，共用时N(3t₁+3t₂)；设置过渡图片的目的是为了消除在切换测试图片时产生的视觉残留；

S2，脑电数据的采集；

被试者静坐在电脑屏幕前，电脑屏幕按照S1的实验方案来显示图片，通过脑电采集设备对被试者在认知图片时产生的脑电信号进行采集，脑电采集设备的采样频率为vHz；

S3，脑电数据的预处理；

S3.1，剔除与实验无关和损坏的头皮电极，设剔除后的头皮电极数为k；

S3.2，利用FIR滤波器，从采集的原始脑电信号中提取Delta(0.5Hz-4Hz)、Theta(4Hz-8Hz)、Alpha(8Hz-14Hz)、Beta(14Hz-30Hz)、Gamma(30Hz-45Hz)和all(0.5Hz-45Hz)这六个频段的脑电数据；

S3.3，针对S3.2中每个频段的脑电数据做归一化处理，则每个频段的脑电数据归一化后形成k行t₁×v列的脑电信号矩阵；

S4，建立卷积神经网络，并提取脑电信号的信号特征；

输入卷积神经网络的二维数据为k行t₁×v列的脑电信号矩阵；第一卷积层的卷积核大小为3×3，卷积核数量为n₁，第一池化层滤波器的大小为2×2；第二卷积层的卷积核大小为3×3，卷积核数量为n₂，第二池化层滤波器的大小为2×2；第三卷积层的卷积核大小为3×3，卷积核数量为n₃，第三池化层滤波器的大小为2×2；第四卷积层的卷积核大小为3×3，卷积核数量为n₄，第四池化层滤波器的大小为2×2；Flatten层，将第四池化层的输出变为一维矩阵；其中，最后两层是两个全连接层，第一个全连接层与Flatten层进行全连接，其神经元个数为n₅个；第二个全连接层的神经元个数为颜色个数，每个神经元分别代表识别为对应的颜色的概率；

S5，利用建立的卷积神经网络进行身份识别分类；

随机选择70％样本作为训练集，30％样本作为测试集；训练过程中，使用adam方法调整卷积神经网络中每层神经网络的参数，每次迭代完成后，根据卷积神经网络在训练集上的Loss值，调整卷积神经网络的学习率，使卷积神经网络在训练集上收敛，并在验证集上有较高的分类准确率；利用训练完成的卷积神经网络，使用测试集进行测试，从而得到卷积神经网络的脑电特征提取的结果。

本发明与现有技术相比具有以下的有益效果：

(1)本发明避免了使用AR模型提取脑电信号特征中阶数的问题，而且使用卷积神经网络所提取的特征在颜色识别方面取得了满意的结果；

(2)本发明不需要很多先验知识以及手工提取特征，能够直接对复杂的数据逐级抽取特征，同时能够准确提取特征的局部相关性，提高特征提取的准确度，也不存在易陷入极值问题；

(3)本发明将每个头皮电极组合起来形成一个二维的电极-时间序列图，利用卷积神经网络进行脑电信号的特征提取并分类，在考虑每个头皮电极之间可能存在互相影响关系的前提下，解决了将高维度EEG信号在应用分类器中的维度问题；

(4)本发明在特征提取的过程中是有监督的，即在训练过程中，会根据分类器的分类结果，自顶向下对其他层的神经元进行微调，令EEG特征提取过程更加高效；

(5)本发明研究出了与颜色最相关的脑电频段。

附图说明

图1为本发明的整体流程图；

图2为本发明的颜色识别的脑电数据采集实验方案示意图；

图3为本发明的卷积神经网络示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1～3所示，一种基于卷积神经网络的脑电信号EEG特征提取方法，包括下述步骤：

步骤一，设计颜色识别的脑电数据采集实验方案；

设一个周期有三张测试图片和三张全黑色的过渡图片，测试图片用时t₁，过渡图片用时t₂，每个周期中的测试图片分别为红、绿、蓝三原色，且红、绿、蓝三原色出现的顺序随机，则一个周期用时3t₁+3t₂，每个被试者测试N个周期，共用时N(3t₁+3t₂)；设置过渡图片的目的是为了消除在切换测试图片时产生的视觉残留；

步骤二，脑电数据的采集；

被试者静坐在电脑屏幕前，电脑屏幕按照S1的实验方案来显示图片，通过脑电采集设备对被试者在认知图片时产生的脑电信号进行采集，脑电采集设备的采样频率为vHz；

步骤三，脑电数据的预处理；

(1)剔除与实验无关和损坏的头皮电极，设剔除后的头皮电极数为k；

(2)利用FIR滤波器，从采集的原始脑电信号中提取Delta(0.5Hz-4Hz)、Theta(4Hz-8Hz)、Alpha(8Hz-14Hz)、Beta(14Hz-30Hz)、Gamma(30Hz-45Hz)和all(0.5Hz-45Hz)这六个频段的脑电数据；

(3)针对S3.2中每个频段的脑电数据做归一化处理，则每个频段的脑电数据归一化后形成k行t₁×v列的脑电信号矩阵；

步骤四，建立卷积神经网络，并提取脑电信号的信号特征；

输入卷积神经网络的二维数据为k行t₁×v列的脑电信号矩阵；第一卷积层的卷积核大小为3×3，卷积核数量为n₁，第一池化层滤波器的大小为2×2；第二卷积层的卷积核大小为3×3，卷积核数量为n₂，第二池化层滤波器的大小为2×2；第三卷积层的卷积核大小为3×3，卷积核数量为n₃，第三池化层滤波器的大小为2×2；第四卷积层的卷积核大小为3×3，卷积核数量为n₄，第四池化层滤波器的大小为2×2；Flatten层，将第四池化层的输出变为一维矩阵；其中，最后两层是两个全连接层，第一个全连接层与Flatten层进行全连接，其神经元个数为128个；第二个全连接层的神经元个数为3，每个神经元分别代表识别为对应的颜色的概率；

步骤五，利用建立的卷积神经网络进行身份识别分类；

随机选择70％样本作为训练集，30％样本作为测试集；训练过程中，使用adam方法调整卷积神经网络中每层神经网络的参数，每次迭代完成后，根据卷积神经网络在训练集上的Loss值，调整卷积神经网络的学习率，使卷积神经网络在训练集上收敛，并在验证集上有较高的分类准确率；利用训练完成的卷积神经网络，使用测试集进行测试，从而得到卷积神经网络的脑电特征提取的结果。

具体来说，1、设计颜色识别的脑电数据采集实验方案。

一个周期有3张测试图片和3张过渡图片(全黑)，测试图片用时1s，过渡图片用时0.2s，每个周期中的测试图片为RGB三原色，即红绿蓝三原色，且每张测试图片出现的顺序随机，因此一个周期是3.6s，每个被试者测试200个周期，即720s(12min)；设置过渡图片的目的是为了消除在切换测试图片时产生的视觉残留。

2、脑电数据采集。

脑电采集设备为Brain Product,Brain Amp MR Plus型放大器，采用64导电极帽连续记录脑电。

参与实验的被试者个数为9个(5个男性，4个女性)，他们的年龄在19岁到22岁之间，均无神经或精神上的疾病史，实验前亦无使用药物。

被试者静坐在电脑屏幕前，电脑屏幕按照所设计的颜色识别实验方案显示图片，通过脑电采集设备，对被试者在认知图片时产生的脑电信号进行采集，脑电采集设备的采样频率为500Hz。

3、脑电数据的预处理。

剔除与本实验无关和损坏的头皮电极(′FP1′′FP2′′F4′′F8′′Fz′′Pz′′HEOL′′HEOR′′M2′′F6′)，剔除后的头皮电极数为54。

利用FIR滤波器，从采集的原始脑电信号提取出Delta(0.5Hz-4Hz)、Theta(4Hz-8Hz)、Alpha(8Hz-14Hz)、Beta(14Hz-30Hz)、Gamma(30Hz-45Hz)、all(0.5Hz-45Hz)，这六个频段的脑电数据。

针对每个频段的脑电数据做归一化处理，每个样本归一化后为54行500列的矩阵。

4、建立卷积神经网络。

输入卷积神经网络的二维数据为54×500的脑电信号矩阵。第一卷积层的卷积核大小为3×3，卷积核数量为4，第一池化层滤波器的大小为2×2；第二卷积层的卷积核大小为3×3，卷积核数量为8，第二池化层滤波器的大小为2×2；第三卷积层的卷积核大小为3×3，卷积核数量为16，第三池化层滤波器的大小为2×2；第四卷积层的卷积核大小为3×3，卷积核数量为32，第四池化层滤波器的大小为2×2；

Flatten层(Flatten层即将一个多维矩阵转换为一个一维矩阵)，将第四池化层的输出变为一维矩阵；使用三层BP神经网络作为颜色识别分类器，输入为Flatten层的输出，输出节点有三个，分别代表三种颜色：红、绿、蓝，每个样本标签为1*3的标签矩阵，第i个颜色样本的标签矩阵中第i个元素为1，其余为0；颜色识别分类器的输出节点为三个，分别代表识别为对应的三种颜色的概率。

5、利用建立的卷积神经网络进行脑电信号(EEG)特征提取。

随机选择70％样本(此处样本指的是对“某个频段”的每份脑电数据进行随机采样所得的样本)作为训练集，30％样本作为测试集；训练过程中，使用adam方法(adam方法的具体步骤如下：1、初始化步长；2、初始化矩估计的指数衰减速率；3、初始化用于数值稳定的小常数；4、初始化BP神经网络中每层网络的参数；5、初始化一阶和二阶矩变量；6、初始化步数；7、从训练集中随机采样q个样本，计算Loss函数的梯度；8、更新有偏一阶矩估计；9、更新有偏二阶矩估计；10、修正一阶矩偏差；11、修正二阶矩偏差；12、计算各参数更新幅值；13、参数更新；14、若满足停止准则则退出，否则返回步骤7，继续更新参数)，调整卷积神经网络中每层神经网络的参数，每次迭代完成后，根据卷积神经网络在训练集上的Loss值，Loss值是由Loss函数计算所得的值，本实施例的Loss函数如下：

，调整卷积神经网络的学习率，使卷积神经网络在训练集上收敛，并在验证集上有较高的分类准确率。利用训练完成的卷积神经网络，使用测试集进行测试，得到卷积神经网络的特征提取结果。

其中，为了使估计结果稳定可靠，实验重复进行多次，在保持数据分布的一致性和不重复选取样本的条件下，随机选取样本构建训练集和测试集，如下表1和表2所示：

表1：训练集情况

	样本个数	总占比
			红色样本	1260	70％
绿色样本	1260	70％
			蓝色样本	1260	70％

表2：测试集情况

	样本个数	总占比
			红色样本	540	30％
绿色样本	540	30％
			蓝色样本	540	30％

分类识别验证：

卷积神经网络的输出矩阵的每个数值代表该测试样本识别为对应颜色的概率，取概率最大的颜色作为该测试样本的识别结果。

颜色识别情况如下表所示：

	Red	Green	Blue	Average
					All	83.13％	78.06％	58.94％	73.38％
Delta	74.99％	73.69％	46.56％	65.08％
					Theta	71.57％	73.03％	43.93％	62.84％
Alpha	82.11％	85.94％	70.57％	79.54％
					Beta	88.63％	73.05％	64.80％	75.49％
Gamma	73.54％	70.03％	30.9％	58.19％

从实验的结果可得，红色识别率最高的频段是Beta(14Hz-30Hz)，绿色识别率最高的频段是Alpha(8Hz-14Hz)，蓝色识别率最高的频段是Alpha(8Hz-14Hz)。

即与红色认知最相关的频段为Beta(14Hz-30Hz)，与绿色认知最相关的频段为Alpha(8Hz-14Hz)，与蓝色认知最相关的频段为Alpha(8Hz-14Hz)。

本发明避免了使用AR模型提取脑电信号特征中阶数的问题，而且使用卷积神经网络所提取的特征在颜色识别方面取得了满意的结果；不需要很多先验知识以及手工提取特征，能够直接对复杂的数据逐级抽取特征，同时能够准确提取特征的局部相关性，提高特征提取的准确度，也不存在易陷入极值问题；将每个头皮电极组合起来形成一个二维的电极-时间序列图，利用卷积神经网络进行脑电信号的特征提取并分类，在考虑每个头皮电极之间可能存在互相影响关系的前提下，解决了将高维度EEG信号在应用分类器中的维度问题；在特征提取的过程中是有监督的，即在训练过程中，会根据分类器的分类结果，自顶向下对其他层的神经元进行微调，令EEG特征提取过程更加高效；研究出了与颜色最相关的脑电频段。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (1)

1.一种基于卷积神经网络的脑电信号EEG特征提取方法，其特征在于，包括下述步骤：

S1，设计颜色识别的脑电数据采集实验方案；

设一个周期有三张测试图片和三张全黑色的过渡图片，测试图片用时t₁，过渡图片用时t₂，每个周期中的测试图片分别为红、绿、蓝三原色，且红、绿、蓝三原色出现的顺序随机，则一个周期用时3t₁+3t₂，每个被试者测试N个周期，共用时N(3t₁+3t₂)；设置过渡图片的目的是为了消除在切换测试图片时产生的视觉残留；

S2，脑电数据的采集；

被试者静坐在电脑屏幕前，电脑屏幕按照S1的实验方案来显示图片，通过脑电采集设备对被试者在认知图片时产生的脑电信号进行采集，脑电采集设备的采样频率为vHz；

S3，脑电数据的预处理；

S3.1，剔除与实验无关和损坏的头皮电极，设剔除后的头皮电极数为k；

S3.2，利用FIR滤波器，从采集的原始脑电信号中提取0.5Hz-4Hz的Delta、4Hz-8Hz的Theta、8Hz-14Hz的Alpha、14Hz-30Hz的Beta、30Hz-45Hz的Gamma和0.5Hz-45Hz的all这六个频段的脑电数据；

S3.3，针对S3.2中每个频段的脑电数据做归一化处理，则每个频段的脑电数据归一化后形成k行t₁×v列的脑电信号矩阵；

S4，建立卷积神经网络，并提取脑电信号的信号特征；

输入卷积神经网络的二维数据为k行t₁×v列的脑电信号矩阵；第一卷积层的卷积核大小为3×3，卷积核数量为n₁，第一池化层滤波器的大小为2×2；第二卷积层的卷积核大小为3×3，卷积核数量为n₂，第二池化层滤波器的大小为2×2；第三卷积层的卷积核大小为3×3，卷积核数量为n₃，第三池化层滤波器的大小为2×2；第四卷积层的卷积核大小为3×3，卷积核数量为n₄，第四池化层滤波器的大小为2×2；Flatten层，将第四池化层的输出变为一维矩阵；其中，最后两层是两个全连接层，第一个全连接层与Flatten层进行全连接，其神经元个数为n₅个；第二个全连接层的神经元个数为颜色个数，每个神经元分别代表识别为对应的颜色的概率；

S5，利用建立的卷积神经网络进行身份识别分类；

随机选择70％样本作为训练集，30％样本作为测试集；训练过程中，使用adam方法调整卷积神经网络中每层神经网络的参数，每次迭代完成后，根据卷积神经网络在训练集上的Loss值，调整卷积神经网络的学习率，使卷积神经网络在训练集上收敛，并在验证集上有较高的分类准确率；利用训练完成的卷积神经网络，使用测试集进行测试，从而得到卷积神经网络的脑电特征提取的结果。

Images