CN109711383B - 基于时频域的卷积神经网络运动想象脑电信号识别方法 - Google Patents

Abstract

本发明请求保护一种基于时频域的卷积神经网络运动想象脑电信号识别方法，包括以下步骤：S1，利用短时傅里叶变换将原始左右手运动想象脑电信号转换为二维时频图；S2，对得到的二维时频图设计了一种5层卷积神经网络结构，为了避免时间与频率信息的混杂，采取了一维卷积方式进行特征提取；S3，利用反向传播算法训练整个CNN网络；S4，以支持向量机作为整个模型的分类器，将支持向量机替换CNN中的输出层。本发明能够保证在脑电数据集中，提取的左右手运动想象脑电信号特征具有较高的识别率，鲁棒性好。

Description

基于时频域的卷积神经网络运动想象脑电信号识别方法

技术领域

本发明属于脑电信号识别领域，特别是一种基于基于时频域的卷积神经网络运动想象脑电信号识别方法。

背景技术

当前在基于脑电信号(Electroencephalogram,EEG)的脑机接口(Brain ComputerInterface,BCI)研究主要集中于运动想象脑电信号方面，而BCI中信号如何进行特征提取的问题是最为重要的问题之一。运动想象是通过“想”的方式来产生相关信号，对运动想象的研究表明，单侧肢体运动或者想象运动会对波(8-13Hz)和波(14-30Hz)的节奏活动和功率谱产生抑制/增强的效果，即事件相关去同步/同步(ERD/ERS)现象。根据这一现象，迄今为止研究者们已经提出了许多特征提取方法，如AR模型(auto-regressive，自回归)、Wavelet变换、希尔伯特黄变换、CSP(Common Spatial Pattern，共同空间模式)等。近年来，卷积神经网络(Convolutional Neural Networks,CNN)在机器视觉、语音识别等领域被广泛应用，而在BCI领域仍处于起步阶段。相比于手工提取特征方法，CNN通过数据驱动的方式，提取抽象特征，减少了信息的损失，但是其对脑电信号的识别率有待进一步提升。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高脑电信号识别率的基于时频域的卷积神经网络运动想象脑电信号识别方法。本发明的技术方案如下：一种基于时频域的卷积神经网络运动想象脑电信号识别方法，其包括以下步骤：

S1、将原始左右手运动想象脑电信号的μ频带和β频带利用短时傅里叶变换转换为二维时频图；

S2、构建5层卷积神经网络结构，第一层为输入层，第二、三层为卷积层，第四层为全连接层，第五层为输出层，采取一维卷积方式进行特征提取；

S3、利用反向传播算法训练整个卷积神经网络；

S4、以支持向量机作为整个模型的分类器，将支持向量机替换CNN中的输出层。

进一步的，所述步骤S1脑原始左右手运动想象脑电信号数据为由C3、CZ和C4电极采集的左手和右手运动想象脑电数据。

进一步的，所述步骤S1运动想象脑电信号由C3、CZ和C4三个电极采集而成，设计了一种二维时频图作为CNN网络的输入，对每个电极采集到的2s长度脑电信号进行短时傅里叶变换：

其中，X(w,t)表示原始脑电信号，w()表示窗口函数，采用汉明窗，最终通过上式得257×32的时频图，其中STFT采用长度为64的汉明窗，对得到的时频图提取8-13Hz频带和17-30Hz频带，分别得到12×32和29×32的二维时频图，通过立方插值法将17-30Hz频带的时频图调整为12×32，最后，将三个电极的所有频带进行组合构成(3×2×12)×32大小的时频图。

进一步的，所述步骤S2的5层卷积神经网络结构分别为L1-L5层，具体如下：

L1：该层为神经网络的输入层，以预处理中得到的72×32时频图作为输入I；

L2：该层为卷积层，采用一维卷积核进行计算，在L2中使用了8个卷积核，卷积核大小设置为72×1，通过与输入数据进行卷积运算得8个对应的特征图，进行卷积第k个卷积核对应的特征图被定义为：

其中，

表示特征图，i表示卷积核中每个单元的序号，其范围依据卷积核大小而定，j表示特征图中的第j个神经元，/>

为72×1的卷积核，/>

为偏置，f()表示激活函数，本网络模型以修正线性单元ReLU作为激活函数，以a为输入时该激活函数表示如下：

f(a)＝ReLU(a)＝ln(1+e^a)

L3：该层为卷积层，对L2层中得到的8个特征图分别使用5个卷积核，卷积核大小为8×1，设置卷积步长与卷积核长度相同，经过映射后，该层可得40个特征图，每个特征图的大小为4×1，特征图表示为：

其中，

为8×1的卷积核，/>

为偏置；

L4：该层为全连接层，神经元个数为30个，其作用为连接所有特征，并将输出值送给分类器，计算方式为：

其中，

为L3、L4两层神经元的连接权值，b⁴(j)为偏置；

L5：该层为输出层，神经元个数为2，代表左右手运动想象的二分类问题，其与L4层的所有神经元以全连接的形式相连接：

其中，w⁵(j)为L4与L5两层之间的连接权值，b⁵(j)为偏置。

进一步的，所述步骤S3中CNN的训练采用反向传播算法，具体包括：先前向计算每层输出，根据输出层的结果与标签反向计算误差，据此误差求权值和偏置的梯度，以此更新各个权值和偏置：

w^(l)＝w^(l)-α·δ^(l+1)(a^(l))^T

b^(l)＝b^(l)-α·δ^(l+1)

其中，w^(l)与

分别表示第l层的权值和偏置，δ^(l+1)表示偏差，a表示输出值。

进一步的，所述步骤S4以支持向量机作为整个模型的分类器，将支持向量机替换CNN中的输出层，并以全连接层得到的特征作为支持向量机的输入，以支持向量机的输出作为脑电信号的识别结果。

本发明的优点及有益效果如下：

本发明基于时频域的卷积神经网络运动想象脑电信号识别方法通过对脑电信号的μ频带和β频带进行短时傅里叶变换构造了一种时频域二维图作为卷积神经网络的输入。其次，针对时频特性，通过一维卷积的方法设计了一种新颖的卷积神经网络结构，并通过支持向量机对提取的特征进行分类。通过与普通CNN方法和CSP及其衍生算法进行分析比较，结果表明，基于时频域的卷积神经网络运动想象脑电信号识别方法在小样本的情况下，能保持较高的识别率和稳定性，优于普通CNN和CSP及其衍生算法。

本发明提供了一种基于基于时频域的卷积神经网络运动想象脑电信号识别方法，传统CNN并未考虑到脑电信号含有丰富的时间和频率信息这一特点。为此，本文充分结合时间与频率信息，将经过STFT得到的时频图作为CNN的输入，并使用一维卷积进行特征提取,避免了时间与频率信息的混杂；此外，本文利用支持向量机(Support Vector Machine,SVM)在处理小样本分类时的良好特性，将经过CNN提取到的特征利用SVM分类器进行分类。通过在BCI竞赛数据集上的实验表明，本文方法的在9个受试者上的平均识别率达86.5％，优于其他方法；在单个受试者上的识别率最高可达98.3％，亦优于其他方法。

附图说明

图1是本发明提供优选实施例基于时频域的卷积神经网络运动想象脑电信号识别方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明提供了一种基于基于时频域的卷积神经网络运动想象脑电信号识别方法，其包括以下步骤：

S1，运动想象脑电信号由C3、CZ和C4三个电极采集而成)，设计了一种二维时频图作为CNN网络的输入。对每个电极采集到的2s长度脑电信号进行短时傅里叶变换：

其中，X(w,t)表示原始脑电信号，w()表示窗口函数，在本发明中采用汉明窗，最终通过上式子可得257×32的时频图，其中STFT采用长度为64的汉明窗。为了更好的数据表示，对得到的时频图提取8-13Hz频带和17-30Hz频带，分别得到12×32和29×32的二维时频图。此外，为了保证两个频带的一致性，通过立方插值法将17-30Hz频带的时频图调整为12×32。最后，本文将三个电极的所有频带进行组合构成(3×2×12)×32大小的时频图(即72×32)。

S2，构建了一种新的CNN网络，该CNN网络由5层网络构成，第一层为输入层，第二、三层为卷积层，第四层为全连接层，第五层为输出层。各网络层结构具体如下：

L1：该层为神经网络的输入层，本文以预处理中得到的72×32时频图作为输入I。

L2：该层为卷积层。传统的CNN往往使用二维卷积核进行运算，以时频图作为CNN的输入时，由于其横纵坐标分别代表了时间与频率分量，这种传统的二维卷积核会使得提取的特征中混杂频率与时间信息，对提取到的特征十分不利。为了避免时频信息的混杂，本文采用一维卷积核进行计算。在L2中使用了8个卷积核，卷积核大小设置为72×1，其通过与输入数据进行卷积运算可得8个对应的特征图，进行卷积第k个卷积核对应的特征图被定义为：

其中，i表示卷积核中每个单元的序号，其范围依据卷积核大小而定，下同；j表示特征图中的第j个神经元，

为72×1的卷积核，/>

为偏置，f()表示激活函数，本网络模型以修正线性单元ReLU作为激活函数，以a为输入时该激活函数表示如下：

f(a)＝ReLU(a)＝ln(1+e^a)

L3：该层为卷积层。对L2层中得到的8个特征图分别使用5个卷积核，卷积核大小为8×1。为了减小过拟合的风险，该层设置卷积步长与卷积核长度相同以减少参数。经过映射后，该层可得40个特征图，每个特征图的大小为4×1。与L2层计算方式类似，特征图可表示为：

其中，

为8×1的卷积核，/>

为偏置。

L4：该层为全连接层，神经元个数为30个，其作用为连接所有特征，并将输出值送给分类器。计算方式为：

其中，

为L3、L4两层神经元的连接权值，b⁴(j)为偏置。

L5：该层为输出层，神经元个数为2，代表左右手运动想象的二分类问题。其与L4层的所有神经元以全连接的形式相连接：

其中，w⁵(j)为L4与L5两层之间的连接权值，b⁵(j)为偏置。

S3，CNN的训练主要采用反向传播算法，即先前向计算每层输出，根据输出层的结果与标签反向计算误差，据此误差求权值和偏置的梯度，以此更新各个权值和偏置。

w^(l)＝w^(l)-α·δ^(l+1)(a^(l))^T

b^(l)＝b^(l)-α·δ^(l+1)

其中，w^(l)与

分别表示第l层的权值和偏置，δ^(l+1)表示偏差，a表示输出值。

S4，将SVM替换原始CNN中的输出层，并以全连接层得到的特征作为SVM的输入。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于时频域的卷积神经网络运动想象脑电信号识别方法，其特征在于，包括以下步骤：

S1、将原始左右手运动想象脑电信号的μ频带和β频带利用短时傅里叶变换转换为二维时频图；

S2、构建5层卷积神经网络结构，第一层为输入层，第二、三层为卷积层，第四层为全连接层，第五层为输出层，采取一维卷积方式进行特征提取；

S3、利用反向传播算法训练整个卷积神经网络；

S4、以支持向量机作为整个模型的分类器，将支持向量机替换CNN中的输出层；

所述步骤S1运动想象脑电信号由C3、CZ和C4三个电极采集而成，设计了一种二维时频图作为CNN网络的输入，对每个电极采集到的2s长度脑电信号进行短时傅里叶变换：

其中，X(w,t)表示原始脑电信号，w()表示窗口函数，采用汉明窗，最终通过上式得257×32的时频图，其中STFT采用长度为64的汉明窗，对得到的时频图提取8-13Hz频带和17-30Hz频带，分别得到12×32和29×32的二维时频图，通过立方插值法将17-30Hz频带的时频图调整为12×32，最后，将三个电极的所有频带进行组合构成(3×2×12)×32大小的时频图；

所述步骤S2的5层卷积神经网络结构分别为L1-L5层，具体如下：

L1：该层为神经网络的输入层，以预处理中得到的72×32时频图作为输入I；

L2：该层为卷积层，采用一维卷积核进行计算，在L2中使用了8个卷积核，卷积核大小设置为72×1，通过与输入数据进行卷积运算得8个对应的特征图，进行卷积第k个卷积核对应的特征图被定义为：

其中，

表示特征图，i表示卷积核中每个单元的序号，其范围依据卷积核大小而定，j表示特征图中的第j个神经元，/>

为72×1的卷积核，/>

为偏置，f()表示激活函数，本网络模型以修正线性单元ReLU作为激活函数，以a为输入时该激活函数表示如下：

f(a)＝ReLU(a)＝ln(1+e^a)

L3：该层为卷积层，对L2层中得到的8个特征图分别使用5个卷积核，卷积核大小为8×1，设置卷积步长与卷积核长度相同，经过映射后，该层可得40个特征图，每个特征图的大小为4×1，特征图表示为：

其中，

为8×1的卷积核，/>

为偏置；

L4：该层为全连接层，神经元个数为30个，其作用为连接所有特征，并将输出值送给分类器，计算方式为：

其中，

为L3、L4两层神经元的连接权值，b⁴(j)为偏置；

L5：该层为输出层，神经元个数为2，代表左右手运动想象的二分类问题，其与L4层的所有神经元以全连接的形式相连接：

其中，w⁵(j)为L4与L5两层之间的连接权值，b⁵(j)为偏置。

2.根据权利要求1所述的基于时频域的卷积神经网络运动想象脑电信号识别方法，其特征在于，所述步骤S1脑原始左右手运动想象脑电信号数据为由C3、CZ和C4电极采集的左手和右手运动想象脑电数据。

3.根据权利要求1所述的基于时频域的卷积神经网络运动想象脑电信号识别方法，其特征在于，所述步骤S3中CNN的训练采用反向传播算法，具体包括：先前向计算每层输出，根据输出层的结果与标签反向计算误差，据此误差求权值和偏置的梯度，以此更新各个权值和偏置：

w^(l)＝w^(l)-α·δ^(l+1)(a^(l))^T

b^(l)＝b^(l)-α·δ^(l+1)

其中，w^(l)与

分别表示第l层的权值和偏置，δ^(l+1)表示偏差，a表示输出值。

4.根据权利要求3所述的基于时频域的卷积神经网络运动想象脑电信号识别方法，其特征在于，所述步骤S4以支持向量机作为整个模型的分类器，将支持向量机替换CNN中的输出层，并以全连接层得到的特征作为支持向量机的输入，以支持向量机的输出作为脑电信号的识别结果。

Images