CN105068644A - 一种基于卷积神经网络的p300脑电信号检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的P300脑电信号检测方法，用于脑-计算机接口分类算法中，可以有效的解决传统分类算法存在的小样本问题，同时提高分类准确率。该方法借鉴图像识别领域的思想，充分利用卷积神经网络的局部感受野与权值共享思想，将典型的P300脑电信号采集样本类比为特征图像，通过不断的卷积过程提取样本特征，通过下采样过程进行特征映射，不断进行特征提取与特征映射，使样本特征更加简单化，同时局部感受野与权值共享的应用，极大的减小了网络权重参数与计算复杂度，有利于算法的推广。通过实验结果可知，本发明采用的方法有效的提高了分类准确率，增加了系统稳定性，具有较好的应用前景。

Description

一种基于卷积神经网络的P300脑电信号检测方法

技术领域

本发明涉及的是一种信号检测技术，具体是一种基于卷积神经网络的P300脑电信号检测方法。

背景技术

随着人工智能技术的不断发展，以人体生命特征信号为基础的研究越来越受到关注，其中以眼部、脸部以及脑电研究最为集中。脑-计算机接口技术作为近年来的研究热点，已经取得了巨大的进步，尤其是在医学领域，基于脑电信号的智能轮椅已经给身体机能不健全的病人带来了福音。例如，北京师范大学的“一种新型的基于运动想象脑电控制的智能轮椅系统”专利申请文件(201010249134.9)提出了一种基于运动想象的轮椅控制方法，它通过运动想象范式获得脑电信号，通过分类方法获得我们所需的控制指令，完成对轮椅的方向控制。但是其存在很大不足，一是因为基于运动想象的脑电信号稳定性很差，不易获取；二是脑电信号的分类准确率很低，一般在80％以下，给实际应用带来了很大的缺陷。

专利申请文件(201310163499.3)提出了一种基于SSVEP稳态视觉诱发电位的智能轮椅系统，通过几个固定频率的视觉刺激器对眼睛产生刺激，产生对应特定频率的脑电信号，通过相关方法识别出对应的脑电信号，并转化为控制信号完成对轮椅的控制。SSVEP电位相对于运动想象更加稳定，也更加容易获取，但是其对刺激频率以及刺激源的光色要求极其严格，而且受试者需要不断的接受视觉刺激器的刺激，这样会使受试者极易产生视觉疲劳，而且信号的检测率不高，当受试者出现视觉疲劳时分类准确率下降很大。

脑-计算机接口的核心在于脑电信号的获取以及分类方法的应用，有效的脑电信号、性能优异的分类方法是脑-计算机接口的关键。P300脑电信号与SSVEP属于同一范式，相对于SSVEP信号，P300脑电信号对视觉刺激器的频率要求不再严格，同时P300脑电信号容易获取，因此逐渐成为脑-计算机接口技术的研究热点。传统的基于P300脑电信号的脑电分类方法有LDA(LinearDiscriminantAnalysis),SWLDA(Step-wiseLinearDiscriminantAnalysis),SKLDA(ShrinkageLinearDiscriminantAnalysis),SVM(SupportVectorMachine)。相对于运动想象与SSVEP，基于P300脑电信号的分类方法已经取得了较好的效果，分类准确率能够达到90％左右。但是，传统的分类方法也存在很多不足之处：容易产生小样本问题、对训练样本的需求量过大、系统不够稳定等。

综上所述，现有的脑-计算机接口存在以下不足：

1基于运动想象或SSVEP的脑-计算机接口稳定性差，信号检测准确率低，一般在80％以下；

2基于P300脑电信号的传统分类方法训练时间较长、训练样本需求大；

3基于P300脑电信号的传统分类方法存在小样本问题，当样本数量小于样本维度时准确率急速下降；

4基于P300信号的传统分类方法在足够样本情况下可以得到较好的分类准确率，而当样本较少时准确度效果不好；

为了解决以上问题，我们摒弃传统方法思想，提出一种新的基于卷积神经网络的P300脑电信号检测方法。

发明内容

本发明的目的在于针对上述传统方法的不足，提出一种基于卷积神经网络的P300脑电信号检测方法，该方法可以有效地消除小样本问题，并且在样本较少时可以得到较好的分类效果，当样本数量足够时，可以达到95％以上的分类准确率。将该方法应用到脑-计算机接口上，可以很好地弥补现有脑-计算机接口的缺陷，从而达到良好的体验效果。

卷积神经网络主要包括卷积与下采样两个过程。如图1所示，用一个5×5大小的可训练的滤波器f_x卷积输入特征图，同时加一个偏置b_x,然后通过Relu激活函数，得到卷积层c_x。子采样层包括：将相邻四个像素求和变成一个像素，然后乘以特征权重w_x+1，增加偏置b_x+1，最后通过Relu激活函数得到结果。

为了实现上述目的，本发明采用如下技术方案：

一种基于卷积神经网络的P300脑电信号检测方法，具体步骤如下：

(1)通过6×6的视觉刺激器产生P300脑电信号，利用EPOC设备获取信号并采用6阶Butterworth滤波器其进行预处理，获取6-15Hz内的低频信号；

(2)随机打乱原始样本，将采样得到的五维信号重构为常见的两维矩阵信号，通过加权平均增大信噪比，减少噪声对信号的影响；

(3)设计网络结构，选用一个输入层、两个卷积层、两个下采样层、一个全连接层以及一个输出层，卷积核大小为5×5，下采样层大小为2×2；

(4)训练网络，采用平方误差代价函数N代表样本个数，c代表样本类数，表示第n个样本对应标签的第k维，表示第n个样本对应网络输出的第k个输出，循环执行以下操作：

如果该层为卷积层，用大小为5×5、步长为1的卷积核对上层进行卷积操作，提取样本特征，然后加上本层偏置b_x，并通过Relu激活函数后作为下层输出；如果该层为下采样层，将相邻四个像素点进行加权求和，然后通过权重参数W_x+1相乘，加上本层偏重b_x+1,通过激活函数后作为下层输入；

(5)卷积层与下采样层之后便是全连接层，最后得到结果输出，与标准结果相减得到误差代价函数，进行后向传播方法；

(6)测试网络，加入测试数据以及标签，对输出结果进行分析。

其中，步骤(5)的具体步骤为：

1)计算输出层即第n_l层的残差， 其中第n_l层表示输出层，表示输出层未经过激活函数的权重加权，h_w,b(x)表示输出结果，y表示标准输出，表示n_l层的第i个输出，表示求导；

2)计算l＝n_l-1,n_l-2,n_l-3,…,2各层的残差

如果第l层为卷积层，则l+1层为下采样层，由于卷积层与下采样层的特征图大小不同，所以下采样层需要先进行一个上采样的过程，使得第l层与第l+1层的特征图大小一致，然后计算残差，δ^l＝((w^l)^Tδ^(l+1))·f′(z^l),其中w^l为第l层的权重参数，δ^(l+1)为第l+1层的残差，f′(z^l)表示对第l层求导；

如果第l层为下采样层，则l+1层为卷积层，由于卷积层是由卷积核对下采样层不同的特征图进行卷积加偏置并通过激活函数得到的，所以需要找到卷积时的特征图组合方式，然后计算残差，δ^l＝((w^l)^Tδ^(l+1))·f′(z^l)

3)计算最终需要的偏导数值，并更新权重参数，

$w^l=w^l-a\[\left(\frac{1}{m}{\mathrm{\Δw}}^l\right)+{\mathrm{\λw}}^l\]$

$b^l=b^l-a\[\left(\frac{1}{m}{\mathrm{\Δb}}^l\right)\]$

其中，a为权重学习率，λ为权重衰减系数。

本发明借鉴图像识别的思想，将脑电信号样本当作一幅完整的图像。图像识别中习惯把图像分为长宽相等的方形图片，而由于脑电信号样本我们需要足够维度的信号才可以得到较好的分类效果，所以我们这里无法选用长宽相等的方形图片，但不影响分类效果。本发明的主要创新在于利用卷积神经网络在脑电信号中的应用，有效地解决了传统方法存在的小样本问题以及分类准确率不够理想的情况，在提高方法稳定性的情况下有效地提高了分类准确率。

本发明的有益效果：

1解决了传统方法存在的小样本问题；2增加了系统分类准确率，使脑-计算机接口系统更加完善；3系统训练完成以后，需要较短的时间完成分类结果，提高系统的时效性。

附图说明

图1是卷积与下采样过程示意图；

图2是本发明检测方法示意图；

图3是实验结果对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明主要借鉴卷积神经网络方法的权值共享与局部感受野思想。由于传统的神经网络权重参数繁多，当隐藏层数较多时，计算量巨大，而反向传播方法通过多层隐藏层之后对神经网络的影响也微乎其微，神经网络无法达到好的效果。卷积神经网络通过权值共享与局部感受野思想充分解决了这个不足。每个神经元对不同的特征图进行卷积时采用相同的卷积核，将大大减少权重参数；同时卷积核对特征图卷积时，设计卷积核的大小，每次提取特征图的局部特征。通过以上思想，我们对每层的神经网络进行相同的处理计算，同时利用随机梯度方法进行后向传播方法进行权重调优，最后将得到的全连接图像当作普通的神经网络进行处理，最终得到非常好的分类效果。

如图2所示，本发明的卷积神经网络特征提取分类方法，具体包括以下步骤：

(1)获取样本数据，采用6×6的矩阵视觉刺激器，进行1-12标号，每行或者每列随机闪烁，每次闪烁100ms,重复15次，采样频率为240Hz；

(2)进行信号预处理，假设样本表示为s(k)＝x(k)+n(k),s(k)为获取信号，x(k)为P300脑电信号，n(k)为噪音信号，采用6阶Butterworth滤波器，频率设为0.1-15Hz,过滤掉高频信号以及部分噪音。由于P300脑电信号随机性强、信号容易淹没在噪声中，所以对样本信号进行等权平均叠加滤波，进一步过滤噪音，增大信噪比，设N个样本原始信号：s_i(k)＝x(k)+n_i(k),x(k)是要提取的信号，n_i(k)为相互独立的白噪声，且n_i(k)与n_j(k)互不相关。采用等权平均叠加滤波： $\hat{x}\left(k\right)=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{s}_i\left(k\right)=x\left(k\right)+\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{n}_i\left(k\right),$ 可得噪声被缩小为原来的对处理后的样本信号进行下采样，原来的采样频率为240Hz,通过6阶下采样并经过700ms的时间窗，将每个样本定位28个值；

(3)设计网络结构，第一层为输入层，获取样本数据时我们采用16个信道，每个信道样本经过下采样为28个值，因此我们重构为28×16的图像。第二层为卷积层，采用5×5大小的卷积核，定义6个特征图，卷积核权重初始化为随机值，偏置初始化为0。第三层为下采样层，将相邻四个像素(2×2)加权求和，然后增加偏置b_x+1，通过Relu激活函数后，得到6个特征映射图。第四层为卷积层，采用5×5大小的卷积核，定义12个特征图，卷积核权重初始化为随机值，偏置初始化为0。第五层为下采样层，将相邻四个像素(2×2)加权求和，然后增加偏置b_x+1，通过Relu激活函数后，得到12个特征映射图。第六层为全连接层，将以上的特征图转换为向量形式。最后一层为输出层，得到我们需要的输出结果；

(4)训练网络，本发明采用平方误差代价函数作为评判标准， 其中N代表样本个数，c代表样本类数，表示第n个样本对应标签的第k维，表示第n个样本对应网络输出的第k个输出。

1)第二层为卷积层，每次输入一个样本图像，用大小为5×5、步长为1并且随机初始化的6个卷积核对输入图像进行卷积，得到6个特征图，其中，为第l层的第j个特征图，M_j为输入的特征图集合，这里只有一个输入图像，为本层选用的卷积核，为第l层偏置，f为激活函数Relu函数；

2)第三层为子采样层，由于有6个特征输入图，所以会得到6个特征输出图，其中，为第l层权重，down(.)表示一个下采样函数，这里是将相邻2×2个像素值等权平均为一个，所以下采样函数为常数

3)第四层为卷积层，此时的输入为上层的6个特征图,但是却不是与所有的特征图全连接卷积，而是与其中的几个相互组合连接。同样采用5×5大小的卷积核进行卷积， $x_j^l=f({\mathrm{\Σ}}_{i\∈M_j}{x}_i^{l-1}*k_{ij}^l+b_j^l),$ 同步骤1)；

4)第四层为子采样层， $x_j^l=f\left({\mathrm{\β}}_j^{l}down\right(x_j^{l-1})+b_j^l),$ 同步骤2)；

5)第五层为全连接层，其将第四层的12个特征图全连接，并转化为向量形式；

(5)第六层为输出层，通过sigmoid激活函数输出我们需要的分类结果,进行反向传播方法，调整各层权重参数，首先计算各层残差：

1)对于输出层n_l,我们可以直接算出网络产生的激活值与实际值之间的误差， ${{\mathrm{\δ}}_i}^{n_l}=\frac{\∂}{\∂{z_i}^{n_l}}\frac{1}{2}{\left|\right|y-h_{w,b}\left(x\right)\left|\right|}^2=-(y_i-{a_i}^{n_l})\·f^{\′}\left({z_i}^{n_l}\right).$ 其中第n_l层表示输出层，表示输出层未经过激活函数的权重加权，h_w,b(x)表示输出结果，y表示标准输出，表示n_l层的第i个输出，表示求导；

2)对于l＝n_l-1,n_l-2,n_l-3,…,2各层的残差，通用公式为 ${\mathrm{\δ}}_i^l=$ $\left({\left(w^l\right)}^T{\mathrm{\δ}}^{(l+1)}\right)\·f^{\′}\left(z^l\right)$

如果第l层为卷积层，该层下层为下采样层，采样层的一个像素对应卷积层的输出图的一块像素(2×2)，因此层l中的一个图的每个节点只与l+1层中相应图的一个节点连接，那么就出现大小不匹配现象。因此需要将下采样层进行上采样，表示第l+1层权重，up(.)表示一个上采样操作，这个函数可以用Kronecker乘积来实现，使得上采样后的图大小与卷积层图大小一样，通过原始公式计算残差δ^l＝((w^l)^Tδ^(l+1))·f′(z^l)；

如果第l层为下采样层，则第l+1层为卷积层，由于卷积层的输出图是由输入层的图组合以后进行卷积得到的，所以我们必须找到输入图的哪个patch对应输出图的哪个像素，另外需要乘以输入patch与输出像素之间连接的权值，这个权值实际上就是卷积核的权值(已旋转的),

conv2为卷积实现函数，rot180表示将卷积核翻转180度；

(6)计算最终需要的偏导数，并更新权重参数：

$w^l=w^l-a\[\left(\frac{1}{m}{\mathrm{\Δw}}^l\right)+{\mathrm{\λw}}^l\]$

$b^l=b^l-a\[\left(\frac{1}{m}{\mathrm{\Δb}}^l\right)\]$

1)对于卷积层，权重更新公式为

$\frac{\∂E}{\∂k_{ij}^l}=rot180\left(\mathrm{conv}2(x_i^{l-1},\mathrm{rot}180\left({\mathrm{\δ}}_i^l\right),\mathrm{valid}_{\′}^{\′})\right)$

2)对于子采样层，权重更新公式为

其中 $d_j^l=down\left(d_j^{l-1}\right)$

(7)测试网络，加入测试数据以及标签，对输出结果进行分析。

本发明的效果可以通过实验结果进一步说明。

实验的测试数据采用BCI竞赛的官方数据，我们选用185个字符的样本数据进行实验，其中160个字符的所有样本作为训练样本，25个字符的所有样本作为测试样本，等权平均叠加滤波为5次平均。图3给出了本发明提出的方法与传统方法(LDA)分类性能比较，由最终结果可见，采用本发明后，P300脑电信号的分类准确率明显提高。

Claims (2)

1.一种基于卷积神经网络的P300脑电信号检测方法，具体步骤如下：

(1)通过6×6的视觉刺激器产生P300脑电信号，利用EPOC设备获取信号并采用6阶Butterworth滤波器其进行预处理，获取6-15Hz内的低频信号；

(2)随机打乱原始样本，将采样得到的五维信号重构为常见的两维矩阵信号，通过加权平均增大信噪比，减少噪声对信号的影响；

(3)设计网络结构，选用一个输入层、两个卷积层、两个下采样层、一个全连接层以及一个输出层，卷积核大小为5×5，下采样层大小为2×2；

(4)训练网络，采用平方误差代价函数N代表样本个数，c代表样本类数，表示第n个样本对应标签的第k维，表示第n个样本对应网络输出的第k个输出，循环执行以下操作：

如果该层为卷积层，用大小为5×5、步长为1的卷积核对上层进行卷积操作，提取样本特征，然后加上本层偏置b_x，并通过Relu激活函数后作为下层输出；如果该层为下采样层，将相邻四个像素点进行加权求和，然后通过权重参数W_x+1相乘，加上本层偏重b_x+1,通过激活函数后作为下层输入；

(5)卷积层与下采样层之后便是全连接层，最后得到结果输出，与标准结果相减得到误差代价函数，进行后向传播方法；

(6)测试网络，加入测试数据以及标签，对输出结果进行分析。

2.如权利要求1所述的方法，其中步骤(5)的具体步骤为：

1)计算输出层即第n_l层的残差， 其中第n_l层表示输出层，表示输出层未经过激活函数的权重加权，h_w,b(x)表示输出结果，y表示标准输出，表示n_l层的第i个输出，表示求导；

2)计算l＝n_l-1,n_l-2,n_l-3,…,2各层的残差

如果第l层为卷积层，则l+1层为下采样层，由于卷积层与下采样层的特征图大小不同，所以下采样层需要先进行一个上采样的过程，使得第l层与第l+1层的特征图大小一致，然后计算残差，δ^l＝((w^l)^Tδ^(l+1))·f′(z^l),其中w^l为第l层的权重参数，δ^(l+1)为第l+1层的残差，f′(z^l)表示对第l层求导；

如果第l层为下采样层，则l+1层为卷积层，由于卷积层是由卷积核对下采样层不同的特征图进行卷积加偏置并通过激活函数得到的，所以需要找到卷积时的特征图组合方式，然后计算残差，δ^l＝((w^l)^Tδ^(l+1))·f′(z^l)

3)计算最终需要的偏导数值，并更新权重参数，

其中，a为权重学习率，λ为权重衰减系数。