CN110222643B - 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法 - Google Patents

Abstract

一种基于卷积神经网络的稳态视觉诱发电位信号分类方法，先将以不同频率翻转运动的棋盘格刺激同时呈现给使用者，使用脑电采集设备采集使用者注视特定目标时的脑电信号；然后将使用者注视不同刺激目标时的原始多通道脑电信号做成带标签的数据集，并将数据集分为训练集、验证集和测试集；再将训练集输入设计好的深度卷积神经网络模型进行训练，同时使用验证集进行网络最优参数选择，最后将测试集输入到训练好的深度卷积神经网络模型中，完成刺激目标的识别；本发明可实现稳态视觉诱发电位信号的精确识别，具有自适应提取信号特征的特点，不需要人工预处理，同时可以通过对数据的学习，更好地适应个体差异性。

Description

一种基于卷积神经网络的稳态视觉诱发电位信号分类方法

技术领域

本发明涉及稳态视觉诱发电位脑-机接口技术领域，尤其涉及一种基于卷积神经网络的稳态视觉诱发电位信号分类方法。

背景技术

脑-机接口(brain-computer interface,BCI)是一种不依赖于大脑正常输出通路，而直接实现大脑与计算机等外部设备进行通信的技术，该技术为重度瘫痪病人提供了一种全新的与外界环境进行交流与控制的手段，如通过大脑意念操控轮椅等。常用的脑-机接口信号类型有稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)、运动想象、P300等，其中SSVEP具有稳定性强、操作简单等优势，成为一种被广泛应用的脑-机接口输入信号。

SSVEP是大脑视觉系统对外部周期性视觉刺激的响应，当使用者注视以特定频率闪烁的视觉刺激时，在其大脑皮层视觉区会检测到刺激频率的基频或倍频的脑电信号。基于SSVEP的脑-机接口系统以不同频率表征的周期性视觉刺激目标代表不同的控制指令，当使用者想要执行某项命令时，只需注视相对应刺激目标，系统检测其脑电信号，并对其诱发的SSVEP进行识别分类，即可获得使用者的控制意图。由于诱发的SSVEP属于微弱信号，容易受到肌电、自发脑电等背景噪声的影响，因此如何有效地对脑电信号进行识别，成为脑-机接口系统应用中的关键技术。

传统的SSVEP信号分类一般通过手工提取脑电信号的频域或时频域特征信息，然后对特征向量进行有监督分类的方式来实现。这些传统的信号处理方法一般需要较长时间视觉刺激下才能取得较好的分类效果，导致其识别效率低下；而且这些方法使用手工提取特征容易导致信息丢失，对不同使用者运用相同的识别方法，未考虑到个体差异性，因此识别准确率偏低，限制了SSVEP-BCI的工程应用。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于卷积神经网络的稳态视觉诱发电位信号分类方法，有效地提升了SSVEP信号分类的准确率和速度。

为了达到上述目的，本发明采用的技术方案为：

一种基于卷积神经网络的稳态视觉诱发电位信号分类方法，包括以下步骤：

步骤1：采用以周期进行正弦或余弦翻转运动的棋盘格作为刺激目标，用以诱发SSVEP信号，将以不同频率周期翻转运动的刺激目标同时呈现在显示器上，供使用者选择，刺激目标的设计及呈现均由基于MATLAB的Psychtoolbox工具箱实现；

步骤2：使用者端坐在距离显示器60～100cm处，当以不同周期频率运动的刺激目标同时呈现在显示器上时，使用者选择注视其中某个特定目标，同时使用脑电信号采集仪采集使用者选择特定刺激目标注视时的SSVEP信号，根据国际标准10/20系统法，SSVEP信号采集视觉脑区A1、A2、…、An电极位置处的脑电信号，接地电极在前额的Fpz处，参考电极在单侧耳乳突D处；

步骤3：将采集到的不同刺激目标时使用者的SSVEP信号做成带标签的数据集，数据集的标签编码采用one-hot编码，并将数据集分为训练数据集、验证数据集与测试数据集；

步骤4：构建用于SSVEP信号识别的深度卷积神经网络模型；

步骤5：进行深度卷积神经网络模型的训练，将训练集输入构建好的深度卷积神经网络模型中进行网络的训练，同时使用验证集来进行深度卷积神经网络模型最优参数的选择；

步骤6：将测试集数据输入训练好的深度卷积神经网络进行刺激目标的识别分类，检测深度卷积神经网络模型的分类性能，深度卷积神经网络模型能够进一步用于SSVEP信号的在线识别。

所述的步骤4中的深度卷积神经网络模型，具体为：

4-1)深度卷积神经网络模型的第一层为输入层，输入的为原始多通道SSVEP信号，输入样本矩阵大小为通道数n×数据采样长度m；

4-2)深度卷积神经网络模型的第二层为时域卷积层，用来对输入的SSVEP信号进行时域滤波，使用一维卷积核对输入矩阵进行时域卷积；

4-3)深度卷积神经网络模型的第三层为空域卷积层，使用一维卷积核对上一层的输出进行空域卷积，将多通道的信息进行融合，使用线性整流函数ReLU作为激活函数；

4-4)深度卷积神经网络模型的第四层为降采样层，对上一层的输出进行数据降维，降采样操作采用平均池化方法，使用线性整流函数ReLU作为激活函数；

4-5)深度卷积神经网络模型的第五层为Inception模块层，Inception模块层用来对上一层的输出进行多尺度卷积，以提取不同尺度的特征；

4-6)深度卷积神经网络模型的第六层为降采样层，对上一层的输出进行数据降维，降采样操作采用平均池化方法，使用线性整流函数ReLU作为激活函数；同时使用Dropout方法防止过拟合，最后将降采样后的数据进行扁平化Flatten处理，使多维数据变为一维向量；

4-7)深度卷积神经网络模型的第七层为输出层，将池化层输出的一维向量与输出层节点全连接，使用Softmax函数计算输入对应分类标签的概率分布；

4-8)在深度卷积神经网络模型中每层卷积层之后还添加有BatchNorm层，以加快训练收敛速度。

与现有技术相比，本发明的有益效果为：

本发明以多通道原始脑电信号为输入，根据SSVEP信号兼具时、频、空域特征的特点，提出先时域后空域卷积的时空分离卷积操作，使用Inception模块提取不同尺度的特征，对于较短时间刺激，具有明显的识别优势，同时具有较高的鲁棒性，可实现SSVEP信号的精确识别，同时具有较高的信息传输率，提高了脑-机接口系统的应用性能。

本发明方法具有自适应提取信号特征的特点，不需要人工预处理，同时可以通过对数据的学习，更好地适应个体差异性。

附图说明

图1为本发明方法的流程图。

图2为本发明实施例的实验刺激范式图，其中(a)为刺激目标的分布图，图(b)为刺激时序图。

图3为本发明实施例构建的卷积神经网络模型的结构示意图。

图4为本发明实施例Inception模块结构示意图。

图5为本发明实施例方法和典型相关分析(CCA)方法、CCA结合支持向量机方法实验结果对比图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

如图1所示，一种基于卷积神经网络的稳态视觉诱发电位信号分类方法，包括以下步骤：

步骤1，如图2(a)所示，四个以不同周期频率运动的刺激目标同时呈现在显示器上时，四个刺激目标的频率分别为左6Hz、右7Hz、上8Hz、下9Hz，刺激目标的设计及呈现均由基于MATLAB的Psychtoolbox工具箱实现；

步骤2，使用者选择注视其中某个特定目标，同时使用脑电信号采集仪采集此时使用者的SSVEP信号，根据国际标准10/20系统法，SSVEP信号采集视觉脑区PO3、POz、PO4、O1、Oz、O2电极位置处的脑电信号，接地电极在前额的Fpz处，参考电极在右耳乳突D1处；实验在安静的房间中进行，使用者端坐在离显示器约80cm处，在每轮实验中，使用者被要求注视显示器上的特定目标，避免身体的移动；每名使用者依次注视以6Hz、7Hz、8Hz、9Hz运动的刺激目标，每个刺激目标呈现80次，每连续20次为一轮，每轮实验后给予使用者一定的休息时间；每轮实验的时序安排如图2(b)所示，每轮刺激中，单次刺激目标呈现的时间为5s，随后显示器灰屏1s，然后进行下一次刺激呈现；

步骤3：将采集到的不同刺激目标时使用者的SSVEP信号做成带标签的数据集，其中标签编码采用one-hot编码，并将数据集的60％划分为训练数据集，20％为验证数据集，20％为测试数据集；

步骤4：构建用于SSVEP信号识别的深度卷积神经网络模型，如图3所示，具体为：

4-1)深度卷积神经网络模型的第一层为输入层，输入的为原始多通道SSVEP信号，输入样本矩阵大小为6×1200，即采样率为1200Hz时，1秒的实验数据；

4-2)深度卷积神经网络模型的第二层为时域卷积层，用来对输入的SSVEP信号进行时域滤波，使用一维卷积核对输入矩阵进行时域卷积，卷积核为8个大小为1×600一维时间卷积核；

4-3)深度卷积神经网络模型的第三层为空域卷积层，使用一维卷积核对上一层的输出进行空域卷积，将多通道的信息进行融合，使用线性整流函数(ReLU)作为激活函数，卷积核为16个大小为6×1一维空间卷积核；

4-4)深度卷积神经网络模型的第四层为降采样层，对上一层的输出进行数据降维，降采样操作采用平均池化方法，使用线性整流函数(ReLU)作为激活函数，卷积核为大小为1×4一维降采样卷积核；

4-5)深度卷积神经网络模型的第五层为Inception模块层，Inception模块层用来对上一层的输出进行多尺度卷积，以提取不同尺度的特征，如图4所示，包括三个1×1的卷积核，一个1×8的卷积核，一个1×16的卷积核，一个1×8的最大池化卷积核以及一个特征拼接层。其中，在所述1×16，1×8的卷积核前方分别使用一个1×1的卷积核，在1×8的最大池化卷积核后使用一个1×1的卷积核，用来降低维度，减少参数和计算量；

4-6)深度卷积神经网络模型的第六层为降采样层，对上一层的输出进行数据降维，降采样操作采用平均池化方法，使用线性整流函数(ReLU)作为激活函数。卷积核为大小为1×6一维降采样卷积核，同时使用Dropout方法防止过拟合，最后将降采样后的数据进行扁平化(Flatten)处理，使多维数据变为一维向量；

4-7)深度卷积神经网络模型的第七层为输出层，输出层有4个节点，代表四分类问题，对应四个不同的SSVEP刺激频率，将池化层输出的一维向量与输出层节点全连接，使用Softmax函数计算输入对应分类标签的概率分布；

4-8)在深度卷积神经网络模型中每层卷积层之后添加有BatchNorm层，以加快训练收敛速度；

步骤5：进行深度卷积神经网络模型的训练，将训练集输入构建好的深度卷积神经网络模型中进行网络训练，网络训练过程采用小批量(mini-batch)训练，每次训练输入批量数据大小为32个样本，权值的优化调整采用Adam随机梯度下降法，学习率设置为0.001，设置Dropout比率为0.5，最大迭代次数设置为400，同时使用验证集来进行深度卷积神经网络模型最优参数的选择，通过训练过程的验证集损失曲线来判断深度卷积神经网络模型是否训练终止；

步骤6：将测试集数据输入训练好的深度卷积神经网络模型进行刺激目标的识别分类，检测深度卷积神经网络模型的分类性能，深度卷积神经网络模型可进一步用于SSVEP信号的在线识别。

如图5所示，在不同时间窗长刺激时，使用三种不同识别方法，4名使用者的准确率及平均准确率，本发明方法在识别1秒时间窗长刺激时的平均识别正确率超过96％，与常用的典型相关分析(CCA)方法及CCA结合支持向量机方法比较，识别正确率及识别速度均有了较大的提高。

Claims (1)

1.一种基于卷积神经网络的稳态视觉诱发电位信号分类方法，其特征在于，包括以下步骤：

步骤1：采用以周期进行正弦或余弦翻转运动的棋盘格作为刺激目标，用以诱发SSVEP信号，将以不同频率周期翻转运动的刺激目标同时呈现在显示器上，供使用者选择，刺激目标的设计及呈现均由基于MATLAB的Psychtoolbox工具箱实现；

步骤2：使用者端坐在距离显示器60～100cm处，当以不同周期频率运动的刺激目标同时呈现在显示器上时，使用者选择注视其中某个特定目标，同时使用脑电信号采集仪采集使用者选择特定刺激目标注视时的SSVEP信号，根据国际标准10/20系统法，SSVEP信号采集视觉脑区A1、A2、…、An电极位置处的脑电信号，接地电极在前额的Fpz处，参考电极在单侧耳乳突D处；

步骤3：将采集到的不同刺激目标时使用者的SSVEP信号做成带标签的数据集，数据集的标签编码采用one-hot编码，并将数据集分为训练数据集、验证数据集与测试数据集；

步骤4：构建用于SSVEP信号识别的深度卷积神经网络模型；

步骤5：进行深度卷积神经网络模型的训练，将训练集输入构建好的深度卷积神经网络模型中进行网络的训练，同时使用验证集来进行深度卷积神经网络模型最优参数的选择；

步骤6：将测试集数据输入训练好的深度卷积神经网络直接进行刺激目标的识别分类，检测深度卷积神经网络模型的分类性能，深度卷积神经网络模型能够进一步用于SSVEP信号的在线识别；

其中，所述方法通过训练好的卷积神经网络提升SSVEP信号分类的准确率和速度；

所述方法以多通道原始脑电信号为输入，根据SSVEP信号兼具时、频、空域特征的特点，提出先时域后空域卷积的时空分离卷积操作，使用Inception模块提取不同尺度的特征；

所述方法具有自适应提取信号特征的特点，不需要人工预处理，同时可以通过对数据的学习，更好地适应个体差异性；

其中，所述的步骤4中的深度卷积神经网络模型，具体为：

4-1)深度卷积神经网络模型的第一层为输入层，输入的为原始多通道SSVEP信号，输入样本矩阵大小为通道数n×数据采样长度m；

4-2)深度卷积神经网络模型的第二层为时域卷积层，用来对输入的SSVEP信号进行时域滤波，使用一维卷积核对输入矩阵进行时域卷积；

4-3)深度卷积神经网络模型的第三层为空域卷积层，使用一维卷积核对上一层的输出进行空域卷积，将多通道的信息进行融合，使用线性整流函数ReLU作为激活函数；

4-4)深度卷积神经网络模型的第四层为降采样层，对上一层的输出进行数据降维，降采样操作采用平均池化方法，使用线性整流函数ReLU作为激活函数；

4-5)深度卷积神经网络模型的第五层为Inception模块层，Inception模块层用来对上一层的输出进行多尺度卷积，以提取不同尺度的特征；

4-6)深度卷积神经网络模型的第六层为降采样层，对上一层的输出进行数据降维，降采样操作采用平均池化方法，使用线性整流函数ReLU作为激活函数；同时使用Dropout方法防止过拟合，最后将降采样后的数据进行扁平化Flatten处理，使多维数据变为一维向量；

4-7)深度卷积神经网络模型的第七层为输出层，将池化层输出的一维向量与输出层节点全连接，使用Softmax函数计算输入对应分类标签的概率分布；

4-8)在深度卷积神经网络模型中每层卷积层之后还添加有BatchNorm层，以加快训练收敛速度。

Images