CN113995423B - 基于相位保持网络的连续快速视觉演示脑电信号分类方法 - Google Patents

Abstract

本发明公开了一种基于相位保持网络的连续快速视觉演示脑电信号分类方法，主要解决现有技术检测准确率低，难以实现用户完成目标检测的问题。其实现方案是：采集连续快速视觉演示脑电数据，并对其进行预处理；使用预处理后的脑电数据制作数据集；构建相位保持网络，并使用训练集和验证集训练相位保持网络，使用测试集测试相位保持网络，使用被试者的脑电数据微调测试后的相位保持网络，得到适合被试者进行在线实验的最终相位保持网络；实时获取被试者的在线连续快速视觉演示脑电信号，送入最终的相位保持网络，得到实时分类结果。本发明提高了对连续快速视觉演示脑电信号的分类准确率，可用于目标检测，帮助图片侦察人员对大量图片进行有效的分类。

Description

基于相位保持网络的连续快速视觉演示脑电信号分类方法

技术领域

本发明属于信号处理技术领域，特别涉及一种脑电信号的分类方法，可用于目标检测。

背景技术

随着社会信息技术的不断进步，导致信息超载问题日益严重。由于图片和视频数据存储库正在以指数级别的速度增长，这些数据存储库的规模、多样性以及“感兴趣目标”的潜在稀疏性给目标的有效检索带来了困难。连续快速视觉演示RSVP是在近年来脑机接口BCI技术不断发展的环境下，结合人类视觉系统与大脑皮层的事件相关电位ERP而衍生出的一种BCI范式，常用于帮助专业人员，如卫星图片侦察人员对大量图片进行有效的分类。

连续快速视觉演示脑电信号分类主要包括传统的共空间模式CSP方法和卷积神经网络方法。CSP的主要思路是结合类别信息有监督地分解多组信号的协方差矩阵，找出最佳空间投影方向对输入信号进行差异化投影，将投影过信号的归一化方差作为特征向量输入到分类器。由于CSP基本忽略了信号的视频特性，只关注相对的空间特性而忽略频谱特征，因而导致CSP方法容易受到噪声和脑电信号的非平稳性影响。

随着深度学习的发展，基于神经网络的连续快速视觉演示脑电信号分类方法也被提出。卷积神经网路是对输入的网络数据进行滑动卷积操作，单次滑动过程中使用相同的卷积核。卷积操作完成特征提取后，将特征送入全连接层实现分类。其中具有代表性的有Schirrmeister等人在"Deep learning with convolutional neural networks for EEGdecoding and visualization."一文中提出的ShallowNet，以及Lawhern Vernon等人在"EEGNet:a compact convolutional neural network for EEG-based brain-computerinterfaces."一文中提出的EEGNet等深度学习方法。这两种方法均采用时域卷积和空间卷积，由卷积操作得到特征后，经过加工单元处理再送入卷积分类器实现分类。由于已有的神经网络方法没有在滤波器的设计和神经网络结构设计方面考虑时域中的相位信息，导致无法充分提取脑电信号特征，影响最终分类结果。

发明内容

本发明的目的在于针对上述传统方法和已有深度学习方法的不足，提出一种基于相位保持网络的连续快速视觉演示脑电信号分类方法，以保持脑电信号的相位信息，提升连续快速视觉演示脑电信号的分类效果。

本发明的技术方案是这样实现的：

一.技术原理

神经科学的研究已经证明了由罕见刺激诱发的事件相关电位ERP信号的锁相特性，通过相位保持网络来学习相位信息，可以改善连续快速视觉演示脑电信号的分类效果。这种相位信息从滤波器设计和神经网络结构设计两个角度来研究，通过零相位滤波可以实现在滤波器设计角度的相位保持，通过拓展的时域卷积可以确保在神经网络结构设计角度的相位信息。

二.实现方案

根据上述原理，本发明的技术思路是：对多通道脑电信号做预处理，利用相位保持神经网络完成对脑电信号的识别，其实现方案如下：

(1)采集多名被试者脑电信号，获得训练集、验证集和测试集：

多名被试者佩戴电极帽，通过预备、观看、间歇、等待四种状态完成连续快速视觉演示实验，在连续快速视觉演示过程中，通过电极帽上的电极采集被试者的脑电信号；

将采集的多名被试者脑电信号合成一个数据集，对这个数据集依次进行数据段选取、零相位滤波、降采样、归一化处理后，得到预处理后的脑电信号，

将预处理后的脑电信号按照7:1.5:1.5的比例分为训练集、验证集和测试集；

(2)构建相位保持网络：

建立由多个扩展时间卷积层级联成的时间动态提取单元，以通过膨胀卷积维护脑电信号在时间维度上的排列，保持脑电信号中的相位信息，提取脑电信号的时间维度的特征；

将时间动态提取单元与浅层卷积网络中的通道相关性提取单元、分类单元依次相连，构成相位保持网络；

(3)使用训练集通过梯度下降法对相位保持网络进行迭代训练，并使用验证集对每次的训练结果进行检验，得到训练后的相位保持网络；

(4)网络测试：

使用测试集对训练后的相位保持网络进行测试，得到一个在离线数据集上表现良好的测试后相位保持网络；

(5)网络微调：

对上述多名被试者，分别单独使用每一名被试者的脑电信号对测试后相位保持网络进行微调，得到适合每一名被试者在线实验的理想相位保持网络；

(6)在线实时检测：

再次采集上述每一名被试者的脑电信号，进行在线实时检测，即先将采集的每一名被试者脑电信号依次进行数据段选取、零相位滤波、降采样和归一化处理的预处理；再将预处理后的脑电信号送入微调后的理想相位保持网络，得到每一位被试者的脑电信号实时分类结果。

本发明与现有技术相比具有以下优点：

第一，本发明由于采用端对端的网络设计方法，因而只需对脑电信号进行简单的预处理即可输入网络进行分类。

第二，本发明由于时间动态提取单元采用膨胀时间卷积，能够更加充分保留脑电信号在时域的相位信息，从而提高了脑电信号的识别准确率。

第三，本发明由于构建了由时间动态提取单元、通道相关性提取单元、分类单元依次相连的相位保持网络结构，使得各个单元可以针对不同分类任务进行调整，具有可移植性。

附图说明

图1为本发明的实现流程框图。

图2为本发明中采集脑电信号的任务时序图。

图3为本发明中进行连续快速视觉演示任务的目标与非目标样图。

图4为本发明中构建的相位保持网络结构框图。

具体实施方式

以下结合附图对本发明的实施例和效果进行详细的描述。

参照图1，本实例的实施步骤包括如下：

步骤1，采集连续快速视觉演示脑电数据。

参照图2，本步骤的实现如下：

(1.1)实验前准备

确定多名被试者参与连续快速视觉演示实验，所有被试者均为正常或矫正视力正常的学生。他们中没有人报告有神经系统问题或严重疾病史，以避免影响实验结果，本实例选8名被试者；

实验程序在开始前，向每位被试者清楚描述实验注意事项，所有被试者都签署了书面同意书。。

被试者佩戴64脑电通道电极帽，采样率为1024Hz，并打上脑电膏使得每个电极的阻抗保持在25kΩ以下，以确保得到高质量的脑电信号。

(1.2)开始实验

被试者进行连续快速视觉演示实验，同时通过电极帽上的电极采集被试者的脑电数据，每一次实验按时间先后共有四种状态，分别为：预备状态，观看状态，间歇状态，等待状态，其中：

预备状态时，首先屏幕会出现十字准星便于被试者集中注意力等待连续观看图片序列，2s后进入图片序列的播放；

观看状态时，参照图3中的图片样式，其中图3a为非目标图像，图3b为目标图像，本实例共收集了400幅目标图像和800幅非目标图像，每次从中挑选4张目标图像，46张非目标图像，这50幅图像以5Hz的频率随机顺序出现在屏幕中央；在观看状态中，每显示50幅图像后会有一个间歇状态，便于被试者调整状态；

完成10次观看之后，会进入等待状态，用于被试者休息，调整好自己的状态，4s之后，进入下一次实验；

循环往复30次；

本实例共采集1200个单试次样本。

步骤2，对采集的脑电信号进行预处理。

本步骤的具体实现是先在采集的脑电数据中选择数据段，再对数据段进行零相位滤波，然后对滤波后的数据进行降采样操作，最后对降采样后的数据进行归一化，得到预处理后的脑电数据。

所述数据段选取，是在采集的脑电信号中选取[0s，1s]区间共1秒的数据，即选取连续快速视觉演示目标或非目标出现开始到开始后1秒的时段数据；

所述零相位滤波，是将选取的时段数据使用截止频率为0.1-48Hz的六阶巴特沃斯带通滤波器进行零相位滤波，以避免信号失真；

所述降采样，是将滤波后数据的采样率降到256Hz；

所述归一化，是使用Z评分方法对降采样后的数据进行归一化。

步骤3，制作数据集。

将预处理后的脑电数据按照7:1.5:1.5的比例分为训练集、验证集和测试集，本实例是将采集到的1200个样本中的840个样本归为训练集，180个样本归为验证集，剩余的180个样本归为测试集。

步骤4，构建相位保持网络

参考图4，本实例中构建的相位保持网络是由时间动态提取单元，通道相关性提取单元、分类单元依次连接构成，其中：

时间动态提取单元，由多个扩展时间卷积层级联而成，每一层通过采用膨胀时间卷积来获得更大的感受野的同时严格维护脑电信号中的相位信息；其中膨胀时间卷积通过在内核元素之间插入孔来膨胀内核，且在内核元素之间插入孔的数量随着层数的增加以指数的速度增长。

通道相关性提取单元，用于对不同的脑电通道采用空间卷积运算，空间卷积核大小设置为1*C，C与脑电信号的通道数相同，空间卷积核的数量设置为16；

分类单元，其采用卷积分类器，用于对处理后的特征进行分类。

步骤5，训练相位保持网络。

(5.1)设置训练参数：

设置训练次数为150，单次样本输入量为4，损失函数为交叉熵损失函数，优化器采用自适应矩估计优化器，学习率初始为0.001；

(5.2)更新相位保持网络参数：

(5.2.1)每次从训练集中取4个单试次样本送入构建好的相位保持网络，先对样本数据进行时间动态提取，接着进行通道相关性提取，得到脑电信号特征，再将脑电信号特征送入卷积分类器进行分类；

(5.2.2)根据分类结果和样本真实标签计算出交叉熵损失，再由自适应矩估计优化器根据交叉熵损失对相位保持网络中的卷积层和批归一化层中的参数进行更新；

(5.2.3)遍历训练集中的所有样本，完成一次训练，每迭代训练10次，计算相位保持网络在训练集和验证集上的准确率；

(5.2.4)将相位保持网络在训练集和测试集上的准确率进行比较：

若该网络在训练集上的准确率比验证集上的准确率高20％以上，则是出现了过拟合，此时降低学习率至当前值的90％，返回(5.2.1)，重新进行训练；

若该网络在训练集和测试集的准确率相差在20％以内，则停止训练，得到训练后的相位保持网络。

步骤6，测试相位保持网络。

将测试集中的脑电数据直接送入训练后的相位保持网络进行分类，得到分类结果，然后对分类结果进行统计，得到网络在测试集上的分类准确率。

步骤7，微调测试后的相位保持网络。

将相位保持网络中时间动态提取单元、通道相关性提取单元和分类单元的学习率分别调整为原来的1/27、1/9、1/3；

利用调整后的学习率，使用当前被试者脑电数据对测试后的相位保持网络进行微调，以得到适合当前被试者进行在线实验的相位保持网络。

步骤8，实时获取脑电信号。

给上述每一名被试者佩戴电极帽，根据连续快速视觉演示实验范式进行目标和非目标检测任务，并实时通过电极帽上的电极再次采集被试者的脑电信号，采集使用64个头皮脑电EEG通道，采样率为1024Hz。

每一名被试者每次实验采集40个脑电信号样本，共进行10次实验，共采集400个实时单试次样本。

步骤9，实时分类。

按照与上述步骤2相同的方法对实时获取的被试者脑电信号进行预处理，并将预处理后的脑电信号送入到上述经过训练、测试、微调后的相位保持网络，得到脑电信号实时分类结果。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明的内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于相位保持网络的连续快速视觉演示脑电信号分类方法，其特征在于，包括：

(1)采集多名被试者脑电信号，获得训练集、验证集和测试集：

多名被试者佩戴电极帽，通过预备、观看、间歇、等待四种状态完成连续快速视觉演示实验，在连续快速视觉演示过程中，通过电极帽上的电极采集被试者的脑电信号；

将采集的多名被试者脑电信号合成一个数据集，对这个数据集依次进行数据段选取、零相位滤波、降采样、归一化处理后，得到预处理后的脑电信号，

将预处理后的脑电信号按照7:1.5:1.5的比例分为训练集、验证集和测试集；

(2)构建相位保持网络：

建立由多个扩展时间卷积层级联成的时间动态提取单元，以通过膨胀卷积维护脑电信号在时间维度上的排列，保持脑电信号中的相位信息，提取脑电信号的时间维度的特征；

将时间动态提取单元与浅层卷积网络中的通道相关性提取单元、分类单元依次相连，构成相位保持网络；

所述时间动态提取单元，包括多个扩展时间卷积层，每层通过在内核元素之间插入孔的方式进行级联，以获得在更大感受野的同时严格维护脑电信号中的相位信息；其中膨胀时间卷积通过在内核元素之间插入孔来膨胀内核，且在内核元素之间插入孔的数量随着层数的增加以指数的速度增长；

(3)使用训练集通过梯度下降法对相位保持网络进行迭代训练，并使用验证集对每次的训练结果进行检验，得到训练后的相位保持网络；

(4)网络测试：

使用测试集对训练后的相位保持网络进行测试，得到一个在离线数据集上表现良好的测试后相位保持网络；

(5)网络微调：

对上述多名被试者，分别单独使用每一名被试者的脑电信号对测试后相位保持网络进行微调，得到适合每一名被试者在线实验的理想相位保持网络；

(6)在线实时检测：

再次采集上述每一名被试者的脑电信号，进行在线实时检测，即先将采集的每一名被试者脑电信号依次进行数据段选取、零相位滤波、降采样和归一化处理的预处理；再将预处理后的脑电信号送入微调后的理想相位保持网络，得到每一位被试者的脑电信号实时分类结果。

2.根据权利要求1所述的方法，其特征在于，(1)中多名被试者佩戴电极帽，通过预备、观看、间歇、等待四种状态完成连续快速视觉演示实验，其实现如下：

实验开始后，被试者进入预备状态，显示器中央会出现十字准星以提示被试者集中注意力，2秒后进入图片序列的播放；

被试者进入观看状态后，50幅分辨率相同的图像以5Hz的频率连续出现在屏幕中央；

完成观看状态后，被试者进入间歇状态，屏幕显示全黑2秒，被试者调整自身状态，以进入下一次观看的预备状态；

完成10次观看之后，被试者进入等待状态，4秒后进入下一次实验；

循环往复30次。

3.根据权利要求1所述的方法，其特征在于，(1)中对采集的数据集依次进行数据段选取、零相位滤波、降采样、归一化处理，实现如下：

数据段选取，是在采集的脑电信号中选取[0s，1s]区间共1秒的数据，即选取连续快速视觉演示目标或非目标出现开始到开始后1秒的时段数据；

零相位滤波，是将选取的时段数据使用截止频率为0.1-48Hz的六阶巴特沃斯带通滤波器进行零相位滤波，以避免信号失真；

降采样，是将滤波后数据的采样率降到256Hz；

归一化，是使用Z评分方法对降采样后的数据进行归一化。

4.根据权利要求1所述的方法，其特征在于，(3)中使用训练集通过梯度下降法对相位保持网络进行迭代训练，并使用验证集对每次的训练结果进行检验，实现如下：

(3a)设置训练参数：

设置训练次数为150，单次样本输入量为4，损失函数为交叉熵损失函数，优化器采用自适应矩估计优化器，学习率初始为0.001；

(3b)更新相位保持网络参数：

(3b1)每次从训练集中取4个单试次样本送入构建好的相位保持网络，先对样本数据进行时间动态提取，接着进行通道相关性提取，得到脑电信号特征，再将脑电信号特征送入分类单元进行分类，得到分类结果；

(3b2)根据分类结果和样本真实标签计算出交叉熵损失，再由自适应矩估计优化器根据交叉熵损失对相位保持网络中的参数进行更新；

(3b3)遍历训练集中的所有样本，完成一次训练，每迭代训练10次，计算相位保持网络在训练集和验证集上的准确率,将这两者的准确率进行比较：

若该网络在训练集上的准确率比验证集上的准确率高20％以上，则是出现了过拟合，此时调整学习率为当前值的90％，返回(3b1)，重新进行训练；

若该网络在训练集上的准确率与验证集上的准确率相差在20％以内，则停止训练，得到训练后的相位保持网络。

5.根据权利要求1所述的方法，其特征在于，(4)中使用测试集对训练后的网络进行测试，是将测试集中的脑电信号直接送入训练后的相位保持网络进行分类，并对分类结果进行统计，得到网络在测试集上的分类准确率。

6.根据权利要求1所述的方法，其特征在于，(5)中单独使用每一名被试者的脑电信号对测试后的网络进行微调，是先将相位保持网络中时间动态提取单元、通道相关性提取单元和分类单元的学习率分别调整为1/27、1/9、1/3；再使用当前被试者的脑电信号对测试后的相位保持网络进行微调，以得到适合当前被试者进行在线实验的相位保持网络。

Images