CN110765920A - 基于卷积神经网络的运动想象分类方法 - Google Patents

Abstract

本发明公开了一种基于并行多尺度时间卷积核的卷积神经网络方法，主要解决现有技术检测准确率低，难以有效检测出用户想象运动的问题。其实现方案是：采集想象运动脑电数据，并对其进行预处理，使用预处理后的脑电数据制作数据集；构建卷积神经网络，使用训练集和验证集训练卷积神经网络，使用测试集测试卷积神经网络，使用被试者的脑电数据微调测试后的卷积神经网络，得到适合被试者进行在线实验的最终卷积神经网络；实时获取被试者的在线想象运动脑电信号，并送入最终的卷积神经网络，得到实时分类结果。本发明能有效检测出用户的想象运动，提高了对想象运动脑电信号的分类准确率，可用于医疗服务，作为辅助工具参与中风患者的康复治疗。

Description

基于卷积神经网络的运动想象分类方法

技术领域

本发明属于信息技术领域，特别涉及一种脑电信号的分类方法，可用于医疗服务。

背景技术

脑电信号由大脑神经元群的生物电活动产生，属于自发性电位活动。通常将脑电信号按频段分为δ、θ、α、β、γ这几种不同的节律，不同节律的脑电信号能够反映人体不同的生理心理状态信息，其中：

δ节律主要位于1～4Hz频段，主要反映人的深度睡眠状态或特殊脑部病患；

θ节律主要位于4～8Hz频段，主要反映人处在睡眠初期、冥想、困倦或压抑状态；

α节律主要位于8～12Hz频段，除反映人处于清醒、安静和闭眼的状态，还包含了与躯体运动相关的μ波；

β节律主要位于12～30Hz频段，既能反映人处于精神紧张、情绪激动或思维活跃、注意力集中时的状态，也含有一部分反映躯体运动相关的信息；

γ节律主要位于30～60Hz频段，其包含较高层次的思维活动，如情绪变化、抽象思考等状态。

根据脑电信号的不同特征信息，衍生出了一系列脑电信号采集和处理方法。目前普遍使用的是将电极通过导电膏与人体头皮相连来获取脑电信号，称为非侵入式脑电采集方法。脑电信号的采集和处理技术可应用于脑机接口BCI的研发、医疗服务和人类认知活动研究。

脑机接口源于上世纪七八十年代，早期BCI主要用于医疗服务，通常面向神经或肌肉失能的重症病人设计，例如脑控轮椅，脑控文字输入设备，脑控假肢和机械臂等等。随着研究的推进，BCI在医疗、康复应用中继续发挥更大作用的同时，也逐渐显示出更广阔的应用潜力。在教育领域，用于时刻反馈教师授课质量的学生头环已投入市场，又可嵌入日常生活场景，改善儿童多动症、增强注意力；保健行业，已有基于脑电的睡眠质量监测和改善仪器；在家用娱乐方面，脑控交互系统提供了全新的游戏形式，可用于强化虚拟现实、增强现实，提升用户体验；在特种行业，利用脑电仪器监测使用者的情绪变化和工作状态，当发现使用者情绪异常或疲劳工作时及时干预，避免造成重大损失；在军事方面，美国等试图借助BCI提升单兵作战能力。出于成本和便携性考虑，这类BCI通常使用非侵入式方法采集脑电信号。

随着脑机接口的发展，已经衍生出多种脑电研究范式。想象运动是一类常用的脑电研究范式，其生理学基础在于，人的肢体运动会在大脑感觉运动区引发运动节律的能量变化，这一现象不仅会出现在实际运动中，在想象运动的过程中，运动功能发育正常的被试者也会产生该类现象。以左右手想象运动为例，为左手想象运动时，左手对应大脑右侧运动皮层区域mu节律、beta节律的能量先下降、后上升，右手想象运动时则相反。想象运动脑机接口借助脑电信号采集和解码技术在人脑与通用/专用计算设备之间建立直连通路，实现与外界环境的交互，可以作为辅助工具参与中风患者的康复治疗，在生物交叉领域中有着广泛的应用前景。

想象运动的分类主要包括传统的共空间模式CSP方法和卷积神经网络方法。CSP的主要思路是结合类别信息有监督地分解多组信号的协方差矩阵，找出最佳空间投影方向对输入信号进行差异化投影，将投影过信号的归一化方差作为特征向量输入到分类器。由于CSP基本忽略了信号的时频特性，只关注相对的空间特性而忽略频谱特征，因而导致CSP方法容易受到噪声和脑电信号的非平稳性影响，且在小数据集上容易出现过拟合。

随着深度学习的发展，基于神经网络的想象运动分类方法也被提出。卷积神经网络是对输入的网格数据进行滑动卷积操作，单次滑动过程中使用相同的卷积核。卷积操作完成特征提取后，将特征送入全连接层实现分类。其中具有代表性的有Schirrmeister等人在"Deep learning with convolutional neural networks for EEG decoding andvisualization."一文中提出的ShallowNet，以及Lawhern Vernon等人在"EEGNet:acompact convolutional neural network for EEG-based brain-computerinterfaces."一文中提出的EEGNet等深度学习方法。这两种方法均采用时域卷积和空间卷积，由卷积操作得到特征后，经过加工单元处理再送入卷积分类器实现分类。由于已有的神经网络方法在时域卷积中均使用单一的时间卷积核，导致无法充分提取脑电信号特征，影响最终分类结果。

发明内容

本发明的目的在于针对上述传统方法和已有深度学习方法的不足，提出一种基于卷积神经网络的运动想象分类方法，以使用并行多尺度时间卷积核，提升想象运动脑电信号的分类效果。

本发明的技术思路是：将多通道脑电信号做预处理；利用于并行多尺度时间卷积核的卷积神经网络完成对脑电信号的识别，其实现步骤包括如下：

(1)被试者佩戴电极帽进行想象运动脑电数据采集实验：

被试者根据想象运动实验范式进行实验，即通过预备、想象、间歇、等待四种状态来完成想象运动实验，在想象运动过程中，通过电极帽上的电极采集被试者的脑电数据，再依次对采集的脑电数据进行数据段选取、去基线、去工频后，得到预处理后的脑电数据，并将脑电数据按照7:1.5:1.5的比例分为训练集、验证集和测试集；

(2)构建卷积神经网络：

该卷积神经网络由依次连接的特征提取单元、自定义中间加工单元和分类单元三个模块组成，其中：

特征提取单元由时间卷积层和空间卷积层构成，用于提取脑电数据特征；

自定义中间加工单元依次包括平方非线性，降采样，对数非线性和随机失活四部分，用于特征的进一步处理；

分类单元由卷积分类器构成，用于特征分类；

(3)训练卷积神经网络：

设置训练次数为1000，单次样本输入量为10，损失函数为交叉熵损失函数，学习率初始为0.001，随机失活节点保留率为0.5，使用(1)中生成的训练集对构建好的卷积神经网络进行训练，每训练10次后，使用验证集对训练中的网络进行检验，若出现过拟合，则调整学习率重新训练网络，最后得到初步训练后的卷积神经网络；

(4)网络测试：

使用测试集对初步训练后的卷积神经网络进行测试，如果未能达到满足的精度，则重复(3)，直到满足所需的精度后，得到一个在离线数据集上表现良好的卷积神经网络；

(5)网络微调：

针对单个被试者，使用被试者20次想象运动的脑电数据对测试后的卷积神经网络继续进行微调训练，得到适合被试者进行在线实验的理想网络；

(6)进行在线实时检测：

采集被试者的脑电信号并依次进行数据段选取、去基线和去工频的预处理，再将预处理后的脑电数据送入到微调后的理想卷积神经网络，得到实时信号分类结果。

本发明与现有技术相比具有以下优点：

第一、本发明由于采用端对端的网络设计方法，因而只需对脑电信号进行简单的预处理即可输入网络进行分类。

第二、本发明由于采用了多尺度时间卷积核，能够更加充分提取脑电信号的时域特征，从而提高了脑电信号的识别准确率。

第三、本发明由于采用了结构化的网络结构，使得网络可以针对不同分类任务进行调整，具有可移植性。

附图说明

图1为本发明的实现流程框图。

图2为本发明中采集脑电信号的任务时序图。

图3为本发明中构建的基于并行多尺度时间卷积核的卷积神经网络结构框图。

具体实施方式

以下结合附图对本发明的实施例进行详细的描述：

参照图1，本实施例分为两大部分，第一部分是生成最终的卷积神经网络，第二部分是使用该网络进行在线实验，具体实现步骤如下：

一.生成最终的卷积神经网络

步骤1，采集想象运动脑电数据。

参照图2，本步骤的具体实现如下：

(1a)实验范式：

被试者根据想象运动实验范式进行实验，每一次实验按时间先后共有4种状态，分别为：预备状态，想象运动状态，间歇状态，等待状态，其中：

预备状态时，首先屏幕会出现十字准星便于被试者集中注意力等待指令，2秒后有蜂鸣声指令，提示被试者1秒后进入想象运动状态；

想象运动状态时，显示器根据箭头提示会出现两种指令，一种是想象左手运动，一种是想象右手运动；在想象运动状态中，前后两个指令之间会有一个间歇状态，便于被试者调整状态；

每一次实验结束后，会进入等待状态，等待时间由被试者自己控制，用于被试者休息，当被试者调整好状态后手动结束等待状态，进入下一次实验；

(1b)脑电信号采集：

被试者佩戴电极帽，根据想象运动实验范式进行两类左右手想象运动任务，同时通过电极帽上的电极采集被试者的脑电数据，本实例对脑电信号的采集使用了22个头皮脑电EEG通道，采样率为250Hz，共有9名被试者参与实验，每名被试者共进行3组实验，每组实验进行想象运动20次，共采集540个单试次样本。

步骤2，对采集的脑电数据进行预处理。

本步骤的具体实现是先在采集的脑电数据中选取数据段，再对数据段进行去基线，最后对去基线后的数据进行去工频操作，得到预处理后的脑电数据。

所述数据段选取，是在采集的脑电数据中选取[-0.5s，4.0s]区间共4.5秒的数据，即选取想象运动开始前0.5秒到开始后4秒的时段数据；

所述去基线，是将[-0.5s,0s]之间的数据进行时域平均后作为信号基线，用[0s,4.0s]的数据减去基线形成去基线信号；

所述去工频，是使用50Hz陷波器对数据进行滤波以去掉50Hz工频。

步骤3，制作数据集。

将预处理后的脑电数据按照7:1.5:1.5的比例分为训练集、验证集和测试集，即采集得到的540个单试次样本中，将378个样本归为训练集，81个样本归为验证集，剩余的81个样本归为测试集。

为了保证数据集的多样性，本实例还使用了第四届BCI竞赛中提供的想象运动数据集A和B。其中：

第一数据集A以22个头皮脑电EEG通道和3个EOG通道记录了来自9名被试者的四类想象运动脑电数据，分别为左手、右手、舌头和脚，训练集和测试集各有288个单试次样本。

第二数据集B以3个头皮脑电EEG通道和3个EOG通道记录了来自9名被试者的两类左右手想象运动脑电数据，每组有120、140或160个单试次样本。

步骤4，构建卷积神经网络。

参考图3，本实例中构建的网络是基于并行多尺度时间卷积核的卷积神经网络，该网络由特征提取单元、自定义中间加工单元和分类单元依次连接构成，其中：

特征提取单元，包括依次连接的时间卷积层和空间卷积层，该时间卷积层中设置有多组不同长度的时间卷积核，针对采样率为250Hz的脑电数据，选取大小为64*1、40*1、26*1、16*1的卷积核各10个；该空间卷积层中，空间卷积核大小设置为1*C，C与脑电数据的通道数相同，空间卷积核数量设置为40，即与时间卷积核的总数量相等；

自定义加工单元，其与想象运动脑电信号的能量特征相关联，用于依次采用平方非线性、直接降采样、对数非线性和随机失活的方式对特征进行处理；

分类单元，其采用卷积分类器，用于对处理后的特征进行分类。

步骤5，训练卷积神经网络。

(5a)设置训练参数：

设置训练次数为1000，单次样本输入量为10，损失函数为交叉熵损失函数，卷积神经网络优化器采用自适应时刻估计优化器，学习率初始为0.001，随机失活节点保留率为0.5；

(5b)更新参数：

(5b1)每次从训练集中取10个单试次样本送入构建好的卷积神经网络，先对样本数据进行时间卷积并批归一化，接着进行空间卷积和批归一化，得到脑电信号特征，再对脑电信号特征依次进行非线性、降采样、对数处理并随机失活后，送入卷积分类器进行分类；

(5b2)根据分类结果和样本真实标签计算出交叉熵损失，再由卷积神经网络优化器对卷积神经网络中的卷积层和批归一化层中的参数进行更新；

(5b3)遍历训练集中的所有样本，完成一次训练，每迭代训练10次，计算卷积神经网络在训练集和验证集上的准确率；

(5b4)将卷积神经网络在训练集和测试集上的准确率进行对比：

若随着训练次数的增加，该网络在训练集上的准确率比验证集上的准确率高20％以上，则是出现了过拟合，此时降低学习率，返回(5b1)，重新进行训练；

若随着训练次数的增加，训练集和测试集上的准确率一直相差在20％以内，则训练1000次后，得到初步训练后的卷积神经网络。

步骤6，测试卷积神经网络。

将测试集中的脑电数据直接送入初步训练后的卷积神经网络进行分类，并对分类结果进行统计，得到该网络在测试集上的分类准确率，若测试的准确率不能达到所要求的精度，则需调整学习率，对该网络重新进行训练，直到满足所需的精度为止。

步骤7，微调卷积神经网络。

将卷积神经网络中特征提取单元、自定义中间加工单元和分类单元的学习率分别调整为原来的1/27、1/9、1/3；

利用调整后的学习率，使用当前被试者20次想象运动的脑电数据，对测试后的卷积神经网络继续进行训练50次，得到适合当前被试者进行在线实验的最终卷积神经网络。

二.在线实验

步骤8，实时获取脑电信号。

被试者佩戴电极帽，根据想象运动实验范式进行两类左右手想象运动任务，并实时通过电极帽上的电极采集被试者的脑电数据；

被试者一共进行三组实验，每组实验进行想象运动20次，采集使用22个头皮脑电EEG通道，采样率为250Hz。

步骤9，实时分类

对实时获取的被试者脑电信号进行预处理，预处理过程与步骤2相同；

将预处理后的脑电信号送入经训练、测试、微调后的最终卷积神经网络，得到脑电信号实时分类结果。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明的内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于卷积神经网络的运动想象分类方法，其特征在于，包括如下：

(1)被试者佩戴电极帽进行想象运动脑电数据采集实验：

被试者根据想象运动实验范式进行实验，即通过预备、想象、间歇、等待四种状态来完成想象运动实验，在想象运动过程中，通过电极帽上的电极采集被试者的脑电数据，再依次对采集的脑电数据进行数据段选取、去基线、去工频后，得到预处理后的脑电数据，并将脑电数据按照7:1.5:1.5的比例分为训练集、验证集和测试集；

(2)构建卷积神经网络：

该卷积神经网络由依次连接的特征提取单元、自定义中间加工单元和分类单元三个模块组成，其中：

特征提取单元由时间卷积层和空间卷积层构成，用于提取脑电数据特征；

自定义中间加工单元依次包括平方非线性，降采样，对数非线性和随机失活四部分，用于特征的进一步处理；

分类单元由卷积分类器构成，用于特征分类；

(3)训练卷积神经网络：

设置训练次数为1000，单次样本输入量为10，损失函数为交叉熵损失函数，学习率初始为0.001，随机失活节点保留率为0.5，使用(1)中生成的训练集对构建好的卷积神经网络进行训练，每训练10次后，使用验证集对训练中的网络进行检验，若出现过拟合，则调整学习率重新训练网络，最后得到初步训练后的卷积神经网络；

(4)网络测试：

使用测试集对初步训练后的卷积神经网络进行测试，如果未能达到满足的精度，则重复(3)，直到满足所需的精度后，得到一个在离线数据集上表现良好的卷积神经网络；

(5)网络微调：

针对单个被试者，使用被试者20次想象运动的脑电数据对测试后的卷积神经网络继续进行微调训练，得到适合被试者进行在线实验的理想网络；

(6)进行在线实时检测：

采集被试者的脑电信号并依次进行数据段选取、去基线和去工频的预处理，再将预处理后的脑电数据送入到微调后的理想卷积神经网络，得到实时信号分类结果。

2.根据权利要求1所述的方法，其特征在于，(1)中通过预备、想象、间歇、等待四种状态完成想象运动实验，其实现如下：

(1a)实验开始后，被试者首先进入预备状态，显示器中间会出现十字准星以提示被试者集中注意力，2秒后有蜂鸣声指令，提示被试者1秒后进入想象运动状态；

(1b)被试者进入想象运动状态后，显示器出现箭头指令提示，被试者根据箭头指向完成想象运动，即箭头指向左时，被试者进行想象左手运动，箭头指向右时，被试者进行想象右手运动；

(1c)完成想象运动后，被试者进入间歇状态，屏幕显示全黑2秒，被试者调整自身状态，以进入下一次想象运动的预备状态；

(1d)完成20次想象运动后，被试者进入等待状态，由被试者自由控制等待时间进行自身休息，当被试者调整好状态后手动结束等待状态，进入下一次实验。

3.根据权利要求1所述的方法，其特征在于，(1)中依次对脑电数据进行数据段选取、去基线、去工频，其实现如下：

数据段选取，选取[-0.5s,4.0s]区间共4.5秒的数据，即想象运动开始前0.5秒到开始后4秒的时段数据；

去基线操作，将[-0.5s,0s]之间的数据进行时域平均后作为信号基线，再将[0s,4.0s]的数据减去基线形成去基线信号；

去工频，使用50Hz陷波器对信号进行滤波以去掉50Hz工频。

4.根据权利要求1所述的方法，其特征在于，(2)中特征提取单元的时间卷积层和空间卷积层，其参数设置如下：

在时域卷积层中，针对采样率为250Hz的脑电数据，设置多组不同长度的时间卷积核，选取大小为64*1、40*1、26*1、16*1的卷积核各10个；

在空间卷积层中，空间卷积核大小设置为1*C，C即脑电数据的通道数，空间卷积核数量设置为40，即与时间卷积核的数量相等。

5.根据权利要求1所述的方法，其特征在于，(4)中使用测试集对初步训练后的网络进行测试，是将测试集中的脑电数据直接送入初步训练后的卷积神经网络进行分类，并对分类结果进行统计，得到网络在测试集上的分类准确率。

6.根据权利要求1所述的方法，其特征在于，(5)中使用被试者20次想象运动的脑电数据对测试后的网络继续进行微调训练，是先将卷积神经网络中特征提取单元、自定义中间加工单元和分类单元的学习率分别调整为原来的1/27、1/9、1/3；再使用当前被试者20次想象运动的脑电数据，对测试后的卷积神经网络继续进行训练，以得到适合当前被试者进行在线实验的理想网络。

Images