CN112244878B - 用并联型多模块cnn和lstm识别关键频带图像序列的方法 - Google Patents

Abstract

本发明公开了用并联型多模块CNN和LSTM识别关键频带图像序列的方法，基于短时傅里叶变换对脑电信号进行时频分析，选取与运动想象任务密切相关的关键频带；然后，采用关键频带成像方法，针对每个离散时间，将各导联的关键频带时频融合信息同时插值于相应导联在网格中的离散位置上，并利用最近邻插值法对空值处进行信息增补，获得两个关键频带图像序列；最后，设计并联型多模块CNN和LSTM网络，用于关键频带图像序列的频域、空域与时域特征的提取与融合识别，实现脑电信号的自动分类。本发明通过短时傅里叶变换获得脑电信号丰富的时频信息，利用网络结构能充分的学习图像序列所包含的特征，有效的提高了脑电信号的识别效果。

Description

用并联型多模块CNN和LSTM识别关键频带图像序列的方法

技术领域

本发明涉及运动想象脑电信号(Motor Imagery Electroencephalography，MI-EEG)识别技术领域，特别是采用深度学习(Deep Learning，DL)方法分类运动想象任务。具体涉及：基于短时傅里叶变化(Short Time Fourier Transform，STFT)、最近邻插值法(Nearest Neighbor Interpolation，NNI)的关键频带图像序列的生成、采用并联型多模块卷积神经网络(Parallel Multi-module Convolutional Neural Networks，PMMCNN)进行空域、频域特征的提取及基于长短时记忆网络(Long Short-Term Memory，LSTM)的时-频-空多域特征信息融合，实现运动想象脑电信号的分类。

背景技术

脑机接口(BCI)使用户能够通过控制外部设备直接与外界交流，从而为患有严重运动障碍的人提供了一种可供选择的方法。由于脑电图(EEG)信号具有时间分辨率高、采集成本较低等特点，在脑机接口系统的研究中发挥了重要作用。而EEG是一种时变、非平稳的信号，且具有空间分布的特点，充分、正确地利用该信号的时频空特点是取得好的识别结果的关键。

鉴于深度神经网络在图像识别方面的性能优势，基于深度学习的方法识别脑电成像图的研究具有很好的发展前景，并博得许多学者的研究兴趣。如何将脑电信号的时-频-空特征信息同时融入脑电成像图至关重要，而现有的脑电成像法获得的脑电成像图存在某个维度的特征信息的过度压缩或丢失，影响了特征信息不能完整表达。同时，用于识别脑电成像图的深度神经网络结构相对简单，其特征提取与融合的能力有限，从而导致对脑电成像图的识别精度不太理想。

发明内容

为了克服上述现有技术的不足，本发明提供了一种并联型多模块CNN和LSTM识别关键频带脑电图像序列的方法。

(1)采用短时傅里叶变换方法对各导联脑电信号进行时频分析，得到其脑电时频图，并分别截取α频带(8-12Hz)与β频带(12-30Hz)相应的部分，构成各导联的子时频图。

(2)针对每个离散时刻，将各导联的α频带时频特征进行融合，并采用最近邻插值法法将之插值于相应的导联位置，得到α频带图像；进而，依次将所有离散时刻的α频带图像构成α频带图像序列。同理，类似可得β频带图像序列。

(3)将α频带图像序列和β频带图像序列同时输入给并联型多模块CNN，分别提取其频域特征和空域特征，得到各关键频带图像的特征向量序列；再依时间顺序将两个关键频带特征向量序列进行融合，并通过LSTM提取时域特征；最后，由全连接层和softmax层输出脑电信号各类别的概率。

本发明的具体步骤如下：

Step1脑电信号时频分析。

Step1.1脑电采集装置所采集的脑电信号为n＝[1,2,…,N],N为实验次数,c＝[1,2,…,N_c],N_c为导联数，N_t为每次实验的采样点数，每次实验的各导联信号的维数R为1×N_t。第i次实验可表示为/>使用滑动窗口的方法将脑电信号划分为一系列子信号，设置滑动窗口的窗函数为矩形窗，窗内脑电数据表示为/>w＝[1,2,…,M],M为滑窗的个数，N_ls为窗函数的长度；

Step1.2针对窗内的每个导联信号进行短时傅里叶变换。考虑频率分辨率、时间分辨率选取窗长为N_fft，步长N_lap，窗函数M(r)为有效减轻频谱泄露与截断效应的汉明窗：

式中，r＝[1,2,…,N_fft]。汉明窗为余弦窗，与窗函数所截取的信号进行傅里叶变换所得的频域信息，旁瓣上衰减较大，有效的改善频率泄露的情况。的短时傅里叶变换数字表达式如下：

式中，r＝[1,2,…,N_fft]，窗函数M(r)截取信号，长度为N_fft，该局部时域信号与M(r)进行傅里叶变换得到N_fs个频率信息，作为h时刻所得的时域信号的傅里叶变换，随着窗函数中心位置的移动，产生一系列频域信息，这些不同时刻的频域信息的集合组成STFT(h,k)，h＝[1,2,…,N_ts],k＝[1,2,…,N_fs]。短时傅里叶变换将离散信号转化成时频图/> 其中，N_fs为时频图离散频率的个数，N_ts为时频图离散时间的个数；

Step1.3α频带(8-13Hz)与β频带(13-30Hz)与运动想象密切相关，截取时频图 中与α频带(8-13Hz)与β频带(13-30Hz)相对应的部分，分别获得和/> 两个子时频图，其中，N_fa、N_fb分别表示时频图在(8-13Hz)和(13-30Hz)频率范围内频率分量的个数；

Step1.4由于时频图的各数值之间差异较小，进行特征提取较为困难。本发明对α频带时频图与β频带时频图/>分别进行频带融合，即对各离散时间，沿频率方向将频域信息进行平方求和，相应地得到各导联的α频带时频融合向量和β频带的时频融合向量/>

Step2关键频带成像方法。

Step2.1根据各导联的真实二维坐标信息求取每维坐标的变化范围，并用32×32的网格覆盖该二维平面区域，进一步确定各导联在网格中的离散位置坐标[x_c,y_c],c＝[1,2,…,N_c],N_c为导联数；

Step2.2针对每个离散时间，将各导联的α频带时频融合向量中的相应分量同时插值于导联位置坐标[x_c,y_c]，获得α频带时频融合图。同样地，对于β频带时频融合向量/> 进行类似操作，可得β频带时频融合图；

Step2.3采用最近邻插值法分别对α频带时频融合图和β频带时频融合图的空值处进行插值，获得α频带图像序列与β频带图像序列/>采用图像归一化处理图像序列，将图像的数值范围转化为0～1之间，此方法利于后续的深度学习网络处理，表达式如下：

z_j为原图像中像素点的值，j＝[1,2,…,32×32]，min(z)，max(z)分别代表图像像素点的最小值与最大值，所得z_j'构成新的α频带图像序列与β频带图像序列；

Step2.4选择步长25将窗函数滑动，返回Step1.2，对关键频带图像序列进行数据增广，直至满足要求，获得α频带图像序列集和β频带图像序列集其中，k＝[1,2,…,N×M]，N为实验次数,M为滑动窗口的个数；

Step3并联型多模块CNN和LSTM识别关键频带图像序列集。

Step3.1设计并联型多模块CNN和LSTM。并行的六个模块组成的网络提取每个离散时刻脑电图像的特征：模块1与模块4相同，包括四个2D卷积层，一个批量归一化(BatchNormalization，BN)层和一个最大池化层。各卷积层具有相同的3×3卷积核和1×1步长，最大池化层的池化窗口大小为2×2，步长为1×1。模块2与模块5分别由两个2D卷积层，一个BN层与池化层组成，模块3与模块6由一个2D卷积层，一个BN层与池化层组成。每个模块的2D卷积层，池化层的规格相同，激活函数选取ReLU函数。模块1和模块4的每个卷积层有32个特征图，模块2和模块5，模块3和模块6的特征图数量分别为64,128个特征图。网络结构如下表：

表1深层卷积网络结构

卷积网络的输出作为双层LSTM的输入，LSTM单元的隐藏层单元个数设置为b，全连接层与第二层LSTM相连，其神经元个数为d，最后，通过softmax层输出脑电信号各类别的概率。

Step3.2α频带图像序列集为其中，k＝[1,2,…,N×M]，N为实验次数,M为滑动窗口的个数，N_ts为图像集的离散时刻个数，将之输入至并联型多模块CNN，经过各离散时刻得深层卷积网络(对应网络模块1、2、3部分)进行特征提取为其中，t＝[0,1,…,N_ts-1]，N_l为网络输出的神经元个数，依次获得特征向量序列为/>

Step3.3采用Step3.2类似操作，对β图像序列集进行归一化处理，经过并联型多模块CNN(对应网络模块4、5、6部分)进行特征提取，得到特征向量序列

Step3.4α、β图像序列集X^α(k)、X^β(k)经过N_ts个深层卷积网络后的特征向量序列F^α与F^β，经过特征融合，即各离散时刻的α、β特征向量对应依次累加，得到该特征向量富含α图像序列与β图像序列的空域、频域信息；

Step3.5将特征向量序列作为LSTM的输入数据。本发明采用LSTM单元构建两层递归神经网络。LSTM是一种改进的递归神经网络单元，解决了梯度爆炸和梯度消失的问题。因为输入的数据是具有时间关系的特征向量序列，所以每层递归神经网络的LSTM单元数与特征向量序列相同。第二个递归神经网络层是第一层输出的时间序列，第一层的LSTM单元在t时刻的隐藏层状态为h_t，h_t-1是前一个时刻t-1的隐藏层状态。之前时刻的信息被传递到当前时刻并且影响到最后时刻的输出。网络设计使用LSTM单元的隐藏层状态作为输出，因此第二层LSTM单元的输入序列为上一层的隐藏层状态输出为/>最后只使用递归神经网络最后一个时刻的信息作为全连接层的输入。

其中b是LSTM单元中隐藏层单元个数，并且所有LSTM单元都有相同的隐藏层单元个数。全连接层输出为其中，d为全连接层中元素的个数，全连接层用于增强时域、空域、频域特征的表达能力，其输出作为softmax层的输入，输出脑电信号各类别的概率得P＝SM(D)∈R^1×k，k为脑电信号类别个数。在两层之间引入dropout作为正则化的操作，以减轻网络的过拟合现象。

与现有技术相比，本发明具有以下优点：

(1)本发明通过短时傅里叶变换获得脑电信号丰富的时频信息，并将其进行信息融合后与导联的位置坐标结合，采用最近邻插值法进行成像，得到的α、β图像序列集与其他方法相比，包含丰富的频域、空域与时域特征信息。

(2)本发明在网络结构方面，针对关键频带图像序列集的特点，采用并联型多模块卷积神经网络与长短时记忆网络结合，卷积网络的并联结构提取不同图像序列集的空域、频域特征，长短时记忆网络提取时域特征，该网络结构能充分的学习图像序列所包含的特征，有效的提高了脑电信号的识别效果。

附图说明

图1为关键频带脑电成像技术流程图；

图2为并联型多模块CNN和LSTM结构图；

图3为脑电采集实验时序图；

图4为本发明的实施流程图。

具体实施方式

本发明具体实验是在Windows 10(64位)操作系统下Tensorflow环境进行。

本发明使用的采用“BCI Competition2008”的Data set 2a数据集。9名受试者佩戴国际10-20标准的22导电极帽，采样频率为250Hz。在不同的两天内，每名受试者进行四类运动想象任务：左手、右手、脚、舌头，每天6轮实验，每轮包含48组实验(每类任务12组实验)，共576组实验，一天内所采集得数据(288组)作为训练集，另外一天(288组)为测试集。受试者坐在舒适的椅子，前方为电脑屏幕，实验开始屏幕中出现“+”符号，并伴随提示音，2s时出现箭头指示，方向为左、右、上或下(对应四类任务左手、右手、舌头或脚)的一种，并保持1.25s，受试者根据屏幕的标识进行运动想象任务，6s时受试者休息。

Step1脑电信号时频分析。

Step1.1原始脑电数据为x_n,c∈R^1×1000,n＝[1,2,…,576],c＝[1,2,…,22]，共576组实验，每组实验数据由22个导联所采集，包含1000个采样点。滑动窗口的窗长设置为500，窗内脑电数据表示为x_n,c,w∈R^1×500；

Step1.2信号x_n,c,w∈R^1×500进行短时傅里叶变换，参数窗长设置为128，步长64，离散傅里叶点数128，获得时频图X_n,c,w∈R^65×9；

Step1.3截取时频图中与α频带(8-13Hz)与β频带(13-30Hz)相对应的部分，分别获得和/>

Step1.4频带融合后得到α频带时频融合向量β频带时频融合向量

Step2关键频带成像方法。

Step2.1将α频带时频融合图β频带时频融合图/>与各导联在网格中的离散位置坐标[x_c,y_c]对应导联编号结合，获得α、β频带时频融合图；

Step2.2采用最近邻插值法分别对α频带时频融合图和β频带时频融合图的空值部分填充，得到α频带图像序列与β频带图像序列/>

Step2.3选择步长25将窗函数滑动，返回Step1.2，对关键频带图像序列进行数据增广，直至满足要求，获得α频带图像序列集和β频带图像序列集；

Step3并联型多模块CNN和LSTM识别关键频带图像序列集。

Step3.1将整理后的α、β频带图像序列集X^α(k)∈R^9×32×32、X^β(k)∈R^9×32×32，k＝[1,2,…,576×21]送入并联型多模块深层卷积网络与长短时记忆网络结合的网络结构。每个多模块卷积网络的设计见表1，α图像序列集X^α(k)经过9个由模块1、2、3组成的卷积神经网络得到的特征向量序列β图像序列集X^β(k)经过模块4、5、6的网络得到经过特征融合得到/>

Step3.2特征向量序列F输入两层LSTM组成的递归神经网络，每层的LSTM隐藏层单元个数为128，第二层最后一个时刻输出的特征向量h₈'∈R^1×128，输入到神经元个数为256的全连接层，最后通过节点为4的softmax层得到每个类别的概率。

每个受试者的训练集，测试集通过成像技术后输入网络，网络训练时设置Batch_Size为32，卷积层的L2正则化参数设置为0.0001，学习率初始值为0.0001，使用Adam优化器对随机目标函数进行一阶梯度优化处理，经过30个epoch后loss趋于稳定，每个受试者的测试集效果如下表所示：

表2各个受试者分类结果

Claims (2)

1.用并联型多模块CNN和LSTM识别关键频带图像序列的方法，其特征在于：该方法包括如下步骤，

步骤1)采用短时傅里叶变换方法对各导联脑电信号进行时频分析，得到其脑电时频图，并分别截取α频带与β频带相应的部分，构成各导联的子时频图；

步骤2)针对每个离散时刻，将各导联的α频带时频特征进行融合，并采用最近邻插值法将之插值于相应的导联位置，得到α频带图像；依次将所有离散时刻的α频带图像构成α频带图像序列；将各导联的β频带时频特征进行融合，并采用最近邻插值法将之插值于相应的导联位置，得到β频带图像；依次将所有离散时刻的β频带图像构成β频带图像序列，得到β频带图像序列；

步骤3)将α频带图像序列和β频带图像序列同时输入给并联型多模块CNN，分别提取其频域特征和空域特征，得到各关键频带图像的特征向量序列；再依时间顺序将两个关键频带特征向量序列进行融合，并通过LSTM提取时域特征；最后，由全连接层和softmax层输出脑电信号各类别的概率；

α频带图像与β频带图像的成像方法包括如下步骤，

Step2.1根据各导联的真实二维坐标信息求取每维坐标的变化范围，并用32×32的网格覆盖该二维平面区域，确定各导联在网格中的离散位置坐标[x_c,y_c]；

Step2.2针对每个离散时间，将各导联的α频带时频融合向量中的相应分量同时插值于导联位置坐标[x_c,y_c]，获得α频带时频融合图；同样地，对于β频带时频融合向量进行类似操作，可得β频带时频融合图；

Step2.3采用最近邻插值法分别对α频带时频融合图和β频带时频融合图的空值处进行插值，分别获得α频带图像序列与β频带图像序列/>

Step2.4选择步长10将窗函数滑动，返回Step1.2，对关键频带图像序列进行数据增广，直至满足要求，获得α频带图像序列集和β频带图像序列集；

步骤3包括如下步骤，

Step3.1设计并联型多模块CNN和LSTM；并行的六个模块组成的网络提取每个离散时刻脑电图像的特征：模块1与模块4相同，包括四个2D卷积层，一个批量归一化层和一个最大池化层；各卷积层具有相同的3x3卷积核和1x1步长，最大池化层的池化窗口大小为2x2，步长为1x1；模块2与模块5分别由两个2D卷积层，一个BN层与池化层组成，模块3与模块6由一个2D卷积层，一个BN层与池化层组成；每个模块的2D卷积层，池化层的规格相同，激活函数选取ReLU函数；模块1和模块4的每个卷积层有32个特征图，模块2和模块5，模块3和模块6的特征图数量分别为64,128个特征图；卷积网络的输出作为双层LSTM的输入，LSTM单元的隐藏层单元个数设置为b，全连接层与第二层LSTM相连，其神经元个数为d，最后，通过softmax层输出脑电信号各类别的概率；

Step3.2对α频带图像序列集进行归一化处理后，记为其中，k＝[1,2,…,N×M]，N为实验次数,M为滑动窗口的个数，将之输入至并联型多模块CNN和LSTM，经过N_ts个深层卷积网络进行特征提取，输出特征向量序列为/>N_l为网络输出的神经元个数；

Step3.3采用Step3.2类似操作，对β频带图像序列集进行归一化处理，经过并联型多模块CNN和LSTM进行特征提取，得到特征向量

Step3.4对F^α与F^β进行特征融合得到该特征向量富含α图像序列与β图像序列的空域、频域信息；

Step3.5将特征向量序列作为两层LSTM的输入数据，第一层LSTM用于提取特征序列的时域特征，第二层LSTM最后一个时刻的信息/>作为全连接层的输入，其中b是LSTM单元中隐藏层单元个数；全连接层输出为/>其中，d为全连接层中元素的个数，全连接层用于增强时域、空域、频域特征的表达能力，其输出作为softmax层的输入，输出脑电信号各类别的概率为P＝SM(D)∈R^1×k，k为脑电信号类别个数。

2.根据权利要求1所述的用并联型多模块CNN和LSTM识别关键频带图像序列的方法，其特征在于：

导联脑电信号时频分析包括如下步骤，

Step1.1假设为脑电采集设备采集的第n次脑电信号，其中，n＝[1,2,…,N],N为实验次数，c＝[1,2,…,N_c],N_c为导联数，N_t为每次实验的采样点数；设置滑动窗口的窗函数w，窗内脑电数据表示为/>N_ls为窗函数的长度；

Step1.2针对窗内的每个导联信号进行短时傅里叶变换，获得时频图其中，N_fs为时频图离散频率的个数，N_ts为时频图离散时间的个数；

Step1.3截取时频图中与α频带与β频带相对应的部分，分别获得和/>两个子时频图，其中，N_fa、N_fb分别表示时频图在8-13Hz和13-30Hz频率范围内频率分量的个数；

Step1.4对α频带时频图与β频带时频图/>分别进行频带融合，即对各离散时间，沿频率方向将频域信息进行平方求和，相应地得到各导联的α频带时频融合向量/>和β频带的时频融合向量/>