CN110522412A - 基于多尺度脑功能网络分类脑电信号的方法 - Google Patents

Abstract

本发明涉及一种基于多尺度脑功能网络分类脑电信号的方法，包括：数据获取：采集静息状态下的脑电信号，并进行预处理；计算多尺度时间序列：对经过预处理的各导联时间序列进行多尺度化处理，获得广义多尺度粗粒化时间序列；构建多尺度脑功能网络：以脑电信号各导联间的幅值相关程度与相位相关程度为量化标准，计算多尺度加权脑功能网络；构建可学习多尺度脑功能网络的多尺度卷积神经网络；神经网络训练：以各卷积神经网络通路产生的决策误差的互相关程度作为惩罚项、惩罚损失函数，加速神经网络决策，降低泛化误差。

Description

基于多尺度脑功能网络分类脑电信号的方法

技术领域

本发明涉及基于脑电(EEG)信号的多尺度脑功能网络构建，以及以多通路卷积神经网络产生多尺度决策、以模糊神经网络进行决策融合的神经网络设计，是一种基于多尺度信息融合实现脑电信号分类的方法。

背景技术

脑电(EEG)描记法是记录大脑电活动的电生理监测技术，它反应了大脑神经元内由离子电流产生的电压波动。神经元不断地与细胞外环境交换离子，类似的离子相互排斥，当许多离子同时从许多神经元冲被推出时，他们推动邻近的离子，这些离子再推动它们临近离子，进而形成“波”，当离子波到达头皮时，推拉与头皮接触的电极中金属上的电子，因此可测得两电极间的电压差，通过多电极帽记录一段时间内的脑自发电活动，则形成了脑电图。脑电信号的采集过程具有无创、价廉、易实施的优势，较功能磁共振成像(fMRI)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)及脑磁图(MEG)，EEG具有对幽闭恐怖症无恶化、无放射伤害、无强磁场、可在携带金属植入的个体上实施等优势，且提供了极高的时间分辨率，成为跟踪不同阶段脑状态变化的重要工具，例如青少年脑发育程度及老年人脑退化程度等。

脑功能连接作为反应脑功能活动的重要度量对象，在脑神经科学、脑机接口等研究领域被广泛研究。建立功能脑网络的本质是寻找刻画通道间或脑区间的相关程度或同步程度的方式，Wen团队在2015年发表的综述文章A critical review:coupling andsynchronization analysis methods of EEG signal with mild cognitiveimpairment中总结了用于评估脑退化的5种耦合方法和6种同步算法，目前已有的方法可归属于基于相位相关性的功能连接构建方法或基于幅值相关性的功能连接构建方法，且对脑退化状态与非退化状态的EEG信号的敏感性显示在大约70％～80％的平均值，仍存在较大的改善空间。有研究者发现在非线性、非平稳复杂系统(尤其是时间序列)中存在多尺度现象，即不同尺度下观测的信号特征均具有重要意义，这将为脑电信号的分类、辨识提供了多层次的信息输入。

故，如何同时利用相空间脑功能网络和基于幅值的脑功能网络，及其不同尺度下的表征，构建具有信息融合功能的多尺度神经网络，提高脑电信号分类准确率，成为具有研究价值的技术问题。

发明内容

本发明要解决的技术问题：针对上述背景技术及现存问题，提出一种基于多尺度脑功能网络分类脑电信号的方法，为计算机辅助辨识不同状态脑电信号的相关任务提供一种易实现、高性能的学习机制，为基于脑电信号的深度学习领域提供新思路。为实现上述目的，本发明采用的技术方案为：

一种基于多尺度脑功能网络分类脑电信号的方法，包括下列步骤：

1)数据获取：采集静息状态下的脑电信号，并进行预处理；

2)计算多尺度时间序列：对经过预处理的各导联时间序列进行多尺度化处理，获得广义多尺度粗粒化时间序列，具体为，针对预处理后具有N个采样点x的单导联一维离散时间序列基于相邻的τ个采样点的一阶矩、二阶矩或三阶矩计算τ个多尺度粗粒化时间序列

3)构建多尺度脑功能网络：以脑电信号各导联间的幅值相关程度与相位相关程度为量化标准，计算多尺度加权脑功能网络；

4)构建可学习多尺度脑功能网络的多尺度卷积神经网络：将多尺度加权脑功能网络分别作为多尺度卷积神经网络各路通路的信息源，产生多尺度决策，设计可对多尺度决策进行信息融合的决策门，方法为：

步骤4.1)：构建自编码神经网络，训练该神经网络得到预训练网络参数；

步骤4.2)：设计由多通路卷积神经网络组成的多尺度神经网络，以步骤3)得到的多尺度加权脑功能网络作为各通路的输入，构成可同时学习多尺度信息的学习机；

步骤4.3)：以步骤4.1)得到的预训练网络的浅层神经元的参数初始化各通路卷积神经网络的浅层神经元；

步骤4.4)：构建模糊神经网络，以原始脑电信号作为模糊门控的输入，构造其产生τ个输出，以此作为对多通路卷积神经网络的τ个输出结果进行决策融合时的权值，进而得出最终决策结果。

5)神经网络训练：以各卷积神经网络通路产生的决策误差的互相关程度作为惩罚项、惩罚损失函数，加速神经网络决策，降低泛化误差。

优选地，

2)中针对预处理后具有N个采样点x的单导联一维离散时间序列基于相邻的τ个采样点的一阶矩计算τ个多尺度粗粒化时间序列

3)步骤如下：

步骤3.1)：面向尺度k，1≤k≤τ，下的粗粒化时间序列，基于各导联脑电信号间的相位差进行相位相关性计算，即，刻画两导信号在相同频段下的、实时相位差的相关性；

步骤3.2)：面向尺度k下的粗粒化时间序列，基于各导联脑电信号的幅值进行能量相关性计算，即，刻画两导信号在相同频段下的、信号能量波动模态上的相关性；

步骤3.4)：以上述计算得到的多导联脑电信号间的相位、幅值相关程度作为量化标准，分别计算尺度k下的幅、相空间的加权邻接矩阵，构成2τ个多尺度幅、相加权脑功能网络。

5)的步骤如下：

步骤5.1)：设计神经网络误差反传结构，采用式(2)的方法计算多尺度神经网络的误差E，其中，graph_k是第k尺度脑功能网络；l_k是第k尺度卷积神经网络通路的输出，C_real是脑电信号的真实类别；

步骤5.2)：设计损失函数，以各通路卷积神经网络决策结果的误差的相关性作为损失函数的惩罚因子Ω，附加至损失函数Loss中，正则惩罚项Ω的计算方式如式(3)-(5)所示：首先，计算模糊神经网络的决策融合输出O_fusion，其中，f_k是模糊门控单元产生的τ个输出，用其对τ个决策分别加权，它是卷积神经网络的后验分布，c_k表示第k个决策模型；o_k表征第k个决策模型c_k的输出：

其次，计算各通路卷积神经网络决策结果o_k同最终决策结果的误差ψ_k：

ψ_k＝o_k-O_fusion (4)

最后，构成如公式(5)的正则惩罚项Ω，其中，为第k₁与第k₂通路决策结果同最终决策结果间的误差的相关性，求τ个决策误差两两间相关性的均值，用介于0、1之间的控制参数λ，控制学习过程中对“去相关性”的偏好程度；

将上述正则惩罚项Ω附加至式(6)所示的损失函数中，其中，L表示指数函数等常见代价函数，用模糊门控单元产生的τ个输出f_k进行加权求和构成总损失：

5)的训练多尺度神经网络过程中，多通路卷积神经网络中的参数与模糊门控单元中的参数一同在该损失函数的驱动下参与训练，构成包括单尺度决策与多尺度信息融合在内的完整学习机。

本发明基于多尺度脑功能网络分类脑电信号的方法具有下述优点：

1.本发明提供了一种利用神经网络辨识脑电信号的方法；

2.本发明所阐述的神经网络为具有多通路、可融合多尺度信息的特点，以多尺度、幅相空间分别构建的脑功能网络作为各通道卷积神经网络的输入，以模糊神经单元融合多路卷积神经网络的决策信息、进而得到总输出；

3.本发明所阐述的脑电信号分类方法充分挖掘了脑电信号的幅值信息、相位信息，同时利用非线性信号中的多尺度特异性，通过神经网络替代专家学习、融合多种特征，给出决策结果。

4.本发明提供的具体实施步骤可产生多种变体以适应具有不同非线性动力学的脑电信号，如：步骤2)的多尺度粗粒化过程，可根据欲挖掘的特性用信号的一阶矩、二阶矩甚至多节矩来表示粗粒化时间序列；步骤3)的构建幅值空间与相位空间两功能网络的方法，不局限于本发明在实施例中提供的算法，可依据被试数据的特征和各信号耦合、同步算法的优势，进行优化组合。

附图说明

图1为本发明实施例的基本流程示意图；

图2为本发明实施例的多尺度脑功能网络构建过程；

图3为模糊门控下的多尺度神经网络结构图。

具体实施方式

本发明基于多尺度脑功能网络分类脑电信号的方法的流程图如图1所示。下面，对本发明实施例的具体实施步骤予以介绍：

1)数据获取：采集静息状态下的脑电信号，并针对不同的环境干扰、硬件条件及研究目的进行预处理；

2)计算多尺度时间序列：对单通道时间序列进行多尺度化处理，获得广义多尺度粗粒化时间序列；

3)构建多尺度脑功能网络：在同一尺度下，以各通道间的幅值相关程度与相位相关程度为量化标准，计算带权值的脑功能网络矩阵；

4)构建可学习多尺度脑功能网络的多尺度卷积神经网络：将多尺度脑功能网络分别作为多尺度卷积神经网络各路通路的信息源，产生多尺度决策，设计可对多尺度决策进行信息融合的决策门；

5)神经网络训练：以各尺度神经网络通路决策误差的互相关程度作为惩罚项惩罚损失函数，加速神经网络决策，降低泛化误差。

本实施例在步骤1)中，使用具有1024Hz采样频率以及10-20国际标准电极帽的Symtop脑电采集系统，采集1分钟静息脑电信号，并要求被试全程闭眼、避免眼动和体动。在预处理步骤中，使用EELAB软件在MATLAB平台下对脑电信号进行0.5Hz～40Hz的带通滤波，并对各被试截取8秒去伪迹、无严重噪声干扰的脑电信号。

本实施例在步骤2)中的详细内容包括：

2.1)如图2.A，针对预处理后的单通道一维离散时间序列根据式(1)采用一阶矩平均值计算尺度τ下的粗粒化时间序列

本实施例在步骤2.1)中的尺度因子τ取3。

本实施例在步骤3)中的详细内容包括：

3.1)根据式(2)-式(4)对τ尺度下的时间序列进行相位相关性计算，其中，Δ表示步骤2)中获得多尺度粗粒化时间序列使用的阶矩，P为两段时间序列的相位差的分布其中箱个数记为K。

Q_max＝ln K (4)

3.2)采用同步骤3.1)相同的多尺度粗粒化话时间序列，根据式(5)对τ尺度下的时间序列进行幅值相关性计算；

3.3)以经由步骤3.1)与步骤3.2)计算得到的各尺度下多通道间的相位、幅值相关程度作为量化标准，分别构建幅、相空间的多尺度脑功能网络，即加权邻接矩阵，如图2.B所示。

本实施例在步骤4)中的详细内容包括：

4.1)构建如图3.A所示的自编码网络，训练该神经网络得到预训练网络参数；

4.2)设计如图3.B所示的由多通路卷积神经网络组成的多尺度神经网络，以步骤3)得到的多尺度脑功能网络作为各通路的输入，构成可同时学习多尺度信息的学习机；

4.3)以步骤4.1)得到的预训练网络浅层神经元的参数初始化各通路卷积神经网络的浅层；

4.4)构建如图3.B所示的由模糊神经网络组成的模糊门控单元，以此控制多通路卷积神经网络输出结果融合后的总输出。

本实施例在步骤4.1)中的自编码网络模块使用的主要参数为：降采样/上采样深度为5，第一层卷积层的卷积核为5*5、其他卷积层卷积核为3*3，采用2*2最大池化，降采样与上采样间的瓶颈(bottleneck)层采用平铺(Flatten)层输出神经元个数的1/2。

本实施例在步骤4.2)中的卷积神经网络模块使用的主要参数为：第一层卷积层的卷积核为5*5、其他卷积层卷积核为3*3，采用2*2最大池化，2层全连接层，网络深度为16。

本实施例在步骤4.4)中的卷积神经网络模块具体结构为：第一层卷积层的卷积核为5*5、其他卷积层卷积核为3*3，采用2*2最大池化，2层全连接层，网络深度为16。

本实施例在步骤5)中的详细内容包括：

5.1)设计神经网络误差反传结构，计算各通路卷积神经网络输出同理想分类结果的误差、及其在模糊门控单元下加权融合产生的总误差，反传回神经网络；

5.2)附加惩罚因子，以各通路卷积神经网络决策结果的误差的相关性作为损失函数的惩罚因子，加速神经网络减小决策误差的过程，降低泛化误差。

本实施例在步骤5.1)采用式(6)的方法计算多尺度神经网络的误差，其中graph是多尺度脑功能网络；l_k是第k尺度卷积神经网络通路的输出，C_real是脑电信号的真实类别。

本实施例在步骤5.2)中采用如式(7)-式(9)所示的正则惩罚项，其中，f_k是模糊门控的输出，即对τ个决策的分别加权，它是卷积神经网络的后验分布，由模糊门控模糊神经网络参数同特征提取通路(卷积神经网络)参数一同参与训练；c_k表示第k个决策模型；o表征第k个决策模型c_k的输出；

将上述正则惩罚项引入损失函数，如式(10)所示，其中，λ为介于0、1之间的控制参数，用于控制学习过程中、对去多通路决策结果的误差间的相关性的偏好程度。

本实施例在遵循上述步骤评估基于多尺度信息构建脑功能连接的脑电信号分类方法之前，采用G*Power3.1软件、基于Wilcoxon MannWhitney检验，对所需测试样本量进行评估：

a)参考Cohen团队1988年发表文章Statistical PowerAnalysis fortheBehavioral Sciences，将输入参数的效应大小(effect size)设为传统值0.93；

b)按一般惯例，将输入参数的阿尔法误差(alpha error)概率设为0.05；

c)参考Szucs团队2017年发表文章Empirical assessment ofpublished effectsizes andpower in the recent cognitive neuroscience andpsychology literature，将输入参数能量(power)设为0.78，高于文章总结的当前研究中所使用power值的中值和平均值；

d)将输入参数的两类样本量比为1:1。

结果显示，按上述输入参数，能达到可信效应的样本数量为大于等于15样本/组。

本实施例在满足可信效应样本数量的基础上，遵循本实施例步骤1)-步骤5)具体测试了本发明对不同状态(健康与退化)的脑电信号方面的分类能力，考虑在实施例中纳入的样本数，在方法验证过程中选择K＝7折交叉验证增强可信度，设置迭代周期为50。结果显示，基于本发明方法在7折交叉验证中每折均达到90％以上的分类准确率。

综上所述，本实施例基于多尺度脑功能网络分类脑电信号的方法，以分类不同大脑状态下产生的脑电信号为目的，构建了一种可融合多尺度信息的多通路模糊门控神经网络。具体地，以多尺度、幅相空间分别构建的脑功能网络作为各通路卷积神经网络的输入，以模糊神经单元融合多路卷积神经网络的决策信息得到总输出，采用预训练、初始化、特征传入、误差反传、正则惩罚的学习机制，实现脑电信号的自动分类。本发明为开展与脑电信号分类任务相关的研究提供了一种新方法，释放了人工量化脑功能网络的压力，本实施证明了该方法在正常发育大脑产生的脑电信号与退化性大脑产生的脑电信号上的分类效力。

本实施例是本发明的优选实施步骤，本发明的保护范围不局限于此实施例，凡属于本发明内容中阐述的启发式变体均属于本发明的保护范围。

Claims (5)

1.一种基于多尺度脑功能网络分类脑电信号的方法，包括下列步骤：

1)数据获取：采集静息状态下的脑电信号，并进行预处理；

2)计算多尺度时间序列：对经过预处理的各导联时间序列进行多尺度化处理，获得广义多尺度粗粒化时间序列，具体为，针对预处理后具有N个采样点x的单导联一维离散时间序列基于相邻的τ个采样点的一阶矩、二阶矩或三阶矩计算τ个多尺度粗粒化时间序列

3)构建多尺度脑功能网络：以脑电信号各导联间的幅值相关程度与相位相关程度为量化标准，计算多尺度加权脑功能网络；

4)构建可学习多尺度脑功能网络的多尺度卷积神经网络：将多尺度加权脑功能网络分别作为多尺度卷积神经网络各路通路的信息源，产生多尺度决策，设计可对多尺度决策进行信息融合的决策门，方法为：

步骤4.1)：构建自编码神经网络，训练该神经网络得到预训练网络参数；

步骤4.2)：设计由多通路卷积神经网络组成的多尺度神经网络，以步骤3)得到的多尺度加权脑功能网络作为各通路的输入，构成可同时学习多尺度信息的学习机；

步骤4.3)：以步骤4.1)得到的预训练网络的浅层神经元的参数初始化各通路卷积神经网络的浅层神经元；

步骤4.4)：构建模糊神经网络，以原始脑电信号作为模糊门控的输入，构造其产生τ个输出，以此作为对多通路卷积神经网络的τ个输出结果进行决策融合时的权值，进而得出最终决策结果。

5)神经网络训练：以各卷积神经网络通路产生的决策误差的互相关程度作为惩罚项、惩罚损失函数，加速神经网络决策，降低泛化误差。

2.根据权利要求1所述的方法，其特征在于，2)中针对预处理后具有N个采样点x的单导联一维离散时间序列基于相邻的τ个采样点的一阶矩计算τ个多尺度粗粒化时间序列

3.根据权利要求1所述的方法，其特征在于，3)步骤如下：

步骤3.1)：面向尺度k，1≤k≤τ，下的粗粒化时间序列，基于各导联脑电信号间的相位差进行相位相关性计算，即，刻画两导信号在相同频段下的、实时相位差的相关性；

步骤3.2)：面向尺度k下的粗粒化时间序列，基于各导联脑电信号的幅值进行能量相关性计算，即，刻画两导信号在相同频段下的、信号能量波动模态上的相关性；

步骤3.4)：以上述计算得到的多导联脑电信号间的相位、幅值相关程度作为量化标准，分别计算尺度k下的幅、相空间的加权邻接矩阵，构成2τ个多尺度幅、相加权脑功能网络。

4.根据权利要求1所述的方法，其特征在于，5)的步骤如下：

步骤5.1)：设计神经网络误差反传结构，采用式(2)的方法计算多尺度神经网络的误差E，其中，graph_k是第k尺度脑功能网络；l_k是第k尺度卷积神经网络通路的输出，C_real是脑电信号的真实类别；

步骤5.2)：设计损失函数，以各通路卷积神经网络决策结果的误差的相关性作为损失函数的惩罚因子Ω，附加至损失函数Loss中，正则惩罚项Ω的计算方式如式(3)-(5)所示：首先，计算模糊神经网络的决策融合输出O_fusion，其中，f_k是模糊门控单元产生的τ个输出，用其对τ个决策分别加权，它是卷积神经网络的后验分布，c_k表示第k个决策模型；o_k表征第k个决策模型c_k的输出：

其次，计算各通路卷积神经网络决策结果o_k同最终决策结果的误差ψ_k：

ψ_k＝o_k-O_fusion (4)

最后，构成如公式(5)的正则惩罚项Ω，其中，为第k₁与第k₂通路决策结果同最终决策结果间的误差的相关性，求τ个决策误差两两间相关性的均值，用介于0、1之间的控制参数λ，控制学习过程中对“去相关性”的偏好程度；

将上述正则惩罚项Ω附加至式(6)所示的损失函数中，其中，L表示指数函数等常见代价函数，用模糊门控单元产生的τ个输出f_k进行加权求和构成总损失：

5.根据权利要求1所述的方法，其特征在于，在5)的训练多尺度神经网络过程中，多通路卷积神经网络中的参数与模糊门控单元中的参数一同在该损失函数的驱动下参与训练，构成包括单尺度决策与多尺度信息融合在内的完整学习机。