CN108420429A - 一种基于多视角深度特征融合的脑电癫痫自动识别方法 - Google Patents

Abstract

本发明公开了一种基于多视角深度特征融合的脑电癫痫自动识别方法，属于生物医学工程和机器学习领域。本发明通过表达脑电时频图谱并利用深度学习训练多视角深度特征融合模型，使其融合特征在提升算法性能的同时具有鲁棒性。与现有技术相比，本发明有效结合信号处理和深度学习技术提取脑电数据在时间和通道上不同角度信息，共同表达癫痫特征并提高自动识别准确率。

Description

一种基于多视角深度特征融合的脑电癫痫自动识别方法

技术领域

本发明涉及生物医学工程和机器学习领域，尤其涉及一种基于多视角深度特征融合的脑电癫痫自动识别方法。

背景技术

癫痫是一种常见的慢性神经疾病，对患者身体健康有极大危害，其中我国大约有600万左右的癫痫患者，并且每年以65-70万的速度快速增长。癫痫是由大脑神经元异常放电所引起的脑部疾病，其主要症状表现为抽搐、精神异常、发作性意识改变等。目前癫痫病的检测主要由医学专家根据记录的多通道脑电图(electroencephalogram，EEG)通过视觉检测进行诊断。由于癫痫发作的不确定性，医生通常需要对病人的脑电图进行长期监控。但人工检测时间长、效率低等问题容易导致误诊漏诊的情况。因此，实现脑电癫痫信号的自动识别有助于减轻医疗工作者的工作量，并且可以有效避免主观因素干扰，在医学应用中具有现实重大的意义。

近年来，基于机器学习技术的脑电癫痫自动识别方法得到了广泛的关注，其中脑电特征提取是机器学习算法中的重要一环，因为它旨在捕获具有独特意义且能直接影响癫痫检测结果的信号特征。目前国内外针对脑电癫痫特征提取的研究主要集中在深度学习特征提取算法。虽然深度学习模型可以自动提取脑电信号的非线性特征并提升检测效果，但它只是停留在简单应用层面，其模型忽略了脑电独有的信号特征表达和多通道时序关系。因此，如何结合深度学习技术有效提取脑电数据在时间和通道上的多关联信息从而共同表达癫痫特征，是技术人员需要攻克的一个难题。

发明内容

本发明的目的在于解决现有深度学习算法在脑电癫痫自动识别中的不足，提出一种基于多视角深度特征融合的脑电癫痫自动识别方法，即通过引入信号处理方法表达脑电时频图谱，并结合深度学习技术提取多通道脑电信号在不同层面的上下文特征，使其融合特征在提升算法性能的同时具有鲁棒性。

为实现以上目的，本发明采用的技术方案是，1、一种基于多视角深度特征融合的脑电癫痫自动识别方法，其特征在于：包括以下步骤，

S1采集多通道脑电数据X，并对所采集的多通道脑电数据X进行癫痫标注Y，将多通道脑电数据X以及已标注的多通道脑电数据Y作为训练数据集{(X⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，m为训练样本数量；

S2对训练数据集中的多通道脑电信号使用短时傅里叶变换表达脑电信号的时频信息，并按照时间方向定长分块，得到多通道脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}；对于一个通道的脑电信号x(t)，利用短时傅里叶变换表达脑电时频信息s的公式如下：

其中，τ为时间索引，用来定位脑电信号并调用窗函数w(t)

进行傅里叶变换；t表示时间，j为脑电信号的定长分块长度；

S3用脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}训练多视角深度特征融合模型；

S4采集待识别多通道脑电信号X，并用S2获得多通道脑电时频矩阵S；

S5对待识别多通道脑电时频矩阵S进行多视角深度特征提取；

S6利用特征融合算法将S4得到的特征整合为特征向量H，并输入到预先训练好的SVM分类器中，得到分类器输出Y；其中，对于多通道脑电时频矩阵S，特征融合公式如下：

其中，为矢量连接操作符；

S7按照分类器输出结果Y，对待识别数据X的脑电类型即癫痫或非癫痫进行标记识别；至此，完成基于多视角深度特征融合的脑电癫痫自动识别过程。

S3具体实现如下，

S3.1基于无标注训练集{S⁽ⁱ⁾,i＝1,2,…,m}计算全局主成分分析模块，并提取特征向量U；

S3.2基于无标注训练集{S⁽ⁱ⁾,i＝1,2,…,m}无监督训练深度栈式降噪自编码器模块；

S3.3考虑时序信息，基于T个时间戳长度的无标注脑电时频矩阵时序序列训练集无监督训练脑波嵌入模块；

S3.4基于脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，利用a-c)模块融合特征获得训练集{(H⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，并有监督训练支持向量机分类器。

S5具体实现如下，

S5.1通道间上下文特征H₁：使用全局主成分分析从原始特征空间中选择全通道信号的主要特征H₁，该主要特征H₁反应了在相同时间戳下各通道之间的上下文信息；对于多通道脑电时频矩阵序列S，使用全局主成分分析提取通道间上下文特征H₁的公式如下：

其中，U为预先训练好的特征向量，选取前k个成分向量提取通道间上下文特征；

S5.2通道内上下文特征H₂：利用预先训练好的深度栈式降噪自编码器压缩编码降低特征维度，并提取信号单通道内各信号片段的上下文特征H₂，该上下文特征H₂反应了单通道内的上下文信息；对于具有C个通道的脑电时频矩阵S＝{s₁,s₂,…,s_C}，利用深度栈式降噪自编码器提取通道内上下文特征H₂的公式如下：

其中，Θ＝{W_k1,W_k2,b_k1,b_k2,k＝1,…,C}为编码器中预先训练好的参数，函数f(·)为sigmoid激活函数f(z)＝1/(1+e^-z)；

S5.3语义上下文特征H₃：使用预先训练好的基于深度学习的脑波嵌入模型提取信号动态特征H₃，该信号动态特征H₃反映了信号的上下文语义信息；对于多通道脑电时频矩阵S，使用脑波嵌入模型提取语义上下文特征H₃的公式如下：

其中，函数Translate(·)为脑波嵌入模型中预先训练好的字典函数。

与现有技术相比，本发明的优点在于：首先，本发明将脑波时频谱图作为深度学习模型输入，通过结合信号处理和图像处理技术，不仅提取了信号的时频信息，而且学习了频谱图的二维特征。其次，本发明表达脑波不同层面信息，充分结合脑波信号多通道特点，从不同角度提取信号深度特征。最后，本发明结合多上下文融合学习方法，整合不同层面的脑波信号上下文特征进行脑波癫痫自动识别。经试验，上述方法在基准数据库上的脑电癫痫识别准确率和检全率较高，准确率95％以上，检全率95％以上。

附图说明

图1是本发明基于多视角深度特征融合的脑电癫痫自动识别方法流程示意图。

图2是深度栈式降噪自编码器模块的无监督训练示意图。

图3是脑波嵌入模块的无监督训练示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明：

图1为基于多视角深度特征融合的脑电癫痫自动识别方法流程示意图，包括以下步骤：

步骤1、采集多通道脑电数据X，并对所采集的数据进行癫痫标注Y，将这些已标注的数据作为训练数据集{(X⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，其中m为训练样本数量。

步骤2、对训练集中的多通道脑电信号使用短时傅里叶变换表达脑电信号的时频信息，并按照时间方向定长分块，得到多通道脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}。其中，对于一个通道的脑电信号x(t)，利用短时傅里叶变换表达脑电时频信息s_x的公式如下：

其中，τ为时间索引，用来定位信号并调用窗函数w(t)进行傅里叶变换。

步骤3、用脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}训练多视角深度特征融合模型，具体为：

步骤3-1、基于无标注训练集{S⁽ⁱ⁾,i＝1,2,…,m}进行全局主成分分析，并提取特征向量U。具体地，首先基于无标注训练集计算协方差矩阵Σ：

随后对矩阵Σ进行奇异值分解获得特征向量U。对于任意脑波矩阵样本S⁽ⁱ⁾，可通过选取前p个成分向量计算通道间上下文特征

步骤3-2、无监督训练深度栈式降噪自编码器模块。图2是深度栈式降噪自编码器模块的无监督训练示意图。具体地，对于具有C个通道的无标注训练集{S⁽ⁱ⁾,i＝1,2,…,m}，其中 分别训练各通道参数{W_k1,W_k2,b_k1,b_k2}，其成本函数为：

其中，为的重构，定义为：

其中，函数f(·)为sigmoid激活函数f(z)＝1/(1+e^-z)，为的编码。在分别训练各通道后，获得由参数组Θ＝{W_k1,W_k2,b_k1,b_k2,k＝1,…,C}构建的深度栈式降噪自编码器。对于任意脑波矩阵样本S⁽ⁱ⁾，可计算通道内上下文特征

步骤3-3、无监督脑波嵌入模块。图3是脑波嵌入模块的无监督训练示意图。具体地，对于具有T个时间戳长度的无标注脑电时频矩阵时序序列训练集首先使用步骤3-2中训练的深度栈式降噪自编码器将数据编码为向量时序序列集随后对向量时序序列集进行能量池化，并用最大能量位置数据索引各时间戳t，即脑波词序列基于脑波词序列，无监督训练脑波嵌入模块，其损失函数为：

其中，ctx(w_t)表示词w_t的邻居词，p(w_t|ctx(w_t))表示为分级softmax预测器。经过训练后，可获得字典函数Translate(·)，用来将当前词通过查询脑波字典翻译为对应特征向量。对于任意脑波矩阵样本S⁽ⁱ⁾，可计算通道内上下文特征

步骤3-4、有监督训练支持向量机分类器。具体地，对于脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，首先通过整合步骤3-1、3-2和3-3提取的特征，获得多视角深度特征训练集{(H⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，其中特征融合公式为：

其中，为矢量连接操作符。随后使用多视角深度特征训练集对SVM分类器进行训练，建立多视角深度特征融合模型。

步骤4、采集待识别多通道脑电信号X，对待识别数据使用短时傅里叶变换表达脑电信号的时频信息，并按照时间方向定长(3秒)分块，得到脑电时频矩阵S。其中，对于一个通道的脑电信号x(t)，利用短时傅里叶变换表达脑电时频信息s_x的公式如下：

其中，τ为时间索引，用来定位信号并调用窗函数w(t)进行傅里叶变换。

步骤5、对待识别多通道脑电时频矩阵S进行多视角深度特征提取，具体为：

步骤5-1、提取通道间上下文特征H₁。使用全局主成分分析从原始特征空间中选择全通道信号的主要特征H₁，该特征反应了在相同时间戳下各通道之间的上下文信息。具体地，对于多通道脑电时频矩阵S，使用全局主成分分析提取通道间上下文特征H₁的公式如下：

其中，U为预先训练好的特征向量，选取前p个成分向量提取通道间上下文特征。

步骤5-2、提取通道内上下文特征H₂。利用预先训练好的深度栈式降噪自编码器压缩编码降低特征维度，并提取信号单通道内各信号片段的上下文特征H₂，该特征反应了单通道内的上下文信息。具体地，对于具有C个通道的脑电时频矩阵S＝{s₁,…,s_k,…,S_C}，利用深度栈式降噪自编码器提取通道内上下文特征H₂的公式如下：

其中，{W_k1,b_k1,k＝1,…,C}为编码器中预先训练好的参数，函数f(·)为sigmoid激活函数f(z)＝1/(1+e^-z)。

步骤5-3、提取语义上下文特征H₃。使用预先训练好的基于深度学习的脑波嵌入模型提取信号动态特征H₃，该特征反映了信号的上下文语义信息。其中，对于多通道脑电时频矩阵S，使用脑波嵌入模型提取语义上下文特征H₃的公式如下：

其中，函数Translate(·)为脑波嵌入模型中预先训练好的字典函数。

步骤6、利用特征融合算法将步骤4得到的特征整合为特征向量H，并输入到预先训练好的SVM分类器中，得到分类器输出Y。其中，对于多通道脑电时频矩阵S，特征融合公式如下：

其中，为矢量连接操作符。

步骤7、按照分类器输出结果Y，对待识别数据X的脑电类型(癫痫、非癫痫)进行标记识别。至此，完成基于多视角深度特征融合的脑电癫痫自动识别过程。经试验，上述方法在基准数据库上的脑电癫痫识别准确率和检全率较高，准确率95％以上，检全率95％以上。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、修正等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多视角深度特征融合的脑电癫痫自动识别方法，其特征在于：包括以下步骤，

S1采集多通道脑电数据X，并对所采集的多通道脑电数据X进行癫痫标注Y，将多通道脑电数据X以及已标注的多通道脑电数据Y作为训练数据集{(X⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，m为训练样本数量；

S2对训练数据集中的多通道脑电信号使用短时傅里叶变换表达脑电信号的时频信息，并按照时间方向定长分块，得到多通道脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}；对于一个通道的脑电信号x(t)，利用短时傅里叶变换表达脑电时频信息s的公式如下：

其中，τ为时间索引，用来定位脑电信号并调用窗函数w(t)进行傅里叶变换；t表示时间，j为脑电信号的定长分块长度；

S3用脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}训练多视角深度特征融合模型；

S4采集待识别多通道脑电信号X，并用S2获得多通道脑电时频矩阵S；

S5对待识别多通道脑电时频矩阵S进行多视角深度特征提取；

S6利用特征融合算法将S4得到的特征整合为特征向量H，并输入到预先训练好的SVM分类器中，得到分类器输出Y；其中，对于多通道脑电时频矩阵S，特征融合公式如下：

H＝H₁⊕H₂⊕H₃

其中，⊕为矢量连接操作符；

S7按照分类器输出结果Y，对待识别数据X的脑电类型即癫痫或非癫痫进行标记识别；至此，完成基于多视角深度特征融合的脑电癫痫自动识别过程。

2.根据权利要求1所述的一种基于多视角深度特征融合的脑电癫痫自动识别方法，其特征在于：S3具体实现如下，

S3.1基于无标注训练集{S⁽ⁱ⁾,i＝1,2,…,m}计算全局主成分分析模块，并提取特征向量U；

S3.2基于无标注训练集{S⁽ⁱ⁾,i＝1,2,…,m}无监督训练深度栈式降噪自编码器模块；

S3.3考虑时序信息，基于T个时间戳长度的无标注脑电时频矩阵时序序列训练集无监督训练脑波嵌入模块；

S3.4基于脑电时频矩阵训练集{(S⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，利用a-c)模块融合特征获得训练集{(H⁽ⁱ⁾,Y⁽ⁱ⁾),i＝1,2,…,m}，并有监督训练支持向量机分类器。

3.根据权利要求1所述的一种基于多视角深度特征融合的脑电癫痫自动识别方法，其特征在于：S5具体实现如下，

S5.1通道间上下文特征H₁：使用全局主成分分析从原始特征空间中选择全通道信号的主要特征H₁，该主要特征H₁反应了在相同时间戳下各通道之间的上下文信息；对于多通道脑电时频矩阵序列S，使用全局主成分分析提取通道间上下文特征H₁的公式如下：

其中，U为预先训练好的特征向量，选取前k个成分向量提取通道间上下文特征；

S5.2通道内上下文特征H₂：利用预先训练好的深度栈式降噪自编码器压缩编码降低特征维度，并提取信号单通道内各信号片段的上下文特征H₂，该上下文特征H₂反应了单通道内的上下文信息；对于具有C个通道的脑电时频矩阵S＝{s₁,s₂,…,s_C}，利用深度栈式降噪自编码器提取通道内上下文特征H₂的公式如下：

其中，Θ＝{W_k1,W_k2,b_k1,b_k2,k＝1,…,C}为编码器中预先训练好的参数，函数f(·)为sigmoid激活函数f(z)＝1/(1+e^-z)；

S5.3语义上下文特征H₃：使用预先训练好的基于深度学习的脑波嵌入模型提取信号动态特征H₃，该信号动态特征H₃反映了信号的上下文语义信息；对于多通道脑电时频矩阵S，使用脑波嵌入模型提取语义上下文特征H₃的公式如下：

其中，函数Translate(·)为脑波嵌入模型中预先训练好的字典函数。