CN118021324B - 一种基于混合脉冲深层网络的癫痫脑电信号识别方法 - Google Patents
一种基于混合脉冲深层网络的癫痫脑电信号识别方法 Download PDFInfo
- Publication number
- CN118021324B CN118021324B CN202410432089.2A CN202410432089A CN118021324B CN 118021324 B CN118021324 B CN 118021324B CN 202410432089 A CN202410432089 A CN 202410432089A CN 118021324 B CN118021324 B CN 118021324B
- Authority
- CN
- China
- Prior art keywords
- pulse
- layer
- neuron
- network
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001037 epileptic effect Effects 0.000 title claims abstract description 56
- 210000004556 brain Anatomy 0.000 title claims description 39
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims abstract description 31
- 239000012634 fragment Substances 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 210000002569 neuron Anatomy 0.000 claims description 76
- 230000006870 function Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 16
- 210000005215 presynaptic neuron Anatomy 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 8
- 239000012528 membrane Substances 0.000 claims description 7
- 230000001242 postsynaptic effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 210000000225 synapse Anatomy 0.000 claims description 4
- 238000010304 firing Methods 0.000 claims description 3
- 230000003518 presynaptic effect Effects 0.000 claims description 3
- 230000000946 synaptic effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 description 35
- 206010010904 Convulsion Diseases 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 206010015037 epilepsy Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000005611 electricity Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000028329 epileptic seizure Diseases 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000001961 anticonvulsive agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及脑电信号处理技术领域，解决了现有技术难以将脑电信号时频信息与时空信息进行融合的技术问题，尤其涉及一种癫痫脑电信号识别方法，包括获取以固定频率采样并保存为单通道的原始脑电信号数据；对原始脑电信号数据进行数据切分得到脑电信号数据片段；将脑电信号数据片段输入到时频表示层得到不同频带的多通道脑电信号，并通过注意力网络层对时频特征进行特征加强；构建脉冲编码层将多通道脑电信号编码成多通道二值脉冲序列。本发明在保证了对于癫痫脑电信号识别精度的前提下，通过脉冲形式的网络学习和信息传递，降低了网络的数据负载和体量，提升了网络的运行速度，并且减少了能耗，在便携式设备上有广泛的应用前景。
Description
技术领域
本发明涉及脑电信号处理技术领域，尤其涉及一种基于混合脉冲深层网络的癫痫脑电信号识别方法。
背景技术
目前癫痫诊断主要依靠医生查验患者的脑电图来判断，但是人工检查存在较大的主观因素，并且耗时耗力。因此脑电信号的癫痫自动识别技术将有助于减轻医生的负担和提高癫痫疾病的诊断效率。由于脑电信号振荡剧烈并且波形复杂，因此脑电信号的分析和处理一直很困难。传统的方法主要根据时序特征来分析脑电信号，忽略了其空间信息和时频特性，导致对于癫痫脑电信号的识别效果并不是很理想。
近年来，随着深度神经网络的蓬勃发展，卷积神经网络和循环神经网络已经在计算机视觉、自然语言处理等领域取得了不错的效果，许多研究者也开始用深度神经网络的方法来进行癫痫脑电信号识别。通过结合卷积神经网络和循环神经网络的混合深度网络模型可以同时提取时空特征，具有更好的癫痫发作检测性能。
但是，一方面由于脑电的波形复杂，且振荡剧烈，直接运用深层网络的堆栈机构来提取的脑电癫痫特征信息有限，没有发挥出其提取有效特征的性能；另一方面，传统神经网络过于庞大的模型结构和复杂的计算过程导致难以运用到实际癫痫发作监测中。
发明内容
针对现有技术的不足，本发明提供了一种基于混合脉冲深层网络的癫痫脑电信号识别方法，解决了现有技术难以将脑电信号时频信息与时空信息进行融合的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：一种基于混合脉冲深层网络的癫痫脑电信号识别方法，该方法包括以下步骤：
S1、获取以固定频率采样并保存为单通道的原始脑电信号数据；
S2、对原始脑电信号数据进行数据切分得到脑电信号数据片段；
S3、将脑电信号数据片段输入到时频表示层得到不同频带的多通道脑电信号，并通过注意力网络层对时频特征进行特征加强；
S4、构建脉冲编码层将多通道脑电信号编码成多通道二值脉冲序列；
S5、构建混合脉冲深层网络对多通道二值脉冲序列进行特征映射，用以提取脑电信号中与空间信息和时间信息相对应的时空特征；
S6、构建脉冲全连接网络对从脑电信号中提取的时频特征、时空特征进行特征融合；
S7、运用脉冲神经元突触学习机制对混合脉冲深层网络进行更新，并应用于对癫痫脑电信号的识别分类。
进一步地，在步骤S4中，具体为通过LIF神经元模型构建脉冲编码层，对优化后的多通道脑电信号编码为多通道二值脉冲序列，其中LIF神经元模型为：
；
上式中，是时间常数表示神经元膜电位随时间衰减的速度；/>表示神经元的模电位；而/>表示时间t时突出前神经元的输入，多通道脑电信号/>通过脉冲编码层映射编码成为多通道二值脉冲序列/>的脑电信号。
进一步地，所述脉冲编码层基于脉冲卷积层完成构建并作为混合脉冲深层网络的最上层，将实值的多通道脑电信号通过脉冲卷积和LIF神经元的映射，转化为脉冲形式的二值输出为多通道二值脉冲序列，脉冲编码层之间的数据传输形式是脉冲二值序列，其脉冲卷积的表达式为：
；
上式中，表示时间t时第n层的神经元i的输入；/>是突触前神经元的输出；/>表示n-1层中连接神经元i的突触前神经元；/>表示连接神经元i与神经元j的权重。
进一步地，在步骤S5中，所述混合脉冲深层网络包括基于LIF神经元模型构建用于提取多通道二值脉冲序列空间信息的脉冲卷积网络，以及用于提取多通道二值脉冲序列时间信息的脉冲Bi-LSTM网络；
所述脉冲卷积网络包括5个卷积层、2个批标准化层和5个LIF神经元层，卷积层通过不同大小的卷积和对不同区域的数据信息进行特征提取，得到不同的空间特征；
所述脉冲Bi-LSTM网络包括3个脉冲Bi-LSTM层和2个Dropout层，脉冲卷积网络输出的新的脑电信号特征矩阵输入到脉冲Bi-LSTM网络进行脑电信号时间信息的获取。
进一步地，所述脉冲卷积网络的网络层之间神经元连接的表达式为：
；
；
；
上式中，表示时间t时第n层的神经元i的膜电位；/>是突触前神经元的输出；/>表示n-1层中连接神经元i的突触前神经元；/>表示连接神经元i与神经元j的权重；k是衰减因子；V表示脉冲神经元的阈值电压。
进一步地，所述脉冲Bi-LSTM网络包括依次连接的第一层脉冲Bi-LSTM层，第二层Dropout层，第三层脉冲Bi-LSTM层，第四层Dropout层，第五层脉冲Bi-LSTM层。
进一步地，脉冲Bi-LSTM层的结构为：
；
；
；
；
；
；
上式中，，/>，/>分别表示脉冲LSTM层第n层t时刻的遗忘门、输入门和输出门；/>，/>，/>分别表示脉冲出入、脉冲隐状态和脉冲输出；/>，/>分别表示和传统LSTM单元对应的替代脉冲激活函数；/>，/>，/>，/>，/>，/>，/>，和/>，/>，/>，/>，/>，/>，/>，/>分别表示各自连接的权重和偏置；运算*表示Hadamard积。
进一步地，所述脉冲全连接网络由两层脉冲线性层和脉冲softmax层构成，通过脉冲全连接层的特征融合，得到最后一层的脉冲输出，第一层脉冲线性层的维数为16，第二层脉冲线性层的维数为2，最后的分类结果通过softmax函数实现。
进一步地，在步骤S7中，具体过程包括：
构建混合脉冲深层网络的损失函数，表达式为：
；
上式中，T表示总的时间步长，Y表示数据真实标签，表示最后层在时间t的脉冲序列输出；
运用STDP学习机制来调整突触前后神经元的连接权值，突触权值的改变量用表示，则/>的表达式为：
；
；
上式中，，表示突触后神经元j的脉冲发放时间/>与突触前神经元i的脉冲发放时间/>的时间差；/>和/>是影响指数衰减速率的时间常数；/>和/>表示学习速率。
借由上述技术方案，本发明提供了一种基于混合脉冲深层网络的癫痫脑电信号识别方法，至少具备以下有益效果：
1、本发明所提出的癫痫脑电信号识别方法用于实现单通道脑电信号的脑电癫痫识别，相对于传统深度网络实现的癫痫识别，本发明在保证了精度的前提下，通过脉冲形式的网络学习和信息传递，降低了网络的数据负载和体量，提升了网络的运行速度，并且减少了能耗，在便携式设备上有广泛的应用前景。
2、本发明充分考虑不同类型深度网络的特征，通过融合传统神经网络的注意力机制和混合脉冲深层网络，在充分利用脑电信号时频特征的同时，有效地提取脉冲形态脑电信号的时间信息和空间信息，从而解决了现有技术难以将脑电信号时频信息与时空信息进行融合的问题，进而达到提高癫痫检测准确率的目的。
3、本发明将传统神经网络注意力机制与脉冲神经网络结合，充分利用脉冲神经网络对时序信号处理的特点，提高了模型的性能和泛化能力的同时，降低了网络的能耗。与现有技术相比，本发明对癫痫脑电识别正确率高，能耗小，对于诊断和自动识别癫痫脑疾病的轻量化设备实现具有重要意义。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明癫痫脑电信号识别方法的流程图；
图2为本发明脑电信号通过时频表示层得到的多通道脑电信号图；
图3为本发明实值脑电数据经过脉冲卷积编码层映射成脉冲序列的示意图；
图4为本发明脉冲卷积网络的网络结构图；
图5为本发明脉冲卷积层之间信息传递的示意图；
图6为本发明脉冲Bi-LSTM网络的网络结构图；
图7为本发明全连接网络的网络结构图；
图8为本发明所提出的癫痫脑电信号识别方法与其它先进方法的结果对比图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
癫痫是一种由多种因素引起的脑部异常放电而产生的疾病，其发作会严重影响患者的身体机能，对患者大脑功能造成不可逆的损害，及时发现癫痫发作并给予患者抗癫痫药物治疗至关重要。目前癫痫诊断主要依靠医生查验患者的脑电图来判断，但是人工检查存在较大的主观因素，并且耗时耗力。因此脑电信号的癫痫自动识别技术将有助于减轻医生的负担和提高癫痫疾病的诊断效率。
脉冲神经网络（Spiking Neural Network，SNN）是第三代人工智能网络，其主要模仿人脑的信息传递模式，属于类脑人工智能。脉冲神经网络通过具有时序动力学功能的神经元模型和二值化信息传递方式，来模拟大脑的生物学学习模式，具有强大的时空信息表示能力、异步事件信息处理能力和低功耗学习能力等。目前以深度神经网络为代表的人工神经网络，其通过连续值进行信息传递，在识别和分类的任务上取得了良好的表现，但是其未能模仿大脑的学习模式和信息传递方式，距离达到人脑水平的类人智能还有很大差距。面对深度神经网络发展日益受限的情况下，深度人工神经网络与脉冲神经网络的交叉融合与优势互补已成为新一代人工神经网络的趋势。
脑电信号振荡剧烈并且波形复杂，因此脑电信号的分析和处理一直很困难。传统的方法主要根据时序特征来分析脑电信号，忽略了其空间信息和时频特性，效果并不是很理想。近年来，随着深度神经网络的蓬勃发展，卷积神经网络和循环神经网络已经在计算机视觉、自然语言处理等领域取得了不错的效果，许多研究者也开始用深度神经网络的方法来进行癫痫脑电信号识别。通过结合卷积神经网络和循环神经网络的混合深度网络模型可以同时提取时空特征，具有更好的癫痫发作检测性能。但是，一方面，由于脑电的波形复杂，且振荡剧烈，直接运用深层网络的堆栈机构来提取的脑电癫痫特征信息有限，没有发挥出其提取有效特征的性能；另一方面，传统神经网络过于庞大的模型结构和复杂的计算过程导致难以运用到实际癫痫发作监测中。
脉冲神经网络，由于其具有处理复杂时空模式数据的能力，且具有合理的生物可解释性和较低的能耗，在脑电癫痫识别方面具有巨大的潜能。但是，受限于脉冲神经网络的计算模式，目前其算法应用到脑电癫痫识别方面的准确率还有待提高。
基于以上技术问题，本发明提出一种基于混合脉冲深层网络模型的脑电癫痫识别方法，通过传统神经网络与脉冲神经网络融合，利用时频注意力机制提取具有判别性的脑电特征，并使用脉冲混合网络达到能耗的减少的性能的提升，同时也能满足未来搭载于便携式设备的要求。
基于上述现有技术所存在的技术问题，请参照图1-图8，示出了本实施例的一种具体实施方式，一种基于混合脉冲深层网络的癫痫脑电信号识别方法，本实施例通过获取原始脑电信号；对原始脑电信号进行切分得到脑电信号数据片段；将脑电数据片段输入到时频表示层得到不同频带的多通道脑电信号，并通过注意力网络层进行时频特征加强；之后通过脉冲卷积的编码层将其编码成多通道脉冲序列；基于脉冲神经元模型构建包含脉冲卷积网络和脉冲Bi-LSTM网络的混合深层脉冲网络对多通道脉冲序列进行特征映射，提取脑电信号的时空信息；最后通过脉冲全连接网络进行癫痫脑电信号分类，并基于脉冲神经元突触学习机制，对构建的脉冲深层网络进行更新，得到癫痫脑电信号识别模型。该方法包括以下步骤：
S1、获取以固定频率采样并保存为单通道的原始脑电信号数据，原始脑电信号数据是采用10-20国际标准导联放置系统记录，以173.61Hz的频率采样并保存为单通道脑电信号。每个脑电信号采样持续时间为23.6s，包含4097数据点。
S2、对原始脑电信号数据进行数据切分得到脑电信号数据片段，将连续的脑电信号划分成脑电信号片段，即对脑电信号数据进行分割处理，将每个脑电信号分为23个片段，每段脑电信号包含178个数据点。
为了对所构建的混合脉冲深层网络进行训练以及测试，在切分为脑电信号数据后另存数据划分为训练集和测试集，具体如下：
设脑电信号片段数据为X，标签设置为Y，将脑电数据X和标签Y作为脑电信号数据集，L为样本数量。标签/>设置为A-E，分别对应标签A：癫痫间隔中从病变内部收集到的脑电信号记录；标签B：癫痫间隔中从病变的相对侧收集到的脑电信号记录；标签C：受试者闭上眼睛时收集的脑电图记录；标签D：癫痫时期从病变内部收集到的脑电信号记录；标签E：受试者睁开眼睛时收集的脑电图记录。对脑电信号数据集B按9:1的比例划分为训练集/>和测试集/>。
S3、将脑电信号数据片段输入到时频表示层得到不同频带的多通道脑电信号，并通过注意力网络层对时频特征进行特征加强；使用小波变换方法对脑电信号数据片段进行时频表示，得到4个不同时频特征的波段、/>、/>、/>，脑电信号数据片段/>输入时频表示层后得到多通道时频表示/>，单通道的脑电信号数据片段/>扩展为带有不同时频特征的多通道脑电信号/>，如图2所示。多通道脑电信号输入到注意力网络层进一步优化脑电信号时频特征的质量，并得到输出/>。
本实施例通过使用注意力网络结构，可以优化脑电信号的时频特征，其通过通道注意力机制的网络结构，将原始脑电信号和4种不同的时频表示作为不同的通道，通过注意力机制自适应地调整不通波段的时频特征对分类任务的重要程度，优化了时频特征的质量。
S4、构建脉冲编码层将多通道脑电信号编码成多通道二值脉冲序列；脉冲神经元模型作为脉冲神经网络特有的神经元模型，是脉冲神经网络信息传输的最基本的单位，本发明采用LIF（Leaky Integrity Fire）神经元模型。具体为通过LIF神经元模型构建脉冲编码层，对优化后的多通道脑电信号编码为多通道二值脉冲序列，其中LIF神经元模型为：
；
上式中，是时间常数表示神经元膜电位随时间衰减的速度；/>表示神经元的模电位；而/>表示时间t时突出前神经元的输入，多通道脑电信号/>通过脉冲编码层映射编码成为多通道二值脉冲序列/>的脑电信号，如图3所示。脉冲编码层基于脉冲卷积层完成构建并作为混合脉冲深层网络的最上层，将实值的多通道脑电信号通过脉冲卷积和LIF神经元的映射，转化为脉冲形式的二值输出为多通道二值脉冲序列。
与传统CNN层之间信息以实数形式传递不同，脉冲编码层之间的数据传输形式是脉冲二值序列，其脉冲卷积的表达式为：
；
上式中，表示时间t时第n层的神经元i的输入；/>是突触前神经元的输出；/>表示n-1层中连接神经元i的突触前神经元；/>表示连接神经元i与神经元j的权重。
S5、构建混合脉冲深层网络对多通道二值脉冲序列进行特征映射，用以提取脑电信号中与空间信息和时间信息相对应的时空特征；混合脉冲深层网络包括基于LIF神经元模型构建用于提取多通道二值脉冲序列空间信息的脉冲卷积网络，脉冲卷积网络结构如图4所示，脉冲卷积网络包括5个卷积层、2个批标准化层和5个LIF神经元层，卷积层通过不同大小的卷积和对不同区域的数据信息进行特征提取，得到不同的空间特征；脉冲卷积网络的网络层之间神经元连接的表达式为：
；
；
；
上式中，表示时间t时第n层的神经元i的膜电位；/>是突触前神经元的输出；/>表示n-1层中连接神经元i的突触前神经元；/>表示连接神经元i与神经元j的权重；k是衰减因子；V表示脉冲神经元的阈值电压。
如图5所示，突触前神经元的输入进入到突触后神经元式，若膜电位达到阈值电压V，该神经元就会发出脉冲，实现信息的传递。通过构建脉冲卷积网络结构提取脑电信号的空间特征，脉冲卷积网络具体为：第一层为一维卷积层，维数为64，卷积核大小为15，时间步长为2，膨胀系数为2，激活函数为relu函数；第二层为批标准化层；第三层为LIF神经元层，阈值为0.5；第四层为一维卷积层，维数为64，卷积核大小为3，时间步长为1，膨胀系数3；第五层为LIF神经元层，阈值为0.5；第六层为一维卷积层，维数为64，卷积核大小为3，时间步长为2，膨胀系数为4，激活函数为relu函数；第七层为LIF神经元层，阈值为0.5；第八层为一维卷积层，维数为64，卷积核大小为3，时间步长为1，膨胀系数为5；第九层为LIF神经元层，阈值为0.5；第十层为一维卷积层，维数为64，卷积核大小为3，时间步长为2，膨胀系数为10；激活函数为relu函数；第十一层为LIF神经元层，阈值为0.5；第十二层为批标准化层。多通道二值脉冲序列通过脉冲卷积网络得到新的脑电信号特征矩阵/>，再输入到脉冲Bi-LSTM网络中进行进一步的学习。
以及用于提取多通道二值脉冲序列时间信息的脉冲Bi-LSTM网络，所述脉冲Bi-LSTM网络包括3个脉冲Bi-LSTM层和2个Dropout层，脉冲卷积网络输出的新的脑电信号特征矩阵输入到脉冲Bi-LSTM网络进行脑电信号时间信息的获取；
脉冲Bi-LSTM网络包括依次连接的第一层脉冲Bi-LSTM层，第二层Dropout层，第三层脉冲Bi-LSTM层，第四层Dropout层，第五层脉冲Bi-LSTM层；脉冲Bi-LSTM网络如图6所示，脉冲Bi-LSTM网络由3个Bi-LSTM层构成。传统的LSTM网络具有记忆长短期信息的能力，通过门机制来构建LSTM单元来控制特征的保留和损失。受到传统LSTM网络结构的启发，也进一步挖掘脉冲序列之间的时间相关性，本实施例首次提出了脉冲Bi-LSTM网络，其中脉冲Bi-LSTM层的结构为：
；
；
；
；
；
；
上式中，，/>，/>分别表示脉冲LSTM层第n层t时刻的遗忘门、输入门和输出门；/>，/>，/>分别表示脉冲出入、脉冲隐状态和脉冲输出；/>，/>分别表示和传统LSTM单元对应的替代脉冲激活函数；/>，/>，/>，/>，/>，/>，/>，和/>，/>，/>，/>，/>，/>，/>，/>分别表示各自连接的权重和偏置；运算*表示Hadamard积。脉冲输入序列分别以正序和逆序输入至3个脉冲LSTM层得到Bi-LSTM网络层。本发明使用三层脉冲Bi-LSTM层来进行提取多通道二值脉冲序列的空间信息，其中第一层脉冲Bi-LSTM层输出维数为64，第二层脉冲Bi-LSTM层输出维数为32，第三层脉冲Bi-LSTM层输出维数为16，其中二层Droupout层设置均为0.5，分别置于三层脉冲Bi-LSTM层的中间。脑电信号特征矩阵/>通过脉冲Bi-LSTM网络得到最终的脑电特征矩阵/>。
在本实施例中，多通道二值脉冲序列输入到由脉冲卷积网络和脉冲Bi-LSTM网络构成的混合脉冲深层网络中，通过脉冲卷积网络提取，得到脑电信号脉冲形式的空间信息，通过脉冲Bi-LSTM网络提取，获得脑电信号脉冲形式的时间信息，空间信息和时间信息共同组成时空特征。
S6、构建脉冲全连接网络对从脑电信号中提取的时频特征、时空特征进行特征融合；脉冲全连接网络将最终特征提取后的脑电信号输入脉冲全连接网络进行特征融合并且分类，将分类精度作为最终的评价指标。脉冲全连接网络由两层脉冲线性层和脉冲softmax层构成，通过脉冲全连接层的特征融合，得到最后一层的脉冲输出，如图7所示，第一层脉冲线性层的维数为16，第二层脉冲线性层的维数为2，最后的分类结果通过softmax函数实现。
S7、运用脉冲神经元突触学习机制对混合脉冲深层网络进行更新，并应用于对癫痫脑电信号的识别分类。在步骤S7中，具体过程为：
构建混合脉冲深层网络的损失函数，表达式为：
；
上式中，T表示总的时间步长，Y表示数据真实标签，表示最后层在时间t的脉冲序列输出；
运用STDP学习机制来调整突触前后神经元的连接权值，突触权值的改变量用表示，则/>的表达式为：
；
；
上式中，，表示突触后神经元j的脉冲发放时间/>与突触前神经元i的脉冲发放时间/>的时间差；/>和/>是影响指数衰减速率的时间常数；/>和/>表示学习速率。
本实施例将传统神经网络注意力机制与脉冲神经网络结合，充分利用脉冲神经网络对时序信号处理的特点，提高了模型的性能和泛化能力的同时，降低了网络的能耗。与现有技术相比，本发明对癫痫脑电识别正确率高，能耗小，对于诊断和自动识别癫痫脑疾病的轻量化设备实现具有重要意义。
在本实施例中，还需要使用训练集训练所构建的混合脉冲深层网络并保存模型系统参数，并用训练好的模型在测试集/>上验证模型系统的有效性，最后进一步对输出结果进行分析。
为了对本发明所提出癫痫脑电信号识别方法的有效性以及识别精度进行验证，本实施例通过取真实的癫痫脑电信号的分类精确度，作为本发明的实施例验证癫痫脑电信号的识别效果，并将本发明与目前先进的癫痫脑电识别方法进行比较。
实验数据来自波恩大学医院癫痫中心的脑电数据集。该数据集是目前脑电癫痫发作识别领域中使用最广泛的数据集，包含五个标签的数据(表示为A-E) ，每个标签包含100个持续时间为23.6秒的单通道脑电信号。数据集是使用标准的10-20电极放置系统记录的数据，以173.61Hz的频率进行采样。
图8显示了本发明所提出的癫痫脑电信号识别方法与最新的传统人工神经网络构建的混合深层网络(Xuanjie Qiu.Fang Yan.Haihong Liu.A difference attentionResNet-LSTM network (DRARNet) for epileptic seizure detection using EEGsignal，Biomedical Signal Processing and Control，2023，83：104652)脑电癫痫识别精度的比较图，可以看出与传统人工神经网络相比，在满足生物可解释性和较小模型规模的情况下，保证了识别的精度。
因此，本发明采用上述混合脉冲深层网络的癫痫脑电信号识别方法，解决了现在脉冲网络对脑电癫痫识别空白的问题。基于上述混合脉冲深层网络，提取到具有更优判别非癫痫脑电信号和癫痫脑电信号的特征，实现了高精度的分类效果，在脑电癫痫分类任务上取得了较高的分类精度，并且在便携式设备应用方面具有广泛前景。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于混合脉冲深层网络的癫痫脑电信号识别方法，其特征在于，该方法包括以下步骤：
S1、获取以固定频率采样并保存为单通道的原始脑电信号数据；
S2、对原始脑电信号数据进行数据切分得到脑电信号数据片段；
S3、将脑电信号数据片段输入到时频表示层得到不同频带的多通道脑电信号，并通过注意力网络层对时频特征进行特征加强；
S4、构建脉冲编码层将多通道脑电信号编码成多通道二值脉冲序列；
S5、构建混合脉冲深层网络对多通道二值脉冲序列进行特征映射，用以提取脑电信号中与空间信息和时间信息相对应的时空特征；
所述混合脉冲深层网络包括基于LIF神经元模型构建用于提取多通道二值脉冲序列空间信息的脉冲卷积网络，以及用于提取多通道二值脉冲序列时间信息的脉冲Bi-LSTM网络；
所述脉冲卷积网络包括5个卷积层、2个批标准化层和5个LIF神经元层，卷积层通过不同大小的卷积和对不同区域的数据信息进行特征提取，得到不同的空间特征；
所述脉冲Bi-LSTM网络包括3个脉冲Bi-LSTM层和2个Dropout层，脉冲卷积网络输出的新的脑电信号特征矩阵输入到脉冲Bi-LSTM网络进行脑电信号时间信息的获取；
S6、构建脉冲全连接网络对从脑电信号中提取的时频特征、时空特征进行特征融合；
S7、运用脉冲神经元突触学习机制对混合脉冲深层网络进行更新，并应用于对癫痫脑电信号的识别分类。
2.根据权利要求1所述的癫痫脑电信号识别方法，其特征在于，在步骤S4中，具体为通过LIF神经元模型构建脉冲编码层，对优化后的多通道脑电信号编码为多通道二值脉冲序列，其中LIF神经元模型为：
；
上式中，是时间常数表示神经元膜电位随时间衰减的速度；/>表示神经元的模电位；而/>表示时间t时突出前神经元的输入，多通道脑电信号/>通过脉冲编码层映射编码成为多通道二值脉冲序列/>的脑电信号。
3.根据权利要求2所述的癫痫脑电信号识别方法，其特征在于，所述脉冲编码层基于脉冲卷积层完成构建并作为混合脉冲深层网络的最上层，将实值的多通道脑电信号通过脉冲卷积和LIF神经元的映射，转化为脉冲形式的二值输出为多通道二值脉冲序列，脉冲编码层之间的数据传输形式是脉冲二值序列，其脉冲卷积的表达式为：
；
上式中，表示时间t时第n层的神经元i的输入；/>是突触前神经元的输出；表示n-1层中连接神经元i的突触前神经元；/>表示连接神经元i与神经元j的权重。
4.根据权利要求1所述的癫痫脑电信号识别方法，其特征在于，所述脉冲卷积网络的网络层之间神经元连接的表达式为：
；
；
；
上式中，表示时间t时第n层的神经元i的膜电位；/>是突触前神经元的输出；表示n-1层中连接神经元i的突触前神经元；/>表示连接神经元i与神经元j的权重；k是衰减因子；V表示脉冲神经元的阈值电压。
5.根据权利要求1所述的癫痫脑电信号识别方法，其特征在于，所述脉冲Bi-LSTM网络包括依次连接的第一层脉冲Bi-LSTM层，第二层Dropout层，第三层脉冲Bi-LSTM层，第四层Dropout层，第五层脉冲Bi-LSTM层。
6.根据权利要求1所述的癫痫脑电信号识别方法，其特征在于，脉冲Bi-LSTM层的结构为：
；
；
；
；
；
；
上式中，，/>，/>分别表示脉冲LSTM层第n层t时刻的遗忘门、输入门和输出门；，/>，/>分别表示脉冲出入、脉冲隐状态和脉冲输出；/>，/>分别表示和传统LSTM单元对应的替代脉冲激活函数；/>，/>，/>，/>，/>，/>，/>，/>和/>，/>，/>，/>，/>，/>，/>，/>分别表示各自连接的权重和偏置；运算*表示Hadamard积。
7.根据权利要求1所述的癫痫脑电信号识别方法，其特征在于，所述脉冲全连接网络由两层脉冲线性层和脉冲softmax层构成，通过脉冲全连接层的特征融合，得到最后一层的脉冲输出，第一层脉冲线性层的维数为16，第二层脉冲线性层的维数为2，最后的分类结果通过softmax函数实现。
8.根据权利要求1所述的癫痫脑电信号识别方法，其特征在于，在步骤S7中，具体过程包括：
构建混合脉冲深层网络的损失函数，表达式为：
；
上式中，T表示总的时间步长，Y表示数据真实标签，表示最后层在时间t的脉冲序列输出；
运用STDP学习机制来调整突触前后神经元的连接权值，突触权值的改变量用表示，则/>的表达式为：
；
；
上式中，，表示突触后神经元j的脉冲发放时间/>与突触前神经元i的脉冲发放时间/>的时间差；/>和/>是影响指数衰减速率的时间常数；/>和/>表示学习速率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410432089.2A CN118021324B (zh) | 2024-04-11 | 2024-04-11 | 一种基于混合脉冲深层网络的癫痫脑电信号识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410432089.2A CN118021324B (zh) | 2024-04-11 | 2024-04-11 | 一种基于混合脉冲深层网络的癫痫脑电信号识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118021324A CN118021324A (zh) | 2024-05-14 |
| CN118021324B true CN118021324B (zh) | 2024-06-21 |
Family
ID=90991634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410432089.2A Active CN118021324B (zh) | 2024-04-11 | 2024-04-11 | 一种基于混合脉冲深层网络的癫痫脑电信号识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118021324B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114983439A (zh) * | 2022-06-15 | 2022-09-02 | 四川省医学科学院·四川省人民医院 | 一种融合脉冲神经网络和二值动态网络的脑状态识别方法 |
| CN116842361A (zh) * | 2023-06-25 | 2023-10-03 | 安徽大学 | 基于时频注意力混合深度网络的癫痫脑电信号识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201209975D0 (en) * | 2012-06-06 | 2012-07-18 | Univ Exeter | Assessing susceptibility to epilepsy and epileptic seizures |
| US10307592B1 (en) * | 2015-10-23 | 2019-06-04 | Hrl Laboratories, Llc | Method and system to accelerate consolidation of specific memories using transcranial stimulation |
| CN110680313B (zh) * | 2019-09-30 | 2022-07-15 | 北京工业大学 | 一种基于脉冲群智能算法并结合stft-psd和pca的癫痫时期分类方法 |
| CN114841191A (zh) * | 2022-03-18 | 2022-08-02 | 西安电子科技大学 | 基于全连接脉冲神经网络的癫痫脑电信号特征压缩方法 |
-
2024
- 2024-04-11 CN CN202410432089.2A patent/CN118021324B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114983439A (zh) * | 2022-06-15 | 2022-09-02 | 四川省医学科学院·四川省人民医院 | 一种融合脉冲神经网络和二值动态网络的脑状态识别方法 |
| CN116842361A (zh) * | 2023-06-25 | 2023-10-03 | 安徽大学 | 基于时频注意力混合深度网络的癫痫脑电信号识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118021324A (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113627518B (zh) | 利用迁移学习实现神经网络脑电情感识别模型的方法 | |
| Sun et al. | Unsupervised EEG feature extraction based on echo state network | |
| CN111134666A (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
| CN112043260B (zh) | 基于局部模式变换的心电图分类方法 | |
| CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
| CN110037693A (zh) | 一种基于面部表情和eeg的情绪分类方法 | |
| CN114366124A (zh) | 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法 | |
| CN113995419A (zh) | 一种基于心跳节律信号的房颤发生风险预测系统及其应用 | |
| CN112932501A (zh) | 一种基于一维卷积神经网络自动识别失眠方法 | |
| Katsaouni et al. | Energy efficient convolutional neural networks for arrhythmia detection | |
| CN114224288A (zh) | 检测癫痫脑电信号的微型胶囊神经网络训练方法及设备 | |
| Guntari et al. | Classification of post-stroke EEG signal using genetic algorithm and recurrent neural networks | |
| Li et al. | GCNs–FSMI: EEG recognition of mental illness based on fine-grained signal features and graph mutual information maximization | |
| CN118021324B (zh) | 一种基于混合脉冲深层网络的癫痫脑电信号识别方法 | |
| Liu et al. | Automated Machine Learning for Epileptic Seizure Detection Based on EEG Signals. | |
| CN117370828A (zh) | 一种基于门控跨注意力机制的多模态特征融合情感识别方法 | |
| CN114841216B (zh) | 一种基于模型不确定性学习的脑电信号分类方法 | |
| CN116763324A (zh) | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 | |
| CN114052734B (zh) | 基于渐进式图卷积神经网络的脑电情感识别方法 | |
| CN113180701B (zh) | 一种用于图像标签标注的脑电信号深度学习方法 | |
| CN113516101B (zh) | 一种基于网络结构搜索的脑电信号情绪识别方法 | |
| CN114129138A (zh) | 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 | |
| CN112022149B (zh) | 一种基于心电信号的房颤检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |