CN108852350A - 一种基于深度学习算法的头皮脑电图致痫区的识别与定位方法 - Google Patents

Abstract

本发明属于人工智能和深度学习领域，具体涉及一种基于深度学习中的LRCN网络的头皮脑电图致痫区的识别与定位方法，本发明的发明构思：将癫痫脑电图像巧妙地分为正常、发作前期、发作高峰以及发作后期四个阶段，利用深度学习中的LRCN网络自动的提取癫痫脑电图中四个不同阶段的时间特征信息和空间特征信息，以此作为判断标准自动识别和定位出癫痫脑电图像中的不同阶段，并结合癫痫发作过程的特点——依次出现正常、发作前期、发作高峰、发作后期这四个阶段，最终实现对癫痫脑电图像致痫区的识别和定位，提高了癫痫识别的准确率、避免了人工手动地提取复杂的特征信息，具有更好的泛化性能。

Description

一种基于深度学习算法的头皮脑电图致痫区的识别与定位 方法

技术领域

本发明属于人工智能和深度学习领域，具体涉及一种基于深度学习中的LRCN(Long-Term recurrent convolutional network，长短时记忆循环卷积网络)网络的头皮脑电图致痫区的识别与定位方法。

背景技术

癫痫是一种慢性的、短暂性的、反复性的脑功能失调综合征。全球每年约有240万人被诊断为癫痫。癫痫发作的病因、症状和发作时间都会因个体的不同而存在差异，并且癫痫发作几乎没有任何预警。有的人一年只会发作几次，而有的人一天就会发作几次。这些因素的不同都导致癫痫的检测和治疗变得十分困难。

癫痫脑电图是一种随时间波动的线图。对于癫痫脑电图，传统的特征提取方法如光谱、频谱特征提取方法，可以做到比较不错的效果，但是仅仅是在十分整洁、干净或者预处理去掉了大量噪声数据的前提下，而且需要人们事先掌握其中的特征点，如频谱特征提取方法，需要事先设定阈值，再利用该阈值去判断，基于传统的特征提取方法的种种限制，能够应用到临床的传统技术极其稀少。

深度学习技术近年来在语音识别、图像识别、目标检测等领域表现十分突出。深度学习技术的优点在于无需手动提取数据的特征值，通过运用不同的优化算法、网络结构来使网络自动的学习到数据的特征信息。相比于传统的特征提取方法，深度学习技术在免去了繁琐的特征提取工作的同时又实现了很高的准确率，这是传统的特征提取方法难以企及的。

深度学习中的LRCN网络(算法)是一种可提取图像的空间特征信息和时间特征信息的网络结构。LRCN网络通常用于视频识别中的动作识别，通过LRCN网络提取某个时间维度通常为20s以内的若干帧图像的空间特征信息和时间特征信息，根据特征信息判断动作类型，输出相应的标签，该标签即对应某个动作，从而完成动作识别。与传统视频识别中处理的图像不同，头皮脑电图是一种线图，本身包含的特征信息不多，而且相比来说更容易受噪声干扰，所以，如图保证自动识别和定位方法具有较高的准确率是本发明的技术难点。

发明内容

本发明的目的在于提供一种无需人为提取数据的特征值，且具有较高准确率的头皮脑电图致痫区的识别与定位方法。

本发明的发明构思：将癫痫脑电图像巧妙地分为正常、发作前期、发作高峰以及发作后期四个阶段，利用深度学习中的LRCN网络自动的提取癫痫脑电图中四个不同阶段的时间特征信息和空间特征信息，以此作为判断标准自动识别和定位出癫痫脑电图像中的不同阶段，并结合癫痫发作过程的特点——依次出现正常、发作前期、发作高峰、发作后期这四个阶段，最终实现对癫痫脑电图像致痫区的识别和定位。

本发明的发明目的通过如下技术方案实现：一种基于深度学习算法的头皮脑电图致痫区的识别与定位方法，包括如下步骤：

步骤1)数据预处理：将各样本医学脑电图数据处理为一系列按时间顺序排列的图像；

步骤2)依据癫痫的发作过程，将步骤1)预处理后的图像按连续的n张图像作为一个分类单位，并分别分类为正常、发作前期、发作高峰以及发作后期；

步骤3)统一所有图像的大小和通道数；

步骤4)将样本分为训练集、验证集及测试集，并要求训练集和验证集都包含正常、发作前期、发作高峰以及发作后期四个类，相同集合中每一类包含的分类单位数目相同；

步骤5)采用深度神经网络优化算法提取医学脑电图数据中的时间特征信息和空间特征信息

步骤5-1)搭建LRCN网络；

步骤5-2)利用训练集和验证集对搭建的LRCN网络的网络参数进行优化和调试；

步骤6)保存最优的网络结构和网络参数；

步骤7)测试集选用的是未参与训练的脑电图数据(即未经历步骤5))，将测试集数据按分类单位对应的时间维度和Hs滑窗来处理，将测试集数据输入到步骤6)的网络结构中进行正向传播，得到四个类每一类的概率，以概率最高的一类对应的标签标定该分类单位，即标明该分类单位是属于正常、发作前期、发作高峰或发作后期；

步骤8)致痫区的判定：依据测试集输出的标签序列，只有在标签序列中依次出现：正常、发作前期、发作高峰、发作后期这四个过程时，才将其视为癫痫发作过程，定位为致痫区。

本发明采用深度学习技术中的LRCN网络自动学习提取癫痫脑电图像的空间特征信息和时间特征信息，免去了技术人员繁琐的提取特征工作。而通过将癫痫脑电图像分为正常、发作前期、发作高峰以及发作后期四个阶段，在致痫区的识别和定位时，结合癫痫发作过程的特点——依次出现正常、发作前期、发作高峰、发作后期这四个阶段，才将其定位为致痫区，任何一个阶段的缺失，即表明是噪声干扰，从而极大的排除了噪声干扰，显著提高致痫区识别、定位的准确率。

作为优选：步骤1)中，将医学脑电图数据处理为大量1-3s一张，相邻图像有30-50％重叠的图像，其中，将医学脑电图数据处理为大量2s一张，相邻图像有1s重叠的图像时，训练准确率最佳。

步骤2)中，n最佳取值为n＝100，在100s间浮动±5属于可以接受的时间范围。n＝100为根据数据统计的大部分的癫痫发作的时间长度。

步骤3)中，图像大小统一为227像素*227像素，通道数设为1。

作为本发明的优选实施方式：

步骤5-1)中搭建的LRCN网络的结构为：

采用8-12层卷积层、4-6层最大池化层、1层平展层以及1层LSTM层搭建LRCN网络，其中每一层卷积层和池化层都用TimeDistributed层来包装，网络最后是一个4分类的全连接层；每两层卷积层之后连接一层最大池化层，即采用12层卷积层，即采用6层最大池化层，采用10层卷积层，即采用5层最大池化层，采用8层卷积层，即采用4层最大池化层，其中，采用10层卷积层、5层最大池化层时，准确率最高，卷积操作完成后依次连接平展层、LSTM层和4分类全连接层，4分类全连接层输出每一类的概率。

每张图像的像素大小与数据预处理方式、网络结构以及网络参数紧密相关，它们之间相互影响，上述实施方式为本发明的优选，以收获更好的准确率。

作为优选方式：所述卷积层提取图像的特征之后不保存结构化数据到计算机上，而是直接将数据以分类单位对应的时间维度传递给LSTM层。

上述步骤5-2)的具体过程推荐为：

步骤5-2-1)随机设定输入层各个权重和偏置的值，正向传播建立每层之间的非线性关系，在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；

步骤5-2-2)如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，采用随机梯度下降算法，作为修改权值的依据，网络的学习在权值修改过程中完成；

步骤5-2-3)反复循环步骤5-2-1)和步骤5-2-2)，直到达到预设定的loss值或者准确率，网络学习结束。

步骤7)中H＝2。H为每张图片包含的脑电波形的数据的时间长度，根据多次实验，当H＝2时，学习的效果比其他时间长度要好。

步骤4)中，训练集、验证集及测试集的比例推荐为8：1：1。

相比于现有技术，本发明具有如下有益效果：

(1)本发明采用深度学习技术中的LRCN网络自动学习提取癫痫脑电图像的空间特征信息和时间特征信息，相比传统特征提取方法，免去了技术人员繁琐的提取特征工作；

(2)癫痫脑电图像是一种包含特征信息较少的线图，在进行特征信息自动学习提取时，相比于同样基于LRCN网络的视频动作识别，本发明更容易受噪声干扰，本发明通过将癫痫脑电图像分为正常、发作前期、发作高峰以及发作后期四个阶段，在致痫区的识别和定位时，结合癫痫发作过程的特点——依次出现正常、发作前期、发作高峰、发作后期这四个阶段，才将其定位为致痫区，任何一个阶段的缺失，即表明是噪声干扰，从而十分准确的避免噪音信号的干扰，显著提高致痫区识别、定位的准确率；

(3)基于本发明数据源的特点，为满足准确率要求，本发明参数与基于LRCN网络的视频动作识别中配置的参数具有较大区别，主要表现在：数据预处理方面，本发明相邻图像之间存在很大程度的交叠，交叠部分达50％，选择了数倍于动作识别时的时间维度，达101s，每张图像的像素大小与数据预处理方式、网络结构以及网络参数紧密相关，它们之间相互影响，本发明通过反复实验协调，收获了非常高的准确率，在本发明的具体实施例中，对癫痫正常、发作前期、发作高峰及发作后期的识别定位准确率分别达到了93.65％、85.14％、93.65％、94.94％。

附图说明

图1是数据预处理图；

图2是网络结构图；

图3是测试结构图；

图4是训练过程中loss下降曲线；

图5是测试结果图。

具体实施方式

以下实施例用于对本发明作进一步详细说明，不应用来限制本发明的保护范围。

本发明具体实施例的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，实现步骤具体如下：

步骤1)数据预处理：将20个样本的edf格式的医学脑电图数据处理为大量2s一张，相邻图像有1s重叠的连续的jpg图像。edf格式是现行医学脑电图的主要格式之一，本实施例上述处理步骤通过matlab完成。当然面对的原始图像也可能是edf+格式的，处理要求不变。处理后图像的格式通常也可以是png的，png和jpg均属于当前使用比较普遍的图片格式。

步骤2)然后依据癫痫的发作过程，把连续的100张图像作为一个分类单位，并分别分类为正常、发作前期、发作高峰以及发作后期，请参阅图1。按照2s一张，相邻图像有1s重叠，连续的100张图像对应的时间维度即为101s。

步骤3)将每张图像大小设定为227*227(像素*像素)，通道数设为1。

步骤4)将20个样本分为训练集、验证集及测试集，优选比例为8:1:1。其中，训练集和验证集都包含正常、发作前期、发作高峰以及发作后期四个类，相同集合中每一类包含数目相同的文件夹，每个文件夹包含100张脑电图像，即每个分类单位独立存放在一个文件夹中。

每张图像的像素大小与数据预处理方式、网络结构以及网络参数紧密相关，它们之间相互影响，本实施例为经调试的优选情况。关于图像的通道，常规图像一般为3通道(RGB)，本实施例特别设定为单通道，可以减少计算量，与此同时，还能收获非常高的准确率，甚至高于3通道情况。

上述训练集、验证集及测试集的作用分别如下：

训练集：用于找到四个分类的最优网络参数；

验证集：用于帮助训练集调整网络参数；

测试集：用于检验网络结构。

本发明中要求训练集和验证集各自的四个分类中每个分类具有相同的分类单位，主要考虑到训练数据的平衡，以使网络收敛。

步骤5)采用深度神经网络优化算法提取医学脑电图数据中的时间特征信息和空间特征信息

步骤5-1)搭建LRCN网络：采用10层卷积层(CNN)、5层最大池化层、1层平展层以及1层LSTM层搭建LRCN网络，其中每一层卷积层和池化层都用TimeDistributed层来包装，网络最后接一个4分类的全连接层，具体排布安排如下：每两层卷积层之后添加一层最大池化层，卷积操作完成后依次添加平展层、LSTM层和4分类全连接层，如图2本实施例搭建的网络结构图所示。

添加的网络结构的层数反应了网络结构搭建的深浅，网络结构搭建的浅，会造成学习不到深度、复杂的特征信息，搭建的深，虽更容易学习图像的特征信息，但数据处理量大。医学脑电图为线图，本身包含的特征信息不多，本实施例搭建的网络结构的深度为针对该种类型数据的优选方案。上述各层的作用介绍如下：卷积层用于提出图像的空间特征信息，最大池化层用于优化网络，减少参数，平展层用于输出，LSTM层用于提取图像的时间特征信息，全连接层用于输出4分类的概率，TimeDistributed层用于赋予时间特征，实现不含时间特征信息的卷积层、池化层与LSTM层的网络连接。

本实施例卷积层优选的卷积盒大小、数量、步长，以及最大池化层优选的最大池大小、数量、步长分别如图2所示。

另外，区别于常规处理方式，本实施例卷积层提取图像的特征之后并不会保存结构化数据到计算机上，而是直接将数据以101s的时间维度传递给LSTM层，最后LSTM层后接4分类的全连接层输出每一类的概率。本实施例网络结构的这种数据传输方式，有利于提高数据处理速度，同时也可减少对硬件存储容量的要求。

步骤5-2)利用训练集和验证集对搭建的LRCN网络的网络参数进行优化和调试

步骤5-2-1)随机设定输入层各个权重和偏置的值，正向传播建立每层之间的非线性关系，在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；

步骤5-2-2)如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，采用随机梯度下降算法，作为修改权值的依据，网络的学习在权值修改过程中完成；

步骤5-2-3)反复循环步骤5-2-1)和步骤5-2-2)，直到达到预设定的loss值或者准确率，网络学习结束。

图4为本实施例的训练loss下降曲线，可看出经过反复的学习，网络学习到了数据的特征，即癫痫发作的特征，分类越来越准确。

步骤6)保存最优的网络结构和网络参数。

步骤7)测试集选用的是未参与训练的脑电图数据，将每小时测试数据(一个样本为某人若干小时的测试数据)按101s时间维度和2s滑窗来处理，每次对一小时测试数据进行正向传播得到每一类概率值最高的标签，每一小时测试数据输出标签数目为1750，如图3的测试结构图所示。按101s时间维度和2s滑窗来处理解释如下，101s时间维度刚好对应100张连续的图像，2s滑窗的意思如下，如第一个101s维度为1-101s，则第二个101s维度就为3-103s，从1滑到3，滑窗刚好为2s。

步骤8)致痫区的判定：依据测试集输出的标签序列，只有在标签序列中依次出现：正常、发作前期、发作高峰、发作后期这四个过程时，才将其视为癫痫发作过程，定位为致痫区。

图5为本实施例的测试结果图。结果表明，本实施例提出的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，能够很好地提取脑电图像数据的特征并进行识别和定位，本实施例针对癫痫正常、发作前期、发作高峰及发作后期的准确率分别达到了93.65％、85.14％、93.65％、94.94％。本发明方法不但可避免人工提取特征信息的繁琐，而且明显地提高了癫痫识别的准确率，具有更好的泛化性能。

Claims (9)

1.一种基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，包括以下步骤：

步骤1)数据预处理：将各样本医学脑电图数据处理为一系列按时间顺序排列的图像；

步骤2)依据癫痫的发作过程，将步骤1)预处理后的图像按连续的n张图像作为一个分类单位，并分别分类为正常、发作前期、发作高峰以及发作后期；

步骤3)统一所有图像的大小和通道数；

步骤4)将样本分为训练集、验证集及测试集，并要求训练集和验证集都包含正常、发作前期、发作高峰以及发作后期四个类，相同集合中每一类包含的分类单位数目相同；

步骤5)采用深度神经网络优化算法提取医学脑电图数据中的时间特征信息和空间特征信息

步骤5-1)搭建LRCN网络；

步骤5-2)利用训练集和验证集对搭建的LRCN网络的网络参数进行优化和调试；

步骤6)保存最优的网络结构和网络参数；

步骤7)将测试集数据按分类单位对应的时间维度和Hs滑窗来处理，将测试集数据输入到步骤6)的网络结构中进行正向传播，得到四个类每一类的概率，以概率最高的一类对应的标签标定该分类单位，即标明该分类单位是属于正常、发作前期、发作高峰或发作后期；

步骤8)致痫区的判定：依据测试集输出的标签序列，只有在标签序列中依次出现：正常、发作前期、发作高峰、发作后期这四个过程时，才将其视为癫痫发作过程，定位为致痫区。

2.根据权利要求1所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，步骤1)中，将医学脑电图数据处理为大量1-3s一张，相邻图像有30-50％重叠的图像；

步骤5-1)中搭建的LRCN网络的结构为：

采用8-12层卷积层、4-6层最大池化层、1层平展层以及1层LSTM层搭建LRCN网络，其中每一层卷积层和池化层都用TimeDistributed层来包装，网络最后是一个4分类的全连接层；每两层卷积层之后连接一层最大池化层，即采用12层卷积层，即采用6层最大池化层，采用10层卷积层，即采用5层最大池化层，采用8层卷积层，即采用4层最大池化层，卷积操作完成后依次连接平展层、LSTM层和4分类全连接层，4分类全连接层输出每一类的概率。

3.根据权利要求2所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，步骤1)中，将医学脑电图数据处理为大量2s一张，相邻图像有1s重叠的图像；

步骤5-1)中搭建的LRCN网络的结构采用10层卷积层、5层最大池化层。

步骤3)中，图像大小统一为227像素*227像素，通道数设为1。

4.根据权利要求1所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，步骤2)中，n取值范围为100±5。

5.根据权利要求4所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，步骤2)中，n＝100。

6.根据权利要求2或3所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，所述卷积层提取图像的特征之后不保存结构化数据到计算机上，而是直接将数据以分类单位对应的时间维度传递给LSTM层。

7.根据权利要求1所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，上述步骤5-2)的具体过程为：

步骤5-2-1)随机设定输入层各个权重和偏置的值，正向传播建立每层之间的非线性关系，在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层；

步骤5-2-2)如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，采用随机梯度下降算法，作为修改权值的依据，网络的学习在权值修改过程中完成；

步骤5-2-3)反复循环步骤5-2-1)和步骤5-2-2)，直到达到预设定的loss值或者准确率，网络学习结束。

8.根据权利要求1所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，步骤7)中H＝2。

9.根据权利要求1所述的基于深度学习算法的头皮脑电图致痫区的识别与定位方法，其特征在于，步骤4)中，训练集、验证集及测试集的比例为8：1：1。