CN114010205A - 3d注意力残差深度网络儿童癫痫综合征辅助分析方法 - Google Patents
3d注意力残差深度网络儿童癫痫综合征辅助分析方法 Download PDFInfo
- Publication number
- CN114010205A CN114010205A CN202111181419.8A CN202111181419A CN114010205A CN 114010205 A CN114010205 A CN 114010205A CN 202111181419 A CN202111181419 A CN 202111181419A CN 114010205 A CN114010205 A CN 114010205A
- Authority
- CN
- China
- Prior art keywords
- time
- frequency
- size
- follows
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010015037 epilepsy Diseases 0.000 title claims abstract description 36
- 208000002877 Epileptic Syndromes Diseases 0.000 title claims abstract description 33
- 208000024658 Epilepsy syndrome Diseases 0.000 title claims abstract description 29
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 23
- 230000006835 compression Effects 0.000 claims description 15
- 238000007906 compression Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000003745 diagnosis Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000037433 frameshift Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 206010010904 Convulsion Diseases 0.000 description 10
- 230000001037 epileptic effect Effects 0.000 description 6
- 208000017888 childhood-onset epilepsy syndrome Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 238000010224 classification analysis Methods 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 208000028329 epileptic seizure Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Neurology (AREA)
- Mathematical Physics (AREA)
- Developmental Disabilities (AREA)
- Neurosurgery (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Computation (AREA)
- Social Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种3D注意力残差深度网络儿童癫痫综合征辅助分析方法。本发明步骤如下：步骤1：原始多通道EEG信号数据首先截取发作间期脑电数据，然后进行基线矫正，再分别使用陷波滤波器剔除50Hz工频干扰以及带通滤波器选择0.5Hz至70Hz频段，得到纯净的EEG信号。步骤2：对预处理好的EEG信号每4s一段采用加窗FFT提取时频特征，窗函数选用汉宁窗，提取的时频特征保存为大小为112*112的RGB图片。步骤3：将得到的时频特征图片输入并训练3D注意力残差卷积网络，其中注意力模块用于提取脑电通道间信息，最终通过Softmax概率输出层得到所属儿童癫痫综合征类别。本发明能够实现对儿童癫痫综合征的精确分类。
Description
技术领域
本发明属于机器学习及智能生物医学信号处理领域，涉及一种3D注意力残差深度网络儿童癫痫综合征辅助分析方法。
背景技术
儿童癫痫综合征影响全球大约0.5％至1％的儿童，大多数发生在发展中国家，这是儿童期最常见的慢性神经系统疾病，患病儿童在言语表达，学业成绩以及生活自理能力上与正常儿童相比存在明显的滞后性。尽管儿童癫痫综合征的诊断和治疗取得了快速发展，但其误诊问题仍未得到有效解决，准确诊断癫痫仍然具有很强的挑战性，主要原因包括：缺乏专业的神经科医生，医疗设备性能不佳以及没有有效的癫痫初期检查与智能辅助诊疗系统。因此，为儿童癫痫综合征患者建立一个精准高效的自动识别辅助诊断架构具有很强的社会经济效益，尤其对于一些偏远的医疗水平相对欠发达的地区，可以为神经内科医生在岗前培训以及临床辅助诊断方面提供很好的帮助。
脑电信号是大脑活动最直观的反映，大部分儿童癫痫综合征可以通过对脑电信号的判读进行诊断。当前主要的研究集中关注在下列几个方向：
癫痫分期：基于癫痫患者的临床脑电信号，将脑电信号划分为发作前期，发作间期，发作期三个阶段，在分期的基础上对患者的癫痫发作进行预测。
癫痫用药治疗评估：从癫痫患者的脑电信号中提取相关生物标志物来评价患者在用药后的治疗效果，为后续治疗提供参考。
癫痫分类：从癫痫患者的脑电信号中截取固定的长度的脑电片段，利用智能算法分析不同病症之间的共性与差异性，进而实现癫痫分类。
(1)相较于癫痫发作期的脑电信号，发作间期持续时间更长，在一些癫痫综合征的临床诊断和辅助分析与医师培训上具有更强的意义。在临床上已用来进行癫痫发作生物标志物检测，以及棘波波纹的识别。但当前对儿童癫痫综合征的研究还存在以下几个主要问题：1)现有研究主要集中在对某一类特定的癫痫综合征病症做发作分期和预测，缺乏对多种不同癫痫综合征智能辅助分类分析；2)在对不同癫痫综合征的分类分析中，已有的研究没有明确区分发作期与发作间期的脑电信号，相较于发作间期数据，发作期数据量较少，且需要专业医师的标注，较难收集；3)已有的深度学习方法没有充分考虑多通道脑电之间的关联信息，对通道间信息挖掘不充分。
发明内容
针对传统的智能识别算法以及2D卷积神经网络深度学习模型存在的问题，本发明结合儿童癫痫综合征临床诊断以及3D卷积神经网络，引入注意力机制模块，提出了一种3D注意力残差深度网络儿童癫痫综合征辅助分析方法。
本发明中，首先对原始采集的多通道脑电信号数据进行切分，截取发作间期脑电信号，再采用一系列预处理得到干扰少的脑电数据。预处理过程包括:利用多项式拟合法求出趋势项进行基线矫正，使用陷波滤波器剔除50Hz工频干扰以及带通滤波器选择0.5Hz至70Hz频段。把经过预处理的脑电数据，利用加窗FFT进行短时傅里叶变换提取时频信息并将结果保存为大小是112*112的RGB图片。得到的RGB图片作为输入传入3D卷积神经网络，网络包含五个模块，第一个为卷积模块，剩下的是注意力机制模块。注意力模块由压缩和激励两个部分组成，压缩操作可以关注特征图通道之间的相互关系，激励操作可以完成在通道维度上的对原始特征的重新校准。引入注意力机制模块可以增强通道间的信息提取能力，提升网络的表达能力。网络最终由Softmax层输出不同类别的概率，得到分类结果。
本发明的技术方案主要包括以下几个步骤：
步骤1、截取发作间期脑电数据信号，对发作间期脑电数据利用多项式拟合法求出趋势项进行基线校正，使用陷波滤波器剔除50Hz工频干扰以及带通滤波器选择0.5Hz至70Hz频段，最终得到干扰少的脑电信号；
步骤2、对预处理好的脑电信号利用加窗FFT进行短时傅里叶变换提取时频特征，保存为时频图；
步骤3、将时频图输入到3D卷积神经网络中，网络中的注意力机制模块将提取不同通道间的信息，最终由Softmax层输出不同类别的概率，得到分类结果。
所述步骤1的具体流程如下：
1-1、截取发作间期脑电数据，将21通道、采样频率为1000Hz的EEG信号通过0.5-70Hz带通滤波器、50Hz陷波滤波器以及基线校正操作来进行基础预处理。
所述步骤2的具体流程如下：
2-1、将预处理好的脑电信号按每4s一段进行切分，每段脑电信号使用加窗FFT(Fast Fourier Transform)进行短时傅里叶变换提取时频特征，经加窗FFT进行短时傅里叶变换得到的时频矩阵大小为200*48，采用imagesc函数进行绘图，转化为RGB图片输出，设置图片大小为112*112；
进一步的，加窗FFT进行短时傅里叶变换提取时频特征步骤为：
(1)设置帧长(wlen)与帧移(inc)的大小，帧长的大小为200，帧移的大小为80；
(2)选择窗函数，窗函数选择汉明窗，其定义如下：
(3)计算时间并分帧，分帧后得到帧数；
(4)计算每帧对应的时间frame time，计算公式如下：
其中frame time表示每帧对应的时间，fn表示帧数，inc表示帧移，wlen表示帧长，fs表示采样频率；M表示截取信号的长度。
(5)进行加窗FFT变换，得到时频矩阵，矩阵大小为200*48。采用imagesc函数进行绘图，将矩阵输出为RGB时频图，时频图大小为112*112。
所述步骤3的具体流程如下：
3-1、将提取的21通道传入3D卷积神经网络，输入数据的大小为21*112*112。3D卷积神经网络通过堆叠多个通道时频图组成一个立方体，然后在立方体中运用3D卷积，其计算公式如下：
其中，
表示第i层的第j个特征图的计算值，tanh为双曲正切函数，bij,
Pi,Qi,Ri分别表示偏置、权重、卷积核高度、卷积核宽度以及卷积核的深度。
每个特征图的大小计算公式如下：
其中，Dout,Hout,Wout分别表示输出特征图深度、高度以及宽度。padding表示填充参数的大小，dilation表示膨胀系数，默认为1、kernel_size表示池化核的大小，stride表示步长，Din、Hin和Win分别表示输入特征图深度、高度以及宽度；
一个特征图feature map的某一位置的值是通过卷积上一层的三个连续的通道同一位置的局部感受野得到的。3D卷积核每次只能提取一种类型特征，在整个卷积的过程中卷积核的权值都是一样的(共享权值)；
3-2、在经过第一个卷积模块后，输出的特征图由注意力模块提取更丰富的通道间信息，具体步骤如下：
3-2-1、卷积操作表示如下：
其中，Ftr(.,θ)表示标准卷积操作，θ表示卷积核的参数，Y表示卷积层的输入特征图，该特征图大小为D'×H'×W'×C'；U表示卷积层的输出特征图，该特征图大小为D×H×W×C；
3-2-2、压缩操作是对输出特征图U进行全局平均池化操作，压缩操作表示如下：
压缩操作过程中，将输出大小为D×H×W×C的特征图在空间尺度进行压缩特征操作，将其中各个三维特征通道转换为一维向量，得到大小为C×1×1×1的一维向量；uc表示特征图U；Fsq表示压缩操作函数。
3-2-3、激励操作主要由两个全连接层构成，激励操作表示如下：
s＝Fex(x,W)＝σ(g(x,W))＝σ(W2δ(W1x))(7)
其中，第一个全连接层的输入特征图与输出特征图大小分别为C×1×1×1、
参数表示为
δ表示激活函数ReLu。第二个全连接层的输入特征图与输出特征图大小分别为
C×1×1×1，参数表示为
σ表示激活函数Sigmoid。r表示放缩比，用于平衡网络的性能与复杂度，本发明中r参数值取16；
3-2-4、激励操作完成后输出的权重
通过乘法加权到先前的特征图U上，其公式如下：
Fscale(uc,sc)＝sc·uc (8)
3-3、经过注意力模块后特征值传入全连接层展平为1×512的特征向量，再由softmax层输出类别的概率值，得到最终的类别。
损失函数选用交叉熵，其公式表达如下：
其中，n表示每次训练一个batch的样本量，p(xij)表示真实概率值，q(xij)表示预测概率值；
3-4、网络训练效果采用Precision、Recall、Specificity。各参数计算公式如下：
其中TP表示被模型预测为正类的正样本，TN表示被模型预测为负类的负样本，FP表示被模型预测为正类的负样本，FN表示被模型预测为负类的正样本。Precision表示精确度，代表各个类别的识别率，针对单个样本而言。Recall表示召回率，数值越高，漏诊率越低。Specificity表示特异度，数值越高，误诊率越低。
本发明有益效果如下：
采用3D注意力残差深度网络儿童癫痫综合征辅助分析方法，其优势主要包括，1)3D卷积神经网络可以同时学习脑电不同通道的信息，更好捕捉EEG信号的特征，获得较高的分类准确率。2)注意力模块可以增强通道间的特征学习能力，更充分的挖掘通道间的相关信息，更好的发挥多通道的价值。3)3D注意力机制的残差卷积网络具有很强的泛化能力，可以进行其他任务的学习。
本发明对原始脑电数据截取发作间期脑电信号并进行了滤波等一系列预处理，利用加窗FFT提取脑电信号时频特征，同时利用3D注意力机制的残差深度网络儿童癫痫综合征辅助分析方法对儿童癫痫综合征进行分类。在BECT,CAE,Else,FS,WEST这五类病症上的模型测试分类准确率可以接近达到98％，Specificity可以达到99.4％，能够实现极低的误诊率。通过本发明能够完成对儿童癫痫综合征的精确分类，可以为儿童癫痫综合征患者建立一个精准高效的自动识别辅助诊断架构，尤其对于一些偏远的医疗水平相对欠发达的地区，可以为神经内科医生在岗前培训以及临床辅助诊断方面提供很好的帮助。
附图说明
图1：本发明的流程图。
具体实现方式
下面结合附图详细说明本发明的具体实施方式。
本发明提出了一种3D注意力残差深度网络儿童癫痫综合征辅助分析方法，结合发作间期脑电信号，旨在实现精准的儿童癫痫综合征诊断。该方法的创新在于：(1)本方法利用发作间期数据对儿童癫痫综合征进行分类，克服了发作期脑电数据记录与标注困难等难题；(2)引入了3D卷积神经网络对儿童癫痫综合征进行分类建模，充分利用3D卷积神经网络对脑电信号多通道信息的挖掘能力；(3)在3D卷积神经网络中引入了注意力机制模块，提升了脑电信号多通道间关联信息的挖掘能力。
如图1所示，3D注意力残差深度网络儿童癫痫综合征辅助分析方法的实现步骤在发明内容内已有详细的介绍，即本发明的技术方案主要包括如下步骤：
步骤1、对原始多通道脑电数据截取发作间期脑电信号并进行滤波，基线校正一系列预处理；
步骤2、对步骤1预处理好的脑电多通道信号进行加窗FFT提取脑电信号时频特征；
步骤3、将提取的时频特征送入3D注意力机制的残差卷积网络进行训练，得到分类结果。
所述步骤1具体步骤如下：
1-1、将原始21通道，采样频率为1000Hz的EEG信号通过0.5-70Hz带通滤波器，选择0.5Hz-70Hz频段的脑电信号。50Hz陷波滤波器去除市电带来的工频干扰。利用多项式拟合法求出趋势项进行基线校正。
所述步骤2具体步骤如下：
2-1、将预处理好的脑电信号按每4s一段进行切分，每段脑电信号使用加窗FFT(Fast Fourier Transform)进行短时傅里叶变换提取时频特征，经加窗FFT进行短时傅里叶变换得到的时频矩阵大小为200*48，为了转化为RGB图片输出，采用imagesc函数进行绘图，设置图片大小为112*112；
2-2、加窗FFT进行短时傅里叶变换提取时频特征步骤为：
(1)设置帧长(wlen)与帧移(inc)的大小，帧长的大小为200，帧移的大小为80；
(2)选择窗函数，窗函数选择汉明窗，其定义如下：
(3)计算时间并分帧，分帧后得到帧数；
(4)计算每帧对应的时间，计算公式如下：
其中frame time表示每帧对应的时间，fn表示帧数，inc表示帧移，wlen表示帧长，fs表示采样频率，M表示截取信号的长度；
(5)进行加窗FFT变换，得到时频矩阵，矩阵大小为200*48。采用imagesc函数进行绘图，将矩阵输出为RGB时频图，时频图大小为112*112。
所述步骤3具体步骤如下
3-1、将提取的21通道传入3D卷积神经网络，输入数据的大小为21*112*112。3D卷积通过堆叠多个通道时频图组成一个立方体，然后在立方体中运用3D卷积。其计算公式如下：
其中，
表示第i层的第j个特征图的计算值，tanh为双曲正切函数，bij,
Pi,Qi,Ri分别表示偏置，权重，卷积核高度，卷积核宽度以及卷积核的深度。
每个特征图的大小计算公式如下：
其中，Dout,Hout,Wout分别表示输出特征图深度、高度以及宽度。padding表示填充参数的大小，dilation表示膨胀系数，默认为1、kernel_size表示池化核的大小，stride表示步长，Din、Hin和Win分别表示输入特征图深度、高度以及宽度；
一个feature map的某一位置的值是通过卷积上一层的三个连续的通道同一位置的局部感受野得到的。3D卷积核每次只能提取一种类型特征，在整个卷积的过程中卷积核的权值都是一样的(共享权值)；
3-2、在经过第一个卷积模块后，输出的特征图由注意力模块提取更丰富的通道间信息。具体步骤如下：
(1)卷积操作表示如下：
其中，Ftr(.,θ)表示标准卷积操作，θ表示卷积核的参数，Y表示卷积层输入的特征图，其中特征图大小为D'×H'×W'×C'，U表示卷积层输出的特征图，其中特征图大小为D×H×W×C；
(2)压缩操作是对输出特征图U进行全局平均池化操作，压缩操作表示如下：
在压缩操作过程中将输出大小为D×H×W×C的特征图在空间尺度进行压缩特征操作，将其中各个三维特征通道转换为一维向量，得到大小为C×1×1×1的一维向量；
(3)激励操作主要尤两个全连接层构成，激励操作表示如下：
s＝Fex(x,W)＝σ(g(x,W))＝σ(W2δ(W1x))
其中，第一个全连接层的输入与输出的特征图大小分别为C×1×1×1、
它的参数表示为
δ表示激活函数ReLu。第二个全连接层的输入与输出的特征图大小分别为
C×1×1×1，它的参数表示为
σ表示激活函数Sigmoid。r表示放缩比，用于平衡网络的性能与复杂度，本发明中r参数值取16；
(4)激励操作完成后输出的权重
通过乘法加权到先前的特征U上，其公式如下：
Fscale(uc,sc)＝sc·uc
3-3、经过注意力模块后特征值传入全连接层展平为1×512的特征向量，再由softmax层输出类别的概率值，得到最终的类别。损失函数选用交叉熵，其公式表达如下：
其中，n表示每次训练一个batch的样本量，p(xij)表示真实概率值，q(xij)表示预测概率值；
3-4、网络训练效果采用Precision、Recall、Specificity。各参数计算公式如下：
其中TP表示被模型预测为正类的正样本，TN表示被模型预测为负类的负样本，FP表示被模型预测为正类的负样本，FN表示被模型预测为负类的正样本。Precision表示精确度，代表各个类别的识别率，针对单个样本而言。Recall表示召回率，数值越高，漏诊率越低。Specificity表示特异度，数值越高，误诊率越低。
本发明还提供一种3D注意力机制的残差深度网络儿童癫痫综合征辅助分析系统，具体包括脑电数据信号处理模块、特征提取模块和分类识别模块；
所述的脑电数据信号处理模块具体实现：截取发作间期脑电数据信号，对发作间期脑电数据利用多项式拟合法求出趋势项进行基线校正，使用陷波滤波器剔除50Hz工频干扰以及带通滤波器选择0.5Hz至70Hz频段，最终得到干扰少的脑电信号；
所述的特征提取模块具体实现：对脑电数据信号处理模块处理好的脑电信号利用加窗FFT进行短时傅里叶变换提取时频特征，保存为时频图；
所述的分类识别模块具体实现：将时频图输入到3D卷积神经网络中，网络中的注意力机制模块将提取不同通道间的信息，最终由Softmax层输出不同类别的概率，得到分类结果。
本发明对原始脑电数据截取发作间期脑电信号并进行了滤波等一系列预处理，利用加窗FFT提取脑电信号时频特征，同时利用3D注意力机制的残差深度网络儿童癫痫综合征辅助分析方法对儿童癫痫综合征进行分类。在BECT,CAE,Else,FS,WEST这五类病症上的模型测试分类准确率可以接近达到98％，Specificity可以达到99.4％，能够实现极低的误诊率。通过本发明能够完成对儿童癫痫综合征的精确分类，可以为儿童癫痫综合征患者建立一个精准高效的自动识别辅助诊断架构，尤其对于一些偏远的医疗水平相对欠发达的地区，可以为神经内科医生在岗前培训以及临床辅助诊断方面提供很好的帮助。
Claims (5)
1.3D注意力残差深度网络儿童癫痫综合征辅助分析方法，其特征在于包括如下步骤：
步骤1、截取发作间期脑电数据信号，对发作间期脑电数据利用多项式拟合法求出趋势项进行基线校正，使用陷波滤波器剔除50Hz工频干扰以及带通滤波器选择0.5Hz至70Hz频段，最终得到干扰少的脑电信号；
步骤2、对预处理好的脑电信号利用加窗FFT进行短时傅里叶变换提取时频特征，保存为时频图；
步骤3、将时频图输入到3D卷积神经网络中，网络中的注意力机制模块将提取不同通道间的信息，最终由Softmax层输出不同类别的概率，得到分类结果。
2.根据权利要求1所述的3D注意力残差深度网络儿童癫痫综合征辅助分析方法，其特征在于所述步骤1的具体流程如下：
1-1、截取发作间期脑电数据，将21通道、采样频率为1000Hz的EEG信号通过0.5-70Hz带通滤波器、50Hz陷波滤波器以及基线校正操作来进行基础预处理。
3.根据权利要求1所述的3D注意力残差深度网络儿童癫痫综合征辅助分析方法，其特征在于所述步骤2的具体流程如下：
2-1、将预处理好的脑电信号按每4s一段进行切分，每段脑电信号使用加窗FFT进行短时傅里叶变换提取时频特征，经加窗FFT进行短时傅里叶变换得到的时频矩阵大小为200*48，采用imagesc函数进行绘图，转化为RGB图片输出，设置图片大小为112*112。
4.根据权利要求3所述的3D注意力残差深度网络儿童癫痫综合征辅助分析方法，其特征在于加窗FFT进行短时傅里叶变换提取时频特征步骤为：
(1)设置帧长(wlen)与帧移(inc)的大小，帧长的大小为200，帧移的大小为80；
(2)选择窗函数，窗函数选择汉明窗，其定义如下：
(3)计算时间并分帧，分帧后得到帧数；
(4)计算每帧对应的时间frame time，计算公式如下：
其中frame time表示每帧对应的时间，fn表示帧数，inc表示帧移，wlen表示帧长，fs表示采样频率；M表示截取信号的长度；
(5)进行加窗FFT变换，得到时频矩阵，矩阵大小为200*48；采用imagesc函数进行绘图，将矩阵输出为RGB时频图，时频图大小为112*112。
5.根据权利要求3或4所述的3D注意力残差深度网络儿童癫痫综合征辅助分析方法，其特征在于所述步骤3的具体流程如下：
3-1、将提取的21通道传入3D卷积神经网络，输入数据的大小为21*112*112；3D卷积神经网络通过堆叠多个通道时频图组成一个立方体，然后在立方体中运用3D卷积，其计算公式如下：
其中，
表示第i层的第j个特征图的计算值，tanh为双曲正切函数，bij,
Pi,Qi,Ri分别表示偏置、权重、卷积核高度、卷积核宽度以及卷积核的深度；
每个特征图的大小计算公式如下：
其中，Dout,Hout,Wout分别表示输出特征图深度、高度以及宽度；padding表示填充参数的大小，dilation表示膨胀系数，默认为1、kernel_size表示池化核的大小，stride表示步长，Din、Hin和Win分别表示输入特征图深度、高度以及宽度；
3-2、在经过第一个卷积模块后，输出的特征图由注意力模块提取更丰富的通道间信息，具体步骤如下：
3-2-1、卷积操作表示如下：
其中，Ftr(.,θ)表示标准卷积操作，θ表示卷积核的参数，Y表示卷积层的输入特征图，该特征图大小为D'×H'×W'×C'；U表示卷积层的输出特征图，该特征图大小为D×H×W×C；
3-2-2、压缩操作是对输出特征图U进行全局平均池化操作，压缩操作表示如下：
压缩操作过程中，将输出大小为D×H×W×C的特征图在空间尺度进行压缩特征操作，将其中各个三维特征通道转换为一维向量，得到大小为C×1×1×1的一维向量；uc表示特征图U；Fsq表示压缩操作函数；
3-2-3、激励操作主要由两个全连接层构成，激励操作表示如下：
s＝Fex(x,W)＝σ(g(x,W))＝σ(W2δ(W1x)) (7)
其中，第一个全连接层的输入特征图与输出特征图大小分别为C×1×1×1、
参数表示为
δ表示激活函数ReLu；第二个全连接层的输入特征图与输出特征图大小分别为
C×1×1×1，参数表示为
σ表示激活函数Sigmoid；r表示放缩比，用于平衡网络的性能与复杂度，本发明中r参数值取16；
3-2-4、激励操作完成后输出的权重
通过乘法加权到先前的特征图U上，其公式如下：
Fscale(uc,sc)＝sc·uc (8)
3-3、经过注意力模块后特征值传入全连接层展平为1×512的特征向量，再由softmax层输出类别的概率值，得到最终的类别；
损失函数选用交叉熵，其公式表达如下：
其中，n表示每次训练一个batch的样本量，p(xij)表示真实概率值，q(xij)表示预测概率值；
3-4、网络训练效果采用Precision、Recall、Specificity；各参数计算公式如下：
其中TP表示被模型预测为正类的正样本，TN表示被模型预测为负类的负样本，FP表示被模型预测为正类的负样本，FN表示被模型预测为负类的正样本；Precision表示精确度，代表各个类别的识别率，针对单个样本而言；Recall表示召回率，数值越高，漏诊率越低；Specificity表示特异度，数值越高，误诊率越低。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111181419.8A CN114010205A (zh) | 2021-10-11 | 2021-10-11 | 3d注意力残差深度网络儿童癫痫综合征辅助分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111181419.8A CN114010205A (zh) | 2021-10-11 | 2021-10-11 | 3d注意力残差深度网络儿童癫痫综合征辅助分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114010205A true CN114010205A (zh) | 2022-02-08 |
Family
ID=80055791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111181419.8A Pending CN114010205A (zh) | 2021-10-11 | 2021-10-11 | 3d注意力残差深度网络儿童癫痫综合征辅助分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114010205A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114631829A (zh) * | 2022-03-12 | 2022-06-17 | 北京工业大学 | 一种基于深度学习的癫痫脑电波识别方法 |
| CN115886839A (zh) * | 2022-12-19 | 2023-04-04 | 广州华见智能科技有限公司 | 一种基于脑电波分析的诊断系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104586387A (zh) * | 2015-01-19 | 2015-05-06 | 秦皇岛市惠斯安普医学系统有限公司 | 一种时、频、空域多参数脑电特征提取与融合方法 |
| CN106909784A (zh) * | 2017-02-24 | 2017-06-30 | 天津大学 | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 |
| WO2020162837A2 (en) * | 2019-02-08 | 2020-08-13 | Nanyang Technological University | Method and system for seizure detection |
| US10743809B1 (en) * | 2019-09-20 | 2020-08-18 | CeriBell, Inc. | Systems and methods for seizure prediction and detection |
| CN111700592A (zh) * | 2020-07-02 | 2020-09-25 | 河南科技大学 | 一种癫痫脑电自动分类模型的获取方法、系统及分类系统 |
| CN112800928A (zh) * | 2021-01-25 | 2021-05-14 | 北京工业大学 | 融合通道和频谱特征的全局自注意力残差网络的癫痫发作预测方法 |
-
2021
- 2021-10-11 CN CN202111181419.8A patent/CN114010205A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104586387A (zh) * | 2015-01-19 | 2015-05-06 | 秦皇岛市惠斯安普医学系统有限公司 | 一种时、频、空域多参数脑电特征提取与融合方法 |
| CN106909784A (zh) * | 2017-02-24 | 2017-06-30 | 天津大学 | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 |
| WO2020162837A2 (en) * | 2019-02-08 | 2020-08-13 | Nanyang Technological University | Method and system for seizure detection |
| US10743809B1 (en) * | 2019-09-20 | 2020-08-18 | CeriBell, Inc. | Systems and methods for seizure prediction and detection |
| CN111700592A (zh) * | 2020-07-02 | 2020-09-25 | 河南科技大学 | 一种癫痫脑电自动分类模型的获取方法、系统及分类系统 |
| CN112800928A (zh) * | 2021-01-25 | 2021-05-14 | 北京工业大学 | 融合通道和频谱特征的全局自注意力残差网络的癫痫发作预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| LI GONG 等: "Automated pulmonary nodule detection in CT images using 3D deep squeeze-and-excitation networks", INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY, vol. 14, 26 April 2019 (2019-04-26), XP036939916, DOI: 10.1007/s11548-019-01979-1 * |
| XINWU YANG 等: "An Effective Dual Self-Attention Residual Network for Seizure Prediction", IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, vol. 29, 9 August 2021 (2021-08-09), pages 1605 * |
| 孙华聪 等: "3D多尺度深度卷积神经网络肺结节检测", 中国图象图形学报, vol. 26, no. 7, 23 January 2021 (2021-01-23), pages 1718 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114631829A (zh) * | 2022-03-12 | 2022-06-17 | 北京工业大学 | 一种基于深度学习的癫痫脑电波识别方法 |
| CN115886839A (zh) * | 2022-12-19 | 2023-04-04 | 广州华见智能科技有限公司 | 一种基于脑电波分析的诊断系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104970789B (zh) | 心电图分类方法及系统 | |
| CN107203692A (zh) | 基于深度卷积神经网络的房颤检测的实现方法 | |
| CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
| CN114010205A (zh) | 3d注意力残差深度网络儿童癫痫综合征辅助分析方法 | |
| CN114093501B (zh) | 基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法 | |
| CN113768519B (zh) | 基于深度学习和静息态脑电数据分析病人意识水平的方法 | |
| CN113436726B (zh) | 一种基于多任务分类的肺部病理音自动化分析方法 | |
| CN113855038B (zh) | 基于多模型集成的心电信号危急值的预测方法及装置 | |
| CN112587153A (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 | |
| CN112259120A (zh) | 基于卷积循环神经网络的单通道人声与背景声分离方法 | |
| CN118051831B (zh) | 基于CNN-Transformer合作网络模型的水声目标识别方法 | |
| CN110811591A (zh) | 一种基于心率变异性的心力衰竭分级方法 | |
| CN114224363B (zh) | 基于双流3d深度神经网络的儿童癫痫综合征辅助分析方法 | |
| Zhang et al. | Research on lung sound classification model based on dual-channel CNN-LSTM algorithm | |
| CN116975693A (zh) | 一种基于深度学习和异质集成策略的心音检测方法及系统 | |
| CN117426774A (zh) | 一种基于智能手环的用户情绪评估方法及系统 | |
| CN117204860A (zh) | 一种心电信号特征波定位方法 | |
| Quanyu | Pulse signal analysis based on deep learning network | |
| CN116898451A (zh) | 用具有多尺度注意力机制的神经网络实现房颤预测的方法 | |
| CN116246654A (zh) | 一种基于改进的Swin-Transformer的呼吸音自动分类方法 | |
| CN115294093A (zh) | 一种基于嵌入式残差卷积的u型肺炎胸部ct图像分割方法 | |
| CN115429286A (zh) | 一种心电表征自监督学习方法 | |
| CN114862865A (zh) | 基于多视角冠状动脉造影序列图像的血管分割方法及系统 | |
| CN114209281B (zh) | 基于生成对抗网络的脉搏数据生成方法 | |
| CN117426754B (zh) | 基于pnn-lvq的特征权重自适应脉搏波分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |