CN114081508B - 一种基于深度神经网络与cca特征融合的棘波检测方法 - Google Patents

一种基于深度神经网络与cca特征融合的棘波检测方法 Download PDF

Info

Publication number
CN114081508B
CN114081508B CN202111279893.4A CN202111279893A CN114081508B CN 114081508 B CN114081508 B CN 114081508B CN 202111279893 A CN202111279893 A CN 202111279893A CN 114081508 B CN114081508 B CN 114081508B
Authority
CN
China
Prior art keywords
spike
electroencephalogram
feature
dimensional
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111279893.4A
Other languages
English (en)
Other versions
CN114081508A (zh
Inventor
曹九稳
鲍子航
崔小南
郑润泽
赖晓平
蒋铁甲
高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111279893.4A priority Critical patent/CN114081508B/zh
Publication of CN114081508A publication Critical patent/CN114081508A/zh
Application granted granted Critical
Publication of CN114081508B publication Critical patent/CN114081508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4094—Diagnosing or monitoring seizure diseases, e.g. epilepsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurosurgery (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于深度神经网络与CCA特征融合的棘波检测方法。首先对输入的原始单通道脑电信号进行预处理操作，分割后得到脑电信号片段；分别通过连续小波变换得到频谱图特征和平滑非线性能量滤波后的传统特征；通过DenseNet121深度神经网络对频谱图提取2维深度特征，使用方差过滤式方法筛选出4维的传统特征；使用典型相关分析并采取相加的融合策略，得到2维的融合特征；再通过随机森林算法构建单通道棘波和非棘波样本数据集的棘波检测模型；最后通过建立的棘波检测模型进行脑电棘波检测。本发明通过频谱图深度特征与传统特征的CCA特征融合，并结合随机森林分类算法，达到对棘波放电精准检测的效果，能够同时检测棘波以及其产生的位置信息。

Description

一种基于深度神经网络与CCA特征融合的棘波检测方法
技术领域
本发明属于脑电信号处理及智慧医疗辅助分析领域，涉及一种基于频谱图深度卷积神经网络特征与传统特征智能融合的棘波信号表征方法，并构建了基于随机森林的棘波检测模型。
背景技术
癫痫是常见的慢性神经系统疾病，当癫痫发作时，患者无法控制自己的行为，这可能导致跌倒、碰撞等伤害，严重威胁儿童、成人的生命健康。癫痫患者的脑电图中含有棘波，棘波及其复合波形是癫痫发作的病理性基础，棘波放电以及放电位置的精准检测对癫痫的辅助诊断、定位、预后追踪等问题都具有较大意义，确定这些参数的首要步骤是实现精准的棘波检测。
现有的棘波检测方法主要分为两种，传统方法往往依赖于棘波的波形，通过设计一种或多种能够表征棘波特点的滤波器，然后通过阈值法、聚类算法等分类方法实现棘波检测；深度学习方法则倾向于通过设计深度神经网络分类模型，直接将原始脑电信号或是几类基础特征作为深度神经网络的输入实现棘波检测。这些检测方法往往存在以下缺点：
1.传统方法由于分类器性能较弱，对提取特征的表征能力要求较高，且分类器参数的优化通常比较复杂；
2.深度学习模型一般采用全连接神经网络或卷积神经网络，但由于棘波脑电信号持续时间较短、模型学习到的信息量少、脑电信号干扰多，使得深度模型存在数据量要求高、检测准确率低等缺点。
针对这些问题，基于脑电频谱图与传统脑电特征，本发明首先构建了基于DenseNet卷积神经网络的深度特征学习模型，提出了基于方差过滤筛选方法的传统特征优化方法；采用典型相关分析(CCA)实现了棘波信号深度特征与传统特征的智能融合；最终，构建了基于随机森林算法的棘波检测方法。与现有方法相比，所提出的方法棘波检测精度更高、抗干扰能力更强。
发明内容
本发明针对现有棘波检测方法的不足，提出了一种基于深度神经网络与CCA特征融合的棘波检测方法。本发明能实现脑电频谱图深度特征的自动学习以及基于方差过滤的传统脑电特征筛选，并采用典型相关分析(CCA)实现棘波信号深度特征与传统特征的智能融合，最终构建基于随机森林算法的棘波检测方法。
本发明的技术方案主要包括如下步骤：
步骤1、对输入已标记的原始单通道脑电信号进行预处理，所述的已标记的原始单通道脑电信号包含棘波时间点的标记；所述的预处理包括级联滤波和标准化处理；
步骤2、对预处理后的单通道脑电EEG信号先进行连续小波变换，然后在Savitzky-Golay滤波基础上进行平滑非线性能量算子滤波；对连续小波变换后的数据选择1-70Hz的频带；在时间域上进行分割后，得到长度为0.2s的脑电信号片段对应的频谱图；基于二次滤波后的脑电信号，提取12维传统的时频域特征；
步骤3、对步骤2处理后的频谱图，使用预训练好的DenseNet121深度卷积神经网络，提取出2维的深度特征；
步骤4、针对步骤2得到的12维时频域特征，采用方差过滤式方法进行特征选择，筛选出4维特征；与步骤3中得到的2维深度特征，采用典型相关分析并采取相加的融合策略，最终得到2维的融合特征；
步骤5、利用步骤4得到的2维融合特征和对应的标记信息，基于随机森林分类算法搭建棘波检测模型；
步骤6、应用步骤5搭建的棘波检测模型，在连续的EEG信号上实现脑电棘波检测。
所述步骤1的具体实现如下：
将原始输入的单通道脑电信号利用1-70HZ带通滤波器取得脑电能量信号最集中的频段，再利用50HZ陷波滤波器进行滤波去除工频噪声。
所述步骤2的具体实现如下：
2-1通过morlet小波基进行脑电信号的连续小波变换，将脑电信号转换成频谱图，morlet小波基表达式为：
其中，ω0表示中心频率，morlet小波基函数是由复三角函数乘上一个指数衰减函数构成的。通过morlet小波基表达式，可以得到morlet小波变换的公式为：
其中，a为小波基缩小的倍数，b为小波基平移的单位，ω0为中心频率。
连续小波变换是选择一个中心频率，通过尺度变换得到一些中心频率，又通过时移得到一系列不同区间的基函数，分别和原始信号的某一段(对应基函数的区间)乘积再积分，产生的极值对应的频率就是原始信号这一区间含有的频率。
将预先标记的脑电数据划分为训练数据和测试数据，脑电信号的分割方式相同，即将整段脑电信号有重叠地进行连续分割，重叠长度为0.1s，每个脑电信号片段长度为0.2s；其中，训练数据中的棘波数据选取包含标记的棘波点连续两个区间的片段；
2-2通过Savitzky-Golay滤波算法，利用三阶多项式依据最小二乘准则拟合滤波窗口内的信号数据，再通过已求得的多项式参数计算窗口中心点的函数值代替原有数值；在Savitzky-Golay滤波的基础上，通过以下非线性能量算子计算脑电信号片段非线性能量特征：
ψ[x(i)]＝x2(i)+x(i-1)x(i+1) (3)
其中x(i)为Savitzky-Golay滤波后得到的脑电信号片段，x(0)表示信号片段的初始值，i＝1,2,…,N，N为信号片段长度，在此基础上叠加一个窗函数对得到的非线性能量进行卷积，计算得到平滑非线性能量滤波后的信号片段：
ψs[x(i)]＝w(i)*ψ[x(i)] (4)
其中w(i)为三角窗函数；
2-3计算Savitzky-Golay和平滑非线性能量滤波后脑电信号片段的最大值max(maximum)、峭度因子KF(kurtosis factor)、方差var(variance)、平均幅值AA(averageamplitude)、能量energy、均方根RMS(root mean square)、方根幅值SRA(Square rootamplitude)、标准差SD(standard deviation)、香农熵SE(shannon entropy)、对数熵LE(log entropy)、L1范数N1(L1-norm)、L2范数N2(L2-norm)；以上共12维特征，在提取频谱图特征的同时提取这12维传统特征，使得后续的深度特征和传统特征能一一对应；
假设样本数据为S，Si(i＝1,2,...,N)表示二次滤波后脑电信号片段的数据，N表示数据长度；
(1)通过如下公式计算最大值max：
max＝max(S)
式中max()代表取最大值；
(2)通过如下公式计算峭度因子KF：
式中μ表示信号片段所有数据的均值，σ表示信号片段所有数据的方差；
(3)通过如下公式计算方差var：
式中μ表示信号片段所有数据的均值；
(4)通过如下公式计算平均幅值AA：
(5)通过如下公式计算能量energy：
(6)通过如下公式计算均方根RMS：
(7)通过如下公式计算方根幅值SRA：
(8)通过如下公式计算标准差SD：
(9)通过如下公式计算香农熵SE：
其中，p(Si)表示取Si的概率；
(10)通过如下公式计算对数熵LE：
(11)通过如下公式计算L1范数N1：
(12)通过如下公式计算L2范数N2：
2-4假设两类训练样本(棘波样本和非棘波样本)所有数目为T，对所有训练样本进行步骤2-3的12维传统特征提取，并构成T*12维的特征矩阵X。
所述步骤3的具体实现如下：
3-1 DenseNet121网络采用密集连接机制，需要特征图大小保持一致，因此DenseNet121网络中使用DenseBlock+Transition的结构；
(1)DenseBlock是包含很多层的模块，每个层的特征图大小相同，可以在channel维度上连接在一起，实现特征重用，作为下一层的输入，即DenseNet121网络在l层的输出为：
xl＝Hl([x0,x1,...,xl-1])
其中，Hl(*)代表非线性组合函数，结构采用：
BN(Batch Normalization)+ReLU+3×3 Conv
特征传递方式是直接将前面所有层的特征拼接后传到下一层；
(2)Transition层主要是连接两个相邻的DenseBlock，并且降低特征图大小，结构为：
BN+ReLU+1×1 Conv+2×2 AvgPooling
Transition层可以起到压缩模型的作用；
3-2 DenseNet121网络的训练采用微调预训练模型的方式，通过加载预训练模型权重参数，能有效加快网络的训练速度；
3-3网络的分类层采用全连接网络，网络最后的输出是一个2维的特征，将训练好的网络权重再次导入，提取出训练集和测试集中脑电信号的2维深度特征Y。
所述步骤4的具体实现如下：
针对特征矩阵X，采用方差过滤式方法做特征选择；
4-1通过如下公式计算特征矩阵X各维度方差Vj(j＝1,2,...,12)：
其中T为训练样本个数，为第j个维度所有数据均值，Vj(t)为第j个维度的第t个数据；
4-2将得到的方差结果进行降序排序，输出排序后的方差值对应的特征维度索引；
4-3根据4-2得到的特征维度索引结果，从前往后选取前4个特征维度索引对应的特征作为新的T*4维的特征向量XT；
4-4将方差选择后的特征向量XT和深度特征Y进行标准化处理，得到均值为0方差为1的标准数据；
4-4计算XT和Y的总体方差矩阵SXX和SYY，以及协方差矩阵SXY；计算矩阵M：
对矩阵M进行奇异值分解，得到最大的奇异值ρ和最大奇异值对应的左右奇异向量u,v；计算XT和Y的映射矩阵α和β：
两个特征在相关子空间的表示为：
X′＝αTX
Y′＝βTY
4-5对X′和Y′采用相加的特征融合策略：
Z＝X′+Y′＝αTX+βTY
最终得到2维的融合特征Z。
所述步骤5的具体实现如下：
根据步骤4-5得到的融合特征Z结合两个类别的类别标签和随机森林算法进行模型训练得到分类器模型。
所述步骤6的具体实现如下：
6-1将测试数据输入训练好的随机森林分类模型中，得到测试数据脑电信号片段的识别结果，所述的测试数据脑电信号片段的识别结果包括包含棘波点的信号片段识别结果和未包含棘波点的信号片段识别结果；
6-2首先，对包含棘波点的信号片段识别结果进行进一步判定，由于测试脑电信号裁剪时有50％的重叠时长，因此一个棘波点必定包含在两个相邻的脑电信号片段内，并且在棘波相邻正常样本中可能会出现部分的棘波波形，因此当包含棘波点的脑电信号片段至少有一个被识别为棘波时，判定这个棘波点左右两侧共四个脑电信号片段的识别结果正确，否则判定识别结果错误；然后，对未包含棘波点的信号片段识别结果进行判定；当片段识别结果为棘波时，判定识别结果错误，否则判定识别结果正确；最终得到识别结果正确的样本集和识别结果错误的样本集；
6-3统计四个基本参数，所述的四个基本参数包括真阳(true positive)、真阴(true negative)、假阳(false positive)和假阴(false negative)，真阳为识别结果正确样本中含棘波的样本数量，真阴为识别结果正确样本中不含棘波的样本数量，假阳为识别结果错误样本中不含棘波的样本数量，假阴为识别结果错误样本中含棘波的样本数量；
6-4根据获得的四个基本参数调整分类器模型的树的数目、随机属性个数构建出最优分类器模型，即棘波检测模型。
本发明有益效果如下
运用此种基于深度神经网络与CCA特征融合的棘波检测方法后，利用单通道脑电信号，使用典型相关分析(CCA)融合频谱图的深度特征与滤波后脑电信号的传统特征，并结合随机森林分类算法实现棘波放电精准检测的效果，同时还提供了一种可用于衡量棘波检测算法性能的流程，为后续其他同类型算法测试性能指标建立了一种标准。通过在多通道脑电图的某一通道应用该棘波检测算法，能够实现棘波放电的精准检测。
附图说明
图1本发明的方法流程图；
图2本发明实施例棘波识别效果图。
具体实施方式
下面结合附图和具体实施方式对本发明作详细说明。
如图1所示，通用的针对单通道尖棘波放电检测方法的实现步骤，在发明内容内已有详细的介绍，即本发明的技术方案主要包括如下步骤：
步骤1、对输入已标记的原始单通道脑电信号进行预处理，所述的已标记表示原始单通道脑电信号包含棘波时间点的标记；所述的预处理包括级联滤波和标准化处理；
步骤2、对步骤1处理后的单通道脑电EEG信号分别进行连续小波变换和Savitzky-Golay滤波基础上进行平滑非线性能量算子滤波，对连续小波变换后的数据选择1-70Hz的频带，在时间域上分割后得到长度为0.2s的脑电信号片段对应的频谱图；基于滤波后的脑电信号，提取12维传统的时频域特征；
步骤3、对步骤2处理后的频谱图，使用DenseNet121深度卷积神经网络，在使用预训练网络权重的基础上，提取出2维的深度特征；
步骤4、针对步骤2得到的12维传统特征，采用方差过滤式方法进行特征选择，筛选出4维的传统特征；与步骤3中得到的2维深度特征，采用典型相关分析并采取相加的融合策略，最终得到2维的融合特征；
步骤5、利用步骤4得到的2维融合特征和标注信息，基于随机森林分类算法搭建棘波检测模型；
步骤6、应用步骤5搭建的棘波检测模型，在连续的EEG信号上实现脑电棘波检测。
所述步骤1，具体步骤如下：
将原始输入的单通道脑电信号利用1-70HZ带通滤波器取得脑电能量信号最集中的频段，再利用50HZ陷波滤波器进行滤波去除工频噪声。
所述步骤2，具体步骤如下：
2-1通过morlet小波基进行脑电信号的连续小波变换，将脑电信号转换成频谱图，morlet小波基表达式为：
其中，ω0表示中心频率，morlet小波基函数是由复三角函数乘上一个指数衰减函数构成的。通过morlet小波基表达式，可以得到morlet小波变换的公式为：
其中，a为小波基缩小的倍数，b为小波基平移的单位，ω0为中心频率。
连续小波变换是选择一个中心频率，通过尺度变换得到一些中心频率，又通过时移得到一系列不同区间的基函数，分别和原始信号的某一段(对应基函数的区间)乘积再积分，产生的极值对应的频率就是原始信号这一区间含有的频率。
将预先标记的脑电数据划分为训练数据和测试数据，脑电信号的分割方式相同，即将整段脑电信号有重叠地进行连续分割，重叠长度为0.1s，每个脑电信号片段长度为0.2s；其中，训练数据中的棘波数据选取包含标记的棘波点连续两个区间的片段；
2-2通过Savitzky-Golay滤波算法，利用三阶多项式依据最小二乘准则拟合滤波窗口内的信号数据，再通过已求得的多项式参数计算窗口中心点的函数值以代替原有数值；在Savitzky-Golay滤波的基础上，通过以下非线性能量算子计算脑电信号片段非线性能量特征：
ψ[x(i)]＝x2(i)+x(i-1)x(i+1)
其中x(i)为Savitzky-Golay滤波后得到的脑电信号片段，x(0)表示信号的初始值，i＝1,2,…,N，N为信号片段长度，在此基础上叠加一个窗函数对得到的非线性能量进行卷积，计算得到平滑非线性能量滤波后的信号片段：
ψs[x(i)]＝w(i)*ψ[x(i)]
其中w(i)为三角窗函数；
2-3计算Savitzky-Golay和平滑非线性能量滤波后脑电信号片段的最大值max(maximum)、峭度因子KF(kurtosis factor)、方差var(variance)、平均幅值AA(averageamplitude)、能量energy、均方根RMS(root mean square)、方根幅值SRA(Square rootamplitude)、标准差SD(standard deviation)、香农熵SE(shannon entropy)、对数熵LE(log entropy)、L1范数N1(L1-norm)、L2范数N2(L2-norm)；以上共12维特征，在提取频谱图特征的同时提取这12维传统特征，使得后续的深度特征和传统特征能一一对应；
假设样本数据为S，Si(i＝1,2,...,N)表示滤波后脑电信号片段的数据，N表示数据长度；
(1)通过如下公式计算最大值max：
max＝max(S)
式中max()代表取最大值；
(2)通过如下公式计算峭度因子KF：
式中μ表示信号片段所有数据的均值，σ表示信号片段所有数据的方差；
(3)通过如下公式计算方差var：
式中μ表示信号片段所有数据的均值；
(4)通过如下公式计算平均幅值AA：
(5)通过如下公式计算能量energy：
(6)通过如下公式计算均方根RMS：
(7)通过如下公式计算方根幅值SRA：
(8)通过如下公式计算标准差SD：
(9)通过如下公式计算香农熵SE：
其中，p(Si)表示取Si的概率；
(10)通过如下公式计算对数熵LE：
(11)通过如下公式计算L1范数N1：
(12)通过如下公式计算L2范数N2：
2-4假设两类训练样本所有数目为T，对所有训练样本进行步骤2-3的12维传统提取，并构成T*12维的特征矩阵X。
所述步骤3，具体步骤如下：
3-1 DenseNet121网络采用密集连接机制，需要特征图大小保持一致，因此DenseNet121网络中使用DenseBlock+Transition的结构；
(1)DenseBlock是包含很多层的模块，每个层的特征图大小相同，可以在channel维度上连接在一起，实现特征重用，作为下一层的输入，即DenseNet121网络在l层的输出为：
xl＝Hl([x0,x1,...,xl-1])
其中，Hl(*)代表非线性组合函数，结构采用：
BN(Batch Normalization)+ReLU+3×3 Conv
特征传递方式是直接将前面所有层的特征拼接后传到下一层；
(2)Transition层主要是连接两个相邻的DenseBlock，并且降低特征图大小，结构为：
BN+ReLU+1×1 Conv+2×2 AvgPooling
Transition层可以起到压缩模型的作用；
3-2 DenseNet121网络的训练采用微调预训练模型的方式，通过加载预训练模型权重参数，能有效加快网络的训练速度；
3-3网络的分类层采用全连接网络，网络最后的输出是一个2维的特征向量Y，将训练好的网络权重再次导入，提取出训练集和测试集中脑电信号的2维深度特征。
所述步骤4，具体步骤如下：
针对特征矩阵X，采用方差过滤式方法做特征选择；
4-1通过如下公式计算特征矩阵X各维度方差Vj(j＝1,2,...,12)：
其中T为训练样本个数，vμj为第j个维度所有数据均值，Vj(t)为第j个维度的第t个数据；
4-2将得到的方差结果进行降序排序，输出排序后的方差值对应的特征维度索引；
4-3根据4-2得到的特征维度索引结果，从前往后选取数目为4的特征维度索引对应的特征作为新的T*4维的特征向量XT；
4-4将方差选择后的传统特征XT和深度特征Y进行标准化处理，得到均值为0方差为1的标准数据；
4-4计算XT和Y的总体方差矩阵SXX和SYY，以及协方差矩阵SXY；计算矩阵M：
对矩阵M进行奇异值分解，得到最大的奇异值ρ和最大奇异值对应的左右奇异向量u,v；计算XT和Y的映射矩阵α和β：
两个特征在相关子空间的表示为：
X′＝αTX
Y′＝βTY
4-5对X′和Y′采用相加的特征融合策略：
Z＝X′+Y′＝αTX+βTY
最终得到2维的融合特征Z。
所述步骤5，具体步骤如下：
根据4-5得到的融合特征Z结合两个类别的类别标签和随机森林算法进行模型训练得到分类器模型。
所述步骤3，具体步骤如下：
6-1将测试数据输入训练好的随机森林分类模型中，得到测试数据脑电信号片段的识别结果，所述的测试数据脑电信号片段的识别结果包括包含棘波点的信号片段识别结果和未包含棘波点的信号片段识别结果；
6-2首先，对包含棘波点的信号片段识别结果进行进一步判定，由于测试脑电信号裁剪时有50％的重叠时长，因此一个棘波点必定包含在两个相邻的脑电信号片段内，并且在棘波相邻正常样本中可能会出现部分的棘波波形，因此当包含棘波点的脑电信号片段至少有一个被识别为棘波时，判定这个棘波点左右两侧共四个脑电信号片段的识别结果正确，否则判定识别结果错误；然后，对未包含棘波点的信号片段识别结果进行判定；当片段识别结果为棘波时，判定识别结果错误，否则判定识别结果正确；最终得到识别结果正确的样本集和识别结果错误的样本集；
6-3统计四个基本参数，所述的四个基本参数包括真阳(true positive)、真阴(true negative)、假阳(false positive)和假阴(false negative)，真阳为识别结果正确样本中含棘波的样本数量，真阴为识别结果正确样本中不含棘波的样本数量，假阳为识别结果错误样本中不含棘波的样本数量，假阴为识别结果错误样本中含棘波的样本数量；
6-4根据获得的四个基本参数调整分类器模型的树的数目、随机属性个数构建出最优分类器模型，即棘波检测模型。
图2为本发明实施例棘波识别效果图。
在步骤2-1中，选取0.2s作为一个样本的长度是考虑到棘波的放点时长通常为0.02-0.07s，尖波放电时长为0.07-0.2s，虽然临床中对棘波和尖波的定义有所不同，但在棘波和尖波的自动识别领域，将二者统称为癫痫瞬变现象或统称为棘波，本专利中所提的棘波均指代医学意义上棘波和尖波的集合。
在步骤2-1中，为了保证训练数据和测试数据在样本空间分布上的相似性，因此训练数据和测试数据的数据切割方式相同。为了确保分割时完整的特征信号，设置50％的样本重叠率，因此根据棘波点的标记，包含某一棘波点的连续两个样本被划分为棘波样本，而其他不包含棘波点的样本被划分为正常样本。
在步骤6-2中，由于测试数据在连续分割时棘波点位置可能出现在信号片段的边缘，不能保证每个包含棘波点的脑电信号片段含有完整的棘波特征波形。因此，仅当包含同一个棘波点的两个连续脑电信号片段识别结果都为非棘波时才被认为是识别错误。并且，连续分割有可能会导致同一个棘波点的两个连续脑电信号相邻的两个标记为正常样本的脑电信号中也包含部分棘波特征波形，因此在测试时，当包含同一个棘波点的两个连续脑电信号中至少有一个被模型检测出棘波，那么这个棘波点两侧的四个区间的识别结果都为正确。
为了真实测试本发明对脑电棘波信号的检测效果，在浙江大学医学院附属儿童医院真实病患EEG数据上与多种目前主流检测算法进行了对比实验：
实验数据为21通道，采样频率为1000Hz，数据共分为15个不同患病个体数据集，平均数据长度为15分钟。Xu Zhendi等人在2021年提出的基于时序特征提取和堆叠Bi-LSTM网络的棘波检测算法在单通道数据集上的平均灵敏度(sensitivity)为87.81％，平均精确率(precision)为91.38％，平均F1 score为89.56％。本发明在单通道数据集上的平均灵敏度为98.72％，平均精确率为84.69％，平均F1 score为91.17％。本发明相对于上述对比算法在单通道数据集上平均灵敏度提高了10.91％，平均F1 score提高了1.61％。而基于时序特征提取和堆叠Bi-LSTM网络的棘波检测算法已证明比主流的棘波检测模型更加优异，这充分证明了本发明在真实数据上相较于目前的棘波检测模型有着更加优异的性能。
本发明提出的基于深度神经网络与CCA特征融合的棘波检测方法，在输入脑电图中精确标注棘波放电的波峰或波谷的时间点，用于训练和测试模型，后续可以有效辅助医生进行ripple、棘慢波复合指数等癫痫相关统计量的评估治疗。由于脑电信号复杂程度高且易受干扰，加之存在波形相似度高但是属于非棘波的正常生理信号，传统的特征提取算法加分类器对棘波的检测效果抗干扰性差，脑电信号中存在的许多干扰被误判为棘波。同时，由于在棘波检测中的信号长度只有0.2s，脑电片段的频谱图中包含的信息量不够表征该段信号的特征，若仅使用单一的频谱图来进行深度卷积网络的训练和测试，脑电信号中在频谱图上与棘波样本相似度较高的正常样本会检测成棘波，这会导致一些正常的脑电信号被误判为棘波。综上所述，本发明中基于DenseNet121深度卷积神经网络提取的深度特征与方差筛选后的传统特征，通过典型相关分析(CCA)并采用相加的特征融合策略，结合随机森林分类模型能够实现性能较强的棘波检测功能。

Claims (4)

1.一种基于深度神经网络与CCA特征融合的棘波检测方法，其特征在于包括如下步骤：
步骤1、对输入已标记的原始单通道脑电信号进行预处理，所述的已标记的原始单通道脑电信号包含棘波时间点的标记；所述的预处理包括级联滤波和标准化处理；
步骤2、对预处理后的单通道脑电EEG信号先进行连续小波变换，然后在Savitzky-Golay滤波基础上进行平滑非线性能量算子滤波；对连续小波变换后的数据选择1-70Hz的频带；在时间域上进行分割后，得到长度为0.2s的脑电信号片段对应的频谱图；基于二次滤波后的脑电信号，提取12维传统的时频域特征；
步骤3、对步骤2处理后的频谱图，使用预训练好的DenseNet121深度卷积神经网络，提取出2维的深度特征；
步骤4、针对步骤2得到的12维时频域特征，采用方差过滤式方法进行特征选择，筛选出4维特征；与步骤3中得到的2维深度特征，采用典型相关分析并采取相加的融合策略，最终得到2维的融合特征；
步骤5、利用步骤4得到的2维融合特征和对应的标记信息，基于随机森林分类算法搭建棘波检测模型；
步骤6、应用步骤5搭建的棘波检测模型，在连续的EEG信号上实现脑电棘波检测；
所述步骤4的具体实现如下：
针对特征矩阵X，采用方差过滤式方法做特征选择；
4-1.通过如下公式计算特征矩阵X各维度方差Vj(j＝1,2,...,12)：
其中T为训练样本个数，为第j个维度所有数据均值，Vj(t)为第j个维度的第t个数据；
4-2.将得到的方差结果进行降序排序，输出排序后的方差值对应的特征维度索引；
4-3.根据4-2得到的特征维度索引结果，从前往后选取前4个特征维度索引对应的特征作为新的T*4维的特征向量XT；
4-4.将方差选择后的特征向量XT和深度特征Y进行标准化处理，得到均值为0方差为1的标准数据；
4-5.计算XT和Y的总体方差矩阵SXX和SYY，以及协方差矩阵SXY；计算矩阵M：
对矩阵M进行奇异值分解，得到最大的奇异值ρ和最大奇异值对应的左右奇异向量u,v；计算XT和Y的映射矩阵α和β：
两个特征在相关子空间的表示为：
X′＝αTX (12)
Y′＝βTY (13)
4-6.对X′和Y′采用相加的特征融合策略：
Z＝X′+Y′＝αTX+βTY (14)
最终得到2维的融合特征Z。
2.根据权利要求1所述的一种基于深度神经网络与CCA特征融合的棘波检测方法，其特征在于所述步骤2的具体实现如下：
2-1通过morlet小波基进行脑电信号的连续小波变换，将脑电信号转换成频谱图，morlet小波基表达式为：
其中，ω0表示中心频率，morlet小波基函数是由复三角函数乘上一个指数衰减函数构成的；通过morlet小波基表达式，可以得到morlet小波变换的公式为：
其中，a为小波基缩小的倍数，b为小波基平移的单位，ω0为中心频率；
将预先标记的脑电数据划分为训练数据和测试数据，脑电信号的分割方式相同，即将整段脑电信号有重叠地进行连续分割，重叠长度为0.1s，每个脑电信号片段长度为0.2s；其中，训练数据中的棘波数据选取包含标记的棘波点连续两个区间的片段；
2-2通过Savitzky-Golay滤波算法，利用三阶多项式依据最小二乘准则拟合滤波窗口内的信号数据，再通过已求得的多项式参数计算窗口中心点的函数值代替原有数值；在Savitzky-Golay滤波的基础上，通过以下非线性能量算子计算脑电信号片段非线性能量特征：
ψ[x(i)]＝x2(i)+x(i-1)x(i+1)(3)
其中x(i)为Savitzky-Golay滤波后得到的脑电信号片段，x(0)表示信号片段的初始值，i＝1,2,…,N，N为信号片段长度，在此基础上叠加一个窗函数对得到的非线性能量进行卷积，计算得到平滑非线性能量滤波后的信号片段：
ψs[x(i)]＝w(i)*ψ[x(i)] (4)
其中w(i)为三角窗函数；
2-3计算Savitzky-Golay和平滑非线性能量滤波后脑电信号片段的最大值max、峭度因子KF、方差var、平均幅值AA、能量energy、均方根RMS、方根幅值SRA、标准差SD、香农熵SE、对数熵LE、L1范数N1、L2范数N2；在提取频谱图特征的同时提取这12维传统的时频域特征，使得后续的深度特征和时频域特征能一一对应；
2-4假设两类训练样本所有数目为T，对所有训练样本进行步骤2-3的12维传统特征提取，并构成T*12维的特征矩阵X。
3.根据权利要求2所述的一种基于深度神经网络与CCA特征融合的棘波检测方法，其特征在于所述步骤3的具体实现如下：
3-1.DenseNet121网络采用密集连接机制，需要特征图大小保持一致，因此DenseNet121网络中使用DenseBlock+Transition的结构；
(1)DenseBlock是包含很多层的模块，每个层的特征图大小相同，可以在channel维度上连接在一起，实现特征重用，作为下一层的输入，即DenseNet121网络在l层的输出为：
xl＝Hl([x0,x1,...,xl-1]) (5)
其中，Hl(*)代表非线性组合函数，结构采用：
BN(Batch Normalization)+ReLU+3×3Conv (6)
特征传递方式是直接将前面所有层的特征拼接后传到下一层；
(2)Transition层主要是连接两个相邻的DenseBlock，并且降低特征图大小，结构为：
BN+ReLU+1×1Conv+2×2AvgPooling (7)
Transition层可以起到压缩模型的作用；
3-2.DenseNet121网络的训练采用微调预训练模型的方式，通过加载预训练模型权重参数，能有效加快网络的训练速度；
3-3.网络的分类层采用全连接网络，网络最后的输出是一个2维的特征，将训练好的网络权重再次导入，提取出训练集和测试集中脑电信号的2维深度特征Y。
4.根据权利要求3所述的一种基于深度神经网络与CCA特征融合的棘波检测方法，其特征在于所述步骤6的具体实现如下：
6-1.将测试数据输入训练好的随机森林分类模型中，得到测试数据脑电信号片段的识别结果，所述的测试数据脑电信号片段的识别结果包括包含棘波点的信号片段识别结果和未包含棘波点的信号片段识别结果；
6-2.首先，对包含棘波点的信号片段识别结果进行进一步判定，由于测试脑电信号裁剪时有50％的重叠时长，因此一个棘波点必定包含在两个相邻的脑电信号片段内，并且在棘波相邻正常样本中可能会出现部分的棘波波形，因此当包含棘波点的脑电信号片段至少有一个被识别为棘波时，判定这个棘波点左右两侧共四个脑电信号片段的识别结果正确，否则判定识别结果错误；然后，对未包含棘波点的信号片段识别结果进行判定；当片段识别结果为棘波时，判定识别结果错误，否则判定识别结果正确；最终得到识别结果正确的样本集和识别结果错误的样本集；
6-3.统计四个基本参数，所述的四个基本参数包括真阳、真阴、假阳和假阴，真阳为识别结果正确样本中含棘波的样本数量，真阴为识别结果正确样本中不含棘波的样本数量，假阳为识别结果错误样本中不含棘波的样本数量，假阴为识别结果错误样本中含棘波的样本数量；
6-4.根据获得的四个基本参数调整分类器模型的树的数目、随机属性个数构建出最优分类器模型，即棘波检测模型。
CN202111279893.4A 2021-10-28 2021-10-28 一种基于深度神经网络与cca特征融合的棘波检测方法 Active CN114081508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111279893.4A CN114081508B (zh) 2021-10-28 2021-10-28 一种基于深度神经网络与cca特征融合的棘波检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111279893.4A CN114081508B (zh) 2021-10-28 2021-10-28 一种基于深度神经网络与cca特征融合的棘波检测方法

Publications (2)

Publication Number Publication Date
CN114081508A CN114081508A (zh) 2022-02-25
CN114081508B true CN114081508B (zh) 2024-05-14

Family

ID=80298692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111279893.4A Active CN114081508B (zh) 2021-10-28 2021-10-28 一种基于深度神经网络与cca特征融合的棘波检测方法

Country Status (1)

Country Link
CN (1) CN114081508B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114997315B (zh) * 2022-06-13 2024-07-16 西安交通大学 一种基于多通道脑电图集成的错误相关电位分类方法
WO2024130020A1 (en) * 2022-12-15 2024-06-20 Elemind Technologies, Inc. Closed-loop neuromodulation of sleep-related oscillations
CN115984193A (zh) * 2022-12-15 2023-04-18 东北林业大学 融合组织病理图像和ct影像的pdl1表达水平检测方法
CN116340735B (zh) * 2023-05-30 2023-08-11 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于长视野特征融合的棘波检测方法及系统
CN118380139A (zh) * 2024-04-26 2024-07-23 天津大学 一种基于U-Net网络的单通道脑电癫痫棘波检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110811609A (zh) * 2019-10-28 2020-02-21 杭州电子科技大学 基于自适应模板匹配与机器学习算法融合的癫痫棘波智能检测方法
CN111150393A (zh) * 2020-02-19 2020-05-15 杭州电子科技大学 基于lstm多通道的脑电癫痫尖棘波放电联合检测方法
WO2020223354A1 (en) * 2019-04-29 2020-11-05 Cornell University Median power spectrographic images and detection of seizure
CN112220485A (zh) * 2020-09-03 2021-01-15 北京慧脑云计算有限公司 一种癫痫脑电图/脑磁图异常波自动检测方法与定位系统
CN112603334A (zh) * 2020-12-18 2021-04-06 杭州电子科技大学 基于时序特征和堆叠Bi-LSTM网络的棘波检测方法
CN113011239A (zh) * 2020-12-02 2021-06-22 杭州电子科技大学 一种基于最优窄频带特征融合的运动想象分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020223354A1 (en) * 2019-04-29 2020-11-05 Cornell University Median power spectrographic images and detection of seizure
CN110811609A (zh) * 2019-10-28 2020-02-21 杭州电子科技大学 基于自适应模板匹配与机器学习算法融合的癫痫棘波智能检测方法
CN111150393A (zh) * 2020-02-19 2020-05-15 杭州电子科技大学 基于lstm多通道的脑电癫痫尖棘波放电联合检测方法
CN112220485A (zh) * 2020-09-03 2021-01-15 北京慧脑云计算有限公司 一种癫痫脑电图/脑磁图异常波自动检测方法与定位系统
CN113011239A (zh) * 2020-12-02 2021-06-22 杭州电子科技大学 一种基于最优窄频带特征融合的运动想象分类方法
CN112603334A (zh) * 2020-12-18 2021-04-06 杭州电子科技大学 基于时序特征和堆叠Bi-LSTM网络的棘波检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhendi Xu, Tianlei Wang,Jiuwen Cao .et.al.BECT Spike Detection Based on Novel EEG Sequence Features and LSTM Algorithms.IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING.2021,第29卷1734-1742. *

Also Published As

Publication number Publication date
CN114081508A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN114081508B (zh) 一种基于深度神经网络与cca特征融合的棘波检测方法
CN102512158B (zh) 一种基于高维模糊识别的心电信号质量评估方法和装置
CN106909784A (zh) 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法
CN111150393B (zh) 基于lstm多通道的脑电癫痫尖棘波放电联合检测方法
CN112603334B (zh) 基于时序特征和堆叠Bi-LSTM网络的棘波检测方法
Grajski et al. Classification of EEG spatial patterns with a tree-structured methodology: CART
CN104887224A (zh) 面向癫痫脑电信号的特征提取与自动识别方法
CN113158964B (zh) 一种基于残差学习和多粒度特征融合的睡眠分期方法
CN107203692A (zh) 基于深度卷积神经网络的房颤检测的实现方法
CN103646252B (zh) 一种基于优化的模糊学习矢量量化的苹果分类方法
CN108567418A (zh) 一种基于PCANet的脉搏信号亚健康检测方法及检测系统
CN105320969A (zh) 基于多尺度Renyi熵的心率变异性特征分类方法
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
Bagheri et al. A fast machine learning approach to facilitate the detection of interictal epileptiform discharges in the scalp electroencephalogram
CN114093501B (zh) 基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法
CN107942214A (zh) 一种变压器局部放电信号的特征提取方法、装置
CN111027488A (zh) 一种信号分类的方法和设备
CN114587381A (zh) 基于多通道脑电智能筛选与加权样本生成的棘波检测方法
CN114081494B (zh) 一种基于大脑外侧缰核信号的抑郁状态检测系统
CN116211322A (zh) 一种基于机器学习脑电信号的抑郁症识别方法和系统
CN116758922A (zh) 一种用于变压器的声纹监测与诊断方法
CN113343869A (zh) 基于ntft和cnn的脑电信号自动分类与识别方法
CN110443276A (zh) 基于深度卷积网络与灰度递归图分析的时间序列分类方法
CN116340812A (zh) 一种变压器局部放电故障模式识别方法及系统
CN116491956A (zh) 一种基于多域特征融合的异常脑电自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant