CN116226710A - 一种脑电信号分类方法和帕金森病检测装置 - Google Patents
一种脑电信号分类方法和帕金森病检测装置 Download PDFInfo
- Publication number
- CN116226710A CN116226710A CN202310155660.6A CN202310155660A CN116226710A CN 116226710 A CN116226710 A CN 116226710A CN 202310155660 A CN202310155660 A CN 202310155660A CN 116226710 A CN116226710 A CN 116226710A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- phase
- matrix
- signal
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 208000027089 Parkinsonian disease Diseases 0.000 title claims abstract description 36
- 206010034010 Parkinsonism Diseases 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 122
- 238000001228 spectrum Methods 0.000 claims abstract description 50
- 238000013145 classification model Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 210000004556 brain Anatomy 0.000 claims description 28
- 230000003595 spectral effect Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 21
- 208000018737 Parkinson disease Diseases 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000012535 impurity Substances 0.000 claims description 5
- 238000012880 independent component analysis Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 23
- 230000003925 brain function Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- VYFYYTLLBUKUHU-UHFFFAOYSA-N dopamine Chemical compound NCCC1=CC=C(O)C(O)=C1 VYFYYTLLBUKUHU-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004770 neurodegeneration Effects 0.000 description 2
- 208000015122 neurodegenerative disease Diseases 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 206010006100 Bradykinesia Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229960003638 dopamine Drugs 0.000 description 1
- 230000003291 dopaminomimetic effect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 210000003523 substantia nigra Anatomy 0.000 description 1
- 238000002636 symptomatic treatment Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种脑电信号分类方法和帕金森病检测装置。本发明所述的脑电信号分类方法包括:获取脑电信号;提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;将所述锁相值特征矩阵和所述功率谱密度特征矩阵输入训练好的分类模型;通过所述分类模型对所述锁相值特征矩阵和所述功率谱密度特征矩阵进行深层特征提取、深层特征拼接和分类,得到所述脑电信号对应的分类。本发明所述的脑电信号分类方法,提出了一种高效、鲁棒的基于深度学习的帕金森病脑电信号检测深度学习模型,对提取的特征进行融合处理,实现将帕金森病患者和健康者的脑电信号进行分类。
Description
技术领域
本发明涉及深度学习技术领域,特别是涉及一种脑电信号分类方法和帕金森病检测装置。
背景技术
帕金森病是一种神经退行性疾病,它会影响神经元在被称为黑质的大脑特定部位产生多巴胺(“多巴胺能”),其症状表现为运动缓慢(运动迟缓)、不自主震颤、僵硬和姿势不稳定等。帕金森病目前已成为世界第二大常见的神经退行性疾病,但其早期诊断和治疗仍十分困难,主要原因是帕金森病病理机制不明确、早期症状不明显,且缺乏客观、有效的检测手段。错误的诊断会影响后续的对症治疗。多数帕金森病患者在治疗期间需要长期的护理,所需相关费用非常巨大,这不仅给患者的家庭带来了极大的精神痛苦和经济压力,也给社会带来了沉重的经济负担。因此对早期帕金森病患者进行准确、有效的诊断和评估是非常迫切的,具有非常大的社会意义和临床价值。
帕金森病诊断的传统方法是基于对肢体运动症状的观察,专业的临床医生主要依据统一帕金森病评定量表(Unified Parkinson Disease Rating Scale,U帕金森病RS)对帕金森病情进行判断。然而,该基于行为观察的方法主要还是依靠医生的临床经验水平,具有一定的主观性,并且对患者病情变化判断的敏感度不高,可能造成较高的误诊率。因此,采用更加客观、有效的方法来诊断早期帕金森患者是十分必要的。
随着神经影像学技术的快速发展,借助无创的脑功能成像技术检测脑疾病的应用越来越多,包括正电子发射断层扫描术、功能磁共振成像和脑电图(EEG)等技术。其中,脑电技术由于其便携、成本低等优势,广泛应用于神经系统疾病辅助诊断、脑功能康复等方面的研究。
近年来,随着机器学习的发展,越来越多的研究也探索了基于脑电图的帕金森病检测方法。虽然深度学习技术在帕金森自动检测方面显示出巨大潜力。然而,在这一领域仍有一些问题值得进一步探讨。
首先,以往的研究大多只基于单一模式(激活模式或脑网络模式)的特征来表征和识别帕金森病,难以充分反映帕金森病患者的脑功能特征。其次,大多数的帕金森病患者检测研究采用的是传统的机器学习模型,仍然缺乏高效、鲁棒的帕金森病自动检测模型。
发明内容
基于此,本发明的目的在于,提供一种脑电信号分类方法和帕金森病检测装置,对帕金森病患者的自发脑电活动进行脑激活和脑功能连通性多模式特征提取,将这两种互补模式相结合,并提出了一种高效、鲁棒的基于深度学习的帕金森病脑电信号检测深度学习模型,对提取的特征进行融合处理,实现将帕金森病患者和健康者的脑电信号进行分类。
第一方面,本发明提供一种脑电信号分类方法,包括以下步骤:
获取脑电信号;
提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
将所述锁相值特征矩阵和所述功率谱密度特征矩阵输入训练好的分类模型;
通过所述分类模型对所述锁相值特征矩阵和所述功率谱密度特征矩阵进行深层特征提取、深层特征拼接和分类,得到所述脑电信号对应的分类类型。
进一步地,所述分类模型包括第一子网络、第二子网络、拼接层和分类层;
所述第一子网络用于对所述锁相值特征矩阵进行处理,得到锁相值深层特征;
所述第二子网络用于对所述功率谱密度特征矩阵进行处理,得到功率谱密度深层特征;
所述拼接层用于对所述锁相值深层特征和所述功率谱密度深层特征进行扁平拼接,得到最终特征张量表示;
所述分类层用于对所述最终特征张量表示进行分类,得到所述脑电信号对应的分类类型。
进一步地,获取待分类的脑电信号之后,还包括以下步骤:
对各通道脑电数据进行0.5~50hz的带通滤波;
利用独立成分分析去除杂质信号;
使用汉明加窗FIR滤波器对脑电数据进行滤波,得到δ(1-4Hz),θ(4–8Hz),α(8–12Hz),β(13–30Hz),γ(30–48Hz)5个频带的脑电信号。
进一步地,提取所述脑电信号的锁相值特征矩阵,包括以下步骤:
使用以下公式,计算两个连续信号x(t)和y(t)的同步性:
其中,PLV为锁相值,t为时间点,N为每个信号的采样个数,θx(t)和θy(t)是信号x(t)和y(t)的瞬时相位;相位通过希尔伯特变换计算得到,瞬时相位计算公式如下:
其中,p.v表示柯西主值;
提取每个受试者五个频带(δ、θ、α、β、γ)以及完整频带的PLV特征矩阵图,获得一个结构为32×32×5的对称矩阵,即锁相值特征矩阵:
其中,每一行和每一列对应一个不同的节点,位于第i和第j列交点的矩阵元素对通道i和j的连接信息进行编码;使用P的下标来索引每个元素,第一个下标k索引频带,第二个下标i索引行,第三个下标j索引列;连通矩阵的对角线元素Pkij(其中i=j)设为1,非对角线元素Pkij(其中i≠j)设为PLVkij值。
进一步地,提取所述脑电信号的功率谱密度特征矩阵,包括以下步骤:
使用如下公式,对所述脑电信号进行短时离散傅里叶变换并求得功率谱:
其中,STFTX为对脑电信号进行加窗的傅里叶变换(傅里叶变换只反映出信号在频域的特性,无法在时域内对信号进行分析,x(n)为各通道的脑电信号,w(n)是窗函数,是角频率,k=0,1,...,N是时序采样点数,窗函数w(n)随m变化在时间轴平移;m为时间点,w*(n-m)为分析窗函数,信号x(m)在时间m处的短时傅里叶变换就是信号乘上一个以m为中心的“分析窗”w*(n-m)后所作的傅里叶变换;x(m)乘以分析窗函数w*(n-m)等价于取出信号在分析时间点m附近的一个切片;对于给定时间m,X(m,wk)可以看作是该时刻的频谱;
使用长度为1s的汉宁窗函数在信号时间轴上平移,将窗函数截取的信号进行变换得到信号频域信息,如式:
其中,N是时序采样点数,X(m,wk)是该时刻的频谱,PSD为功率谱密度特征;
按照频率大小将原始脑电信号划分为5个频带(δ、θ、α、β、γ),得到结构为32×1×5的功率谱密度特征矩阵。
进一步地,所述第一子网络包括顺次连接的5×5卷积层、2×2最大池化层、5×5卷积层、5×5卷积层、5×5卷积层、2×2最大池化层、5×5卷积层和2×2最大池化层。
进一步地,所述第二子网络包括7×1卷积层、2×1最大池化层、5×1卷积层和2×1最大池化层。
进一步地,所述分类模型的训练步骤包括:
获取脑电信号数据集,所述脑电信号数据集包括多个帕金森病患的脑电信号和多个健康者的脑电信号;
针对每一个脑电信号,提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
对每一组所述锁相值特征矩阵和功率谱密度特征矩阵进行划分,划分为训练集数据、测试集数据以及验证集数据,并对每一组所述锁相值特征矩阵和功率谱密度特征矩阵划分标签;所述标签包括0和1,分别用于指代帕金森病患的脑电信号和健康者的脑电信号;
使用所述训练集数据对所述分类模型进行训练,训练使用SGD优化器;
使用所述测试集数据和验证集数据对经过训练的所述分类模型进行评估,得到训练好的分类模型。
第二方面,本发明还提供一种帕金森病检测装置,包括:
脑电信号获取模块,用于获取脑电信号;
特征矩阵提取模块,用于提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
特征矩阵输入模块,用于将所述锁相值特征矩阵和所述功率谱密度特征矩阵输入训练好的分类模型;
脑电信号分类模块,用于通过所述分类模型对所述锁相值特征矩阵和所述功率谱密度特征矩阵进行深层特征提取、深层特征拼接和分类,得到所述脑电信号对应的分类类型,所述分类标签包括帕金森病患的脑电信号和健康者的脑电信号。
本发明提供的一种脑电信号分类方法和帕金森病检测装置,同时考虑了基于局部脑激活和基于脑功能网络两种模式的特征分析。以PSD特征为代表的局部激活模式可以反映大脑各个区域之间的功率差异,而以PLV为脑功能连接模式则可以反映不同大脑区域之间的信息交互。这两种补偿信息的模式结合分析可以更全面、准确地反映出大脑功能的状态。利用多模式信息,可以更有效可靠的去对帕金森病患者的脑电信号和健康者的脑电信号进行分类,更好的利用于临床辅助诊断。现阶段,普遍的检测方法还主要基于机器学习,传统的机器学习方法需要繁琐的特征提取和选择过程,这可能导致脑电信号的信息丢失。此外,特征提取和选择方法只能由经验丰富的专家手动执行,这样才能做出准确的判断。本专利利用的是机器学习方法的另一种替代方法,深度学习模型,它可以通过消除特征提取的需要而大大减轻机器学习算法的负担,并且可以有效融合多模式特征,提取到更深层次的帕金森病表征特征。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本发明提供的一种脑电信号分类方法的步骤示意图;
图2为一个实施例中分类模型框架图;
图3为一个实施例中残差块的结构示意图;
图4为本发明提供的一种帕金森病检测装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确,所描述的实施例仅仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
针对背景技术中的问题,本申请实施例提供一种脑电信号分类方法,如图1所示,该方法包括以下步骤:
S01:获取脑电信号。
本专利使用MATLAB的EEGLAB进行预处理,先对各通道脑电数据进行0.5~50hz的带通滤波,再利用独立成分分析(ICA)去除眼电,肌电等杂质,接着使用汉明加窗FIR滤波器对脑电数据进行滤波,得到δ(1-4Hz),θ(4–8Hz),α(8–12Hz),β(13–30Hz),γ(30–48Hz)5个频带的脑电信号。
为了保证数据的可靠性,我们在数据集上选择了以下的通道进行提取(Fp1,AF3,F7,F3,FC1,FC5,T7,C3,CP1,CP5,P7,P3,Pz,PO3,O1,Oz,O2,PO4,P4,P8,CP6,CP2,C4,T8,FC6,FC2,F4,F8,AF4,Fp2,Fz,Cz)。然后将EEG记录分割成每秒为1个样本,得到(通道数×采样点×文件数)维度的脑电数据。
S02:提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵。
功率谱密度可以反映各频带脑电波在各脑区的能量分布情况,而PLV可反映大脑各脑区间脑电信号的相位同步关系。以PSD特征为代表的局部激活模式可以反映大脑各个区域之间的功率差异,而以PLV为脑功能连接模式则可以反映不同大脑区域之间的信息交互。这两种补偿信息的模式结合分析可以更全面、准确地反映出大脑功能的状态。
优选的,提取所述脑电信号的锁相值特征矩阵,包括以下步骤:
S021:使用以下公式,计算两个连续信号x(t)和y(t)的同步性:
其中,PLV为锁相值,t为时间点,N为每个信号的采样个数,θx(t)和θy(t)是信号x(t)和y(t)的瞬时相位;相位通过希尔伯特变换计算得到,瞬时相位计算公式如下:
其中,p.v表示柯西主值;
S022:提取每个受试者五个频带(δ、θ、α、β、γ)以及完整频带的PLV特征矩阵图,获得一个结构为32×32×5的对称矩阵,即锁相值特征矩阵:
其中,每一行和每一列对应一个不同的节点,位于第i和第j列交点的矩阵元素对通道i和j的连接信息进行编码;使用P的下标来索引每个元素,第一个下标k索引频带,第二个下标i索引行,第三个下标j索引列;连通矩阵的对角线元素Pkij(其中i=j)设为1,非对角线元素Pkij(其中i≠j)设为PLVkij值。
提取所述脑电信号的功率谱密度特征矩阵,包括以下步骤:
S023:使用如下公式,对所述脑电信号进行短时离散傅里叶变换并求得功率谱:
其中,STFTX为对脑电信号进行加窗的傅里叶变换(傅里叶变换只反映出信号在频域的特性,无法在时域内对信号进行分析,x(n)为各通道的脑电信号,w(n)是窗函数,是角频率,k=0,1,…,N是时序采样点数,窗函数w(n)随m变化在时间轴平移;m为时间点,w*(n-m)为分析窗函数,信号x(m)在时间m处的短时傅里叶变换就是信号乘上一个以m为中心的“分析窗”w*(n-m)后所作的傅里叶变换;x(m)乘以分析窗函数w*(n-m)等价于取出信号在分析时间点m附近的一个切片;对于给定时间m,X(m,wk)可以看作是该时刻的频谱。
S024:使用长度为1s的汉宁窗函数在信号时间轴上平移,将窗函数截取的信号进行变换得到信号频域信息,如式:
其中,N是时序采样点数,X(m,wk)是该时刻的频谱,PSD为功率谱密度特征。
S025:按照频率大小将原始脑电信号划分为5个频带(δ、θ、α、β、γ),得到结构为32×1×5的功率谱密度特征矩阵。
S03:将所述锁相值特征矩阵和所述功率谱密度特征矩阵输入训练好的分类模型。
本专利目标是要提出一个基于脑电多模式特征融合的PD患者的脑电信号的自动分类方法,并通过开发一个高效自动检测PD患者的脑电信号的深度学习模型来实现该方法现实的应用。
实际应用中,卷积神经网络是一个多层感知器,它使用局部连接和权值共享来减少网络训练参数的数量。传统卷积神经网络中LeNet-5模型结构主要有卷积层,池化层和全连接层,分别将输入特征进行提取、筛选和分类。但是一个网络模型只有几个卷积层不能充分提取判别特征以进行准确分类,而过度增加网络深度将会带来过度拟合、梯度消失等问题。为了能够充分利用大脑的细节信息和让提取的特征更具判别性,本研究在LeNet-5基础上增加了一个子网络,利用多尺度卷积来提取大脑信息中不同模式尺度的下深层特征。此外,对LeNet-5增加网络层深度的同时引用了残差学习思想,有助于提取更深层次的脑功能连接特征以及优化网络退化问题。
S04:通过所述分类模型对所述锁相值特征矩阵和所述功率谱密度特征矩阵进行深层特征提取、深层特征拼接和分类,得到所述脑电信号对应的分类类型。
对于建立好的分类模型,需要:
①模型训练及测试分类前的预处理
对多模式特征数据进行划分,划分为训练集数据、测试集数据以及验证集数据,并进行对帕金森患者和健康者打好标签(0和1)。选定SGD优化器。
优选的,模型训练包括以下步骤:
获取脑电信号数据集,所述脑电信号数据集包括多个帕金森病患的脑电信号和多个健康者的脑电信号;
针对每一个脑电信号,提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
对每一组所述锁相值特征矩阵和功率谱密度特征矩阵进行划分,划分为训练集数据、测试集数据以及验证集数据,并对每一组所述锁相值特征矩阵和功率谱密度特征矩阵划分标签;所述标签包括0和1,分别用于指代帕金森病患的脑电信号和健康者的脑电信号;
使用所述训练集数据对所述分类模型进行训练,训练使用SGD优化器;
使用所述测试集数据和验证集数据对经过训练的所述分类模型进行评估,得到训练好的分类模型。
②进行多尺度卷积特征计算
该模型先使用两个不同的子网络分别提取相位同步分析和功率谱密度特征矩阵,保证对输入的多变量特征矩阵赋予自适应的权重。
如图2所示,在一个优选的实施例中,所述分类模型包括第一子网络、第二子网络、拼接层和分类层。
所述第一子网络用于对所述锁相值特征矩阵进行处理,得到锁相值深层特征。
所述第二子网络用于对所述功率谱密度特征矩阵进行处理,得到功率谱密度深层特征。
具体的,对于第一子网络,利用5×5卷积核对输入的特征矩阵(指锁相值特征数据)进行初步卷积计算,接着使用2×2卷积核进行池化,并使用了一个残差块,结合了深度残差网络的思想来优化网络退化的问题,以便能够成功训练更深层次的网络。残差块的结构如图3所示。
深度残差网络具体表示如下:
F(X)=L(X)+X
其中,残差函数L(X)通过与X的两次卷积来计算,即:
L(X)=σ(σ(X*W1+β1)*W2+β2)式中:W1、W2是卷积核,β1、β2为偏置,σ为ReLU函数。深度残差网络有助于提取更深层次的脑功能连接特征,而且随着网络深度的增加,残差网络还可以有效减少梯度消失的问题,能够更有效地利用特征并增强卷积层之间的特征传递。
对于第二子网络,利用7×1和5×1两类卷积核对特征进行处理,并与第一子网络并行,分别提取输入功率谱密度特征矩阵的一维和二维尺度上的信息。
两个子网络是并行的,深度不同,可以对不同维度和深度的局部特征进行非线性变换,使其具有更强的适应性和表现力。
所述拼接层用于对所述锁相值深层特征和所述功率谱密度深层特征进行扁平拼接,得到最终特征张量表示。
所述分类层用于对所述最终特征张量表示进行分类,得到所述脑电信号对应的分类类型。
在两个子网络的末端,对不同尺度的属性特征进行扁平拼接,得到一个维数更高、局部细节特征更丰富的特征张量表示。在每层全连接层后加入了Dropout,来防止模型过拟合,同时在最后一层,利失函数softmax以及交叉损失熵函数,输出结果(帕金森病患的脑电信号和健康者的脑电信号二分类)。
所示分类模型的具体参数如下表所示:
其中,1、Layer-1:第一子网络,主要用对输入的锁相值特征进行深层特征提取,包含五个卷积层和三个最大池化层。输入的特征大小为(32×32×5,为δ、θ、α、β、γ5个频带的锁相值特征)输出为一维大小(540×1)的锁相值深层次特征。
2、Layer-2:第二子网络,主要用对输入的功率谱特征进行深层特征提取。包含两个卷积层和两个最大池化层。输入的特征大小为(32×1×5,为δ、θ、α、β、γ5个频带的功率谱密度特征)输出为一维大小(240×1)的锁相值深层次特征。其中输出特征矩阵大小公式为:N=(W-F+2P)/S+1,其中N:输出大小,W:输入大小,F:卷积核大小,P:填充值的大小,S:步长大小。
3、Convolution:卷积层。
4、MaxPooling:最大池化层操作,整个特征矩阵被不重叠的分割成若干个同样大小的小块(pooling size),每个小块内只取最大的数字,再舍弃其他节点后,保持原有的平面结构得到输出矩阵。
5、Dropout:为有效地缓解过拟合现象的发生,起到一定正则化的效果。Dropout层在训练时,每个神经元以概率p保留,即以1-p的概率停止工作,每次前向传播保留下来的神经元都不同,这里的p值选择为0.5。
6、Dense:全连接层操作,输出公式为:Out=(Input·Kernel)+Bias,该Dense层的Input为上一层神经远数量,Kernel为本层神经元数量,Bias为偏置参数。最后一层输出结果为两分类(帕金森病患或健康者)。
7、ReLU:激活函数公式为f(x)=max(0,x)
本申请实施例还提供一种帕金森病检测装置,如图4所示,该脑电信号分类装置400包括:
脑电信号获取模块401,用于获取脑电信号;
特征矩阵提取模块402,用于提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
特征矩阵输入模块403,用于将所述锁相值特征矩阵和所述功率谱密度特征矩阵输入训练好的分类模型;
脑电信号分类模块404,通过所述分类模型对所述锁相值特征矩阵和所述功率谱密度特征矩阵进行深层特征提取、深层特征拼接和分类,得到所述脑电信号对应的分类类型,所述分类标签包括帕金森病患的脑电信号和健康者的脑电信号。
优选的,所述分类模型包括第一子网络、第二子网络、拼接层和分类层;
所述第一子网络用于对所述锁相值特征矩阵进行处理,得到锁相值深层特征;
所述第二子网络用于对所述功率谱密度特征矩阵进行处理,得到功率谱密度深层特征;
所述拼接层用于对所述锁相值深层特征和所述功率谱密度深层特征进行扁平拼接,得到最终特征张量表示;
所述分类层用于对所述最终特征张量表示进行分类,得到所述脑电信号对应的分类类型。。
优选的,还包括预处理模块,包括:
带通滤波单元,用于对各通道脑电数据进行0.5~50hz的带通滤波;
除杂单元,用于利用独立成分分析去除杂质信号;
滤波单元,用于使用汉明加窗FIR滤波器对脑电数据进行滤波,得到δ(1-4Hz),θ(4–8Hz),α(8–12Hz),β(13–30Hz),γ(30–48Hz)5个频带的脑电信号。
优选的,特征矩阵提取模块包括:
同步性计算单元,用于使用以下公式,计算两个连续信号x(t)和y(t)的同步性:
其中,PLV为锁相值,t为时间点,N为每个信号的采样个数,θx(t)和θy(t)是信号x(t)和y(t)的瞬时相位;相位通过希尔伯特变换计算得到,瞬时相位计算公式如下:
其中,p.v表示柯西主值;
锁相值特征矩阵提取单元,用于提取每个受试者五个频带(δ、θ、α、β、γ)以及完整频带的PLV特征矩阵图,获得一个结构为32×32×5的对称矩阵,即锁相值特征矩阵:
其中,每一行和每一列对应一个不同的节点,位于第i和第j列交点的矩阵元素对通道i和j的连接信息进行编码;使用P的下标来索引每个元素,第一个下标k索引频带,第二个下标i索引行,第三个下标j索引列;连通矩阵的对角线元素Pkij(其中i=j)设为1,非对角线元素Pkij(其中i≠j)设为PLVkij值。
优选的,特征矩阵提取模块还包括:
功率谱计算单元,用于使用如下公式,对所述脑电信号进行短时离散傅里叶变换并求得功率谱:
其中,STFTX为对脑电信号进行加窗的傅里叶变换(傅里叶变换只反映出信号在频域的特性,无法在时域内对信号进行分析,x(n)为各通道的脑电信号,w(n)是窗函数,是角频率,k=0,1,…,N是时序采样点数,窗函数w(n)随m变化在时间轴平移;m为时间点,w*(n-m)为分析窗函数,信号x(m)在时间m处的短时傅里叶变换就是信号乘上一个以m为中心的“分析窗”w*(n-m)后所作的傅里叶变换;x(m)乘以分析窗函数w*(n-m)等价于取出信号在分析时间点m附近的一个切片;对于给定时间m,X(m,wk)可以看作是该时刻的频谱;
使用长度为1s的汉宁窗函数在信号时间轴上平移,将窗函数截取的信号进行变换得到信号频域信息,如式:
其中,N是时序采样点数,X(m,wk)是该时刻的频谱,PSD为功率谱密度特征;
按照频率大小将原始脑电信号划分为5个频带(δ、θ、α、β、γ),得到结构为32×1×5的功率谱密度特征矩阵。
优选的,所述第一子网络包括顺次连接的5×5卷积层、2×2最大池化层、5×5卷积层、5×5卷积层、5×5卷积层、2×2最大池化层、5×5卷积层和2×2最大池化层。
优选的,所述第二子网络包括7×1卷积层、2×1最大池化层、5×1卷积层和2×1最大池化层。
优选的,还包括分类模型训练模块,包括:
数据集获取单元,用于获取脑电信号数据集,所述脑电信号数据集包括多个帕金森病患的脑电信号和多个健康者的脑电信号;
特征矩阵提取单元,用于针对每一个脑电信号,提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
数据集划分单元,用于对每一组所述锁相值特征矩阵和功率谱密度特征矩阵进行划分,划分为训练集数据、测试集数据以及验证集数据,并对每一组所述锁相值特征矩阵和功率谱密度特征矩阵划分标签;所述标签包括0和1,分别用于指代帕金森病患的脑电信号和健康者的脑电信号;
模型训练单元,用于使用所述训练集数据对所述分类模型进行训练,训练使用SGD优化器;
模型评估单元,用于使用所述测试集数据和验证集数据对经过训练的所述分类模型进行评估,得到训练好的分类模型。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本发明提供的一种脑电信号分类方法和帕金森病检测装置,同时考虑了基于局部脑激活和基于脑功能网络两种模式的特征分析。以PSD特征为代表的局部激活模式可以反映大脑各个区域之间的功率差异,而以PLV为脑功能连接模式则可以反映不同大脑区域之间的信息交互。这两种补偿信息的模式结合分析可以更全面、准确地反映出大脑功能的状态。利用多模式信息,可以更有效可靠的去对帕金森病患者的脑电信号和健康者的脑电信号进行分类,更好的利用于临床辅助诊断。现阶段,普遍的检测方法还主要基于机器学习,传统的机器学习方法需要繁琐的特征提取和选择过程,这可能导致脑电信号的信息丢失。此外,特征提取和选择方法只能由经验丰富的专家手动执行,这样才能做出准确的判断。本专利利用的是机器学习方法的另一种替代方法,深度学习模型,它可以通过消除特征提取的需要而大大减轻机器学习算法的负担,并且可以有效融合多模式特征,提取到更深层次的帕金森病表征特征。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (9)
1.一种脑电信号分类方法,其特征在于,包括以下步骤:
获取脑电信号;
提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
将所述锁相值特征矩阵和所述功率谱密度特征矩阵输入训练好的分类模型;
通过所述分类模型对所述锁相值特征矩阵和所述功率谱密度特征矩阵进行深层特征提取、深层特征拼接和分类,得到所述脑电信号对应的分类类型。
2.根据权利要求1所述的一种脑电信号分类方法,其特征在于:
所述分类模型包括第一子网络、第二子网络、拼接层和分类层;
所述第一子网络用于对所述锁相值特征矩阵进行处理,得到锁相值深层特征;
所述第二子网络用于对所述功率谱密度特征矩阵进行处理,得到功率谱密度深层特征;
所述拼接层用于对所述锁相值深层特征和所述功率谱密度深层特征进行扁平拼接,得到最终特征张量表示;
所述分类层用于对所述最终特征张量表示进行分类,得到所述脑电信号对应的分类类型类型。
3.根据权利要求1所述的一种脑电信号分类方法,其特征在于,获取待分类的脑电信号之后,还包括以下步骤:
对各通道脑电数据进行0.5~50hz的带通滤波;
利用独立成分分析去除杂质信号;
使用汉明加窗FIR滤波器对脑电数据进行滤波,得到δ(1-4Hz),θ(4–8Hz),α(8–12Hz),β(13–30Hz),γ(30–48Hz)5个频带的脑电信号。
4.根据权利要求1所述的一种脑电信号分类方法,其特征在于,提取所述脑电信号的锁相值特征矩阵,包括以下步骤:
使用以下公式,计算两个连续信号x(t)和y(t)的同步性:
其中,PLV为锁相值,t为时间点,N为每个信号的采样个数,θx(t)和θy(t)是信号x(t)和y(t)的瞬时相位;相位通过希尔伯特变换计算得到,瞬时相位计算公式如下:
其中,p.v表示柯西主值;
提取每个受试者五个频带(δ、θ、α、β、γ)以及完整频带的PLV特征矩阵图,获得一个结构为32×32×5的对称矩阵,即锁相值特征矩阵:
其中,每一行和每一列对应一个不同的节点,位于第i和第j列交点的矩阵元素对通道i和j的连接信息进行编码;使用P的下标来索引每个元素,第一个下标k索引频带,第二个下标i索引行,第三个下标j索引列;连通矩阵的对角线元素Pkij(其中i=j)设为1,非对角线元素Pkij(其中i≠j)设为PLVkij值。
5.根据权利要求1所述的一种脑电信号分类方法,其特征在于,提取所述脑电信号的功率谱密度特征矩阵,包括以下步骤:
使用如下公式,对所述脑电信号进行短时离散傅里叶变换并求得功率谱:
其中,STFTX为对脑电信号进行加窗的傅里叶变换(傅里叶变换只反映出信号在频域的特性,无法在时域内对信号进行分析,x(n)为各通道的脑电信号,w(n)是窗函数,是角频率,k=0,1,…,N是时序采样点数,窗函数w(n)随m变化在时间轴平移;m为时间点,w*(n-m)为分析窗函数,信号x(m)在时间m处的短时傅里叶变换就是信号乘上一个以m为中心的“分析窗”w*(n-m)后所作的傅里叶变换;x(m)乘以分析窗函数w*(n-m)等价于取出信号在分析时间点m附近的一个切片;对于给定时间m,X(m,wk)可以看作是该时刻的频谱;
使用长度为1s的汉宁窗函数在信号时间轴上平移,将窗函数截取的信号进行变换得到信号频域信息,如式:
其中,N是时序采样点数,X(m,wk)是该时刻的频谱,PSD为功率谱密度特征;
按照频率大小将原始脑电信号划分为5个频带(δ、θ、α、β、γ),得到结构为32×1×5的功率谱密度特征矩阵。
6.根据权利要求2所述的一种脑电信号分类方法,其特征在于:
所述第一子网络包括顺次连接的5×5卷积层、2×2最大池化层、5×5卷积层、5×5卷积层、5×5卷积层、2×2最大池化层、5×5卷积层和2×2最大池化层。
7.根据权利要求2所述的一种脑电信号分类方法,其特征在于:
所述第二子网络包括7×1卷积层、2×1最大池化层、5×1卷积层和2×1最大池化层。
8.根据权利要求2所述的一种脑电信号分类方法,其特征在于,所述分类模型的训练步骤包括:
获取脑电信号数据集,所述脑电信号数据集包括多个帕金森病患的脑电信号和多个健康者的脑电信号;
针对每一个脑电信号,提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
对每一组所述锁相值特征矩阵和功率谱密度特征矩阵进行划分,划分为训练集数据、测试集数据以及验证集数据,并对每一组所述锁相值特征矩阵和功率谱密度特征矩阵划分标签;所述标签包括0和1,分别用于指代帕金森病患的脑电信号和健康者的脑电信号;
使用所述训练集数据对所述分类模型进行训练,训练使用SGD优化器;
使用所述测试集数据和验证集数据对经过训练的所述分类模型进行评估,得到训练好的分类模型。
9.一种帕金森病检测装置,其特征在于,包括:
脑电信号获取模块,用于获取脑电信号;
特征矩阵提取模块,用于提取所述脑电信号的锁相值特征矩阵和功率谱密度特征矩阵;
特征矩阵输入模块,用于将所述锁相值特征矩阵和所述功率谱密度特征矩阵输入训练好的分类模型;
脑电信号分类模块,用于通过所述分类模型对所述锁相值特征矩阵和所述功率谱密度特征矩阵进行深层特征提取、深层特征拼接和分类,得到所述脑电信号对应的分类类型,所述分类标签包括帕金森病患的脑电信号和健康者的脑电信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310155660.6A CN116226710A (zh) | 2023-02-22 | 2023-02-22 | 一种脑电信号分类方法和帕金森病检测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310155660.6A CN116226710A (zh) | 2023-02-22 | 2023-02-22 | 一种脑电信号分类方法和帕金森病检测装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116226710A true CN116226710A (zh) | 2023-06-06 |
Family
ID=86580174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310155660.6A Pending CN116226710A (zh) | 2023-02-22 | 2023-02-22 | 一种脑电信号分类方法和帕金森病检测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116226710A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116491960A (zh) * | 2023-06-28 | 2023-07-28 | 南昌大学第一附属医院 | 脑瞬态监测设备、电子设备及存储介质 |
CN117123131A (zh) * | 2023-10-25 | 2023-11-28 | 克拉玛依市蓝润环保科技有限责任公司 | 石油助剂的生产设备及其方法 |
-
2023
- 2023-02-22 CN CN202310155660.6A patent/CN116226710A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116491960A (zh) * | 2023-06-28 | 2023-07-28 | 南昌大学第一附属医院 | 脑瞬态监测设备、电子设备及存储介质 |
CN116491960B (zh) * | 2023-06-28 | 2023-09-19 | 南昌大学第一附属医院 | 脑瞬态监测设备、电子设备及存储介质 |
CN117123131A (zh) * | 2023-10-25 | 2023-11-28 | 克拉玛依市蓝润环保科技有限责任公司 | 石油助剂的生产设备及其方法 |
CN117123131B (zh) * | 2023-10-25 | 2024-02-02 | 克拉玛依市蓝润环保科技有限责任公司 | 石油助剂的生产设备及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aslan et al. | Automatic Detection of Schizophrenia by Applying Deep Learning over Spectrogram Images of EEG Signals. | |
US8577451B2 (en) | System and methods for neurologic monitoring and improving classification and treatment of neurologic states | |
CN116226710A (zh) | 一种脑电信号分类方法和帕金森病检测装置 | |
CN113786204A (zh) | 基于深度卷积注意力网络的癫痫颅内脑电信号预警方法 | |
CN109009102B (zh) | 一种基于脑电图深度学习的辅助诊断方法及系统 | |
CN109934089A (zh) | 基于监督梯度提升器的多级癫痫脑电信号自动识别方法 | |
CN113768519B (zh) | 基于深度学习和静息态脑电数据分析病人意识水平的方法 | |
Calhas et al. | On the use of pairwise distance learning for brain signal classification with limited observations | |
Tawhid et al. | Automatic and efficient framework for identifying multiple neurological disorders from EEG signals | |
CN112641451A (zh) | 基于单通道脑电信号多尺度残差网络睡眠分期方法及系统 | |
CN114129129A (zh) | 一种基于CNN与Transformer的癫痫检测系统 | |
Ravi et al. | Epileptic seizure detection using convolutional neural networks and recurrence plots of EEG signals | |
Siuly et al. | Exploring Rhythms and Channels-Based EEG Biomarkers for Early Detection of Alzheimer's Disease | |
CN112274145A (zh) | 近红外脑功能成像数据的处理方法、装置和存储介质 | |
CN115736920A (zh) | 基于双模态融合的抑郁状态识别方法及系统 | |
Krishnapriya | EEG-Based Identification of Schizophrenia Using Deep Learning Techniques | |
CN115146666B (zh) | 一种基于自动机器学习的eeg癫痫发作检测方法 | |
Shankar et al. | Epilepsy Detection Using Embedded Machine Learning | |
Yu et al. | Autism spectrum disorder identification with brain functional connectivity map extracted from EEG signals | |
CN117752308B (zh) | 癫痫预测方法及装置 | |
CN117398111A (zh) | 一种基于多领域融合特征和深度学习的脑病检测系统 | |
Patil et al. | A Clinical Diagnosis Based Approach for EEG-Based Classification of Autism Spectrum Disorder Using Hilbert Transform and Single Label SVM | |
Duan et al. | Epileptic Spike Detection Based on Deep Learning | |
CN117838152A (zh) | 一种基于多模态生理参数的轻量化脑力负荷评估方法 | |
Grossi et al. | A Simple Preprocessing Method Enhances Machine Learning Application to EEG Data for Differential Diagnosis of Autism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |