CN111613338A - 棘慢复合波检测模型构建方法、系统 - Google Patents
棘慢复合波检测模型构建方法、系统 Download PDFInfo
- Publication number
- CN111613338A CN111613338A CN202010425465.7A CN202010425465A CN111613338A CN 111613338 A CN111613338 A CN 111613338A CN 202010425465 A CN202010425465 A CN 202010425465A CN 111613338 A CN111613338 A CN 111613338A
- Authority
- CN
- China
- Prior art keywords
- spike
- time
- training
- wave
- artifact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims description 31
- 238000012549 training Methods 0.000 claims abstract description 66
- 210000004556 brain Anatomy 0.000 claims abstract description 61
- 230000015654 memory Effects 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 35
- 230000000306 recurrent effect Effects 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 238000012795 verification Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 11
- 210000002569 neuron Anatomy 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 36
- 210000004027 cell Anatomy 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 8
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 2
- 230000001537 neural effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000001037 epileptic effect Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 8
- 230000033764 rhythmic process Effects 0.000 description 8
- 229910003460 diamond Inorganic materials 0.000 description 6
- 239000010432 diamond Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 206010002091 Anaesthesia Diseases 0.000 description 2
- 206010024264 Lethargy Diseases 0.000 description 2
- 208000028017 Psychotic disease Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013019 agitation Methods 0.000 description 2
- 230000037005 anaesthesia Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003822 cell turnover Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 206010015037 epilepsy Diseases 0.000 description 2
- 208000028327 extreme fatigue Diseases 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000036630 mental development Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003061 neural cell Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了基于循环神经网络和先验知识的棘慢复合波检测模型构建方法,包括样本处理;得到训练集、验证集、测试集;通过伪差滤波器对所述测试集进行伪差判别,不是伪差的脑电波输出形成目标测试集;将训练集输入至长短时记忆模型进行训练,对输入的训练集进行是否为棘慢复合波的概率值计算,根据设定的概率阈值T,最终输出概率值大于T对应的数据标签;然后通过验证集验证,得到目标长短时记忆模型;目标模型检测。本发明利用循环神经网络的神经元自主学习棘慢复合波分类中不易人为设计,描述的非线性特征;且在检测前进行伪差滤除,提高模型的准确度;并通过设定阈值,针对不同需求输出不同精度,召回率的检测结果。
Description
技术领域
本发明涉及医疗辅助检测技术领域,具体为基于循环神经网络和先验知识的棘慢复合波检测模型构建方法、系统。
背景技术
脑电图(electroencephalogram,EEG)反映了在大脑皮层或头皮表面的脑神经细胞群的电活动。脑电图通过放置在皮层或头皮的电极记录下脑神经细胞群的持续的、自发的、节律性的电位变化。临床检测某种脑部疾病症状时,医务人员会通过脑电仪为患者采集脑电信号,常规脑电图记录时间在20-40分钟,有时为了全面的诊断,会为患者做24小时脑电信号采集,且完全依赖人工对长时间的脑电信号进行分析判断,不但给医务人员带来了沉重的工作负担,而且降低了患者的诊断和治疗效率及准确率。且目前采用的脑电仪常会受到外界的电磁干扰、电极接触不良以及患者的体动、肌电等影响,在脑电图上出现大量的伪差脑电信号,影响医生对患者病情的判断。
目前,常采用功率谱估计法、时频域分析法等技术检测棘慢复合波。但是上述方法大多需要人为设计、筛选特征,存在一定的局限性,且效率较低。尤其是,针对不同的应用场景,如重症病人和轻度患者,无法自由调节相应精度的输出,导致丢失一些重要数据或保留了不必要的数据。
发明内容
本发明所要解决的技术问题之一在于提供一种根据具体应用场景需求提供不同精度的棘慢复合波检测模型的构建方法。
本发明所要解决的技术问题之二在于提供一种根据具体应用场景需求提供不同精度的棘慢复合波检测模型的构建系统。
本发明通过以下技术手段实现解决上述技术问题之一的:
基于循环神经网络和先验知识的棘慢复合波检测模型构建方法,包括以下步骤:
S01.样本处理;获取历史临床数据,对数据进行处理,筛选出典型的棘慢复合波标记为正样本,标签为1,对于非典型的棘慢复合波标记为负样本,标签为0;训练集、验证集、测试集按照正样本,与负样本设定比例进行分组;
S02.伪差波形滤除;通过伪差滤波器对所述测试集进行伪差判别,将判别为伪差的脑电波输出为非棘慢复合波标签,不是伪差的脑电波输出形成目标测试集;
S03.模型训练;将训练集输入至长短时记忆模型进行训练,对输入的训练集进行是否为棘慢复合波的概率值计算,根据设定的概率阈值T,最终输出概率值大于T对应的数据标签;然后通过验证集验证,得到目标长短时记忆模型;
S04.目标模型检测;将目标测试集输入至目标长短时记忆模型,输出数据标签,若输出符合测试集实际情况,则表示目标长短记忆模型符合要求。
采用基于循环神经网络和先验知识构建的棘慢复合波检测模型,利用循环神经网络的神经元自主学习棘慢复合波分类中不易人为设计、描述的非线性特征;且在检测前进行伪差滤除,提高模型的准确度;并通过设定阈值,针对不同需求输出不同精度、召回率的检测结果,以适应不同的应用场景。
优选的,所述步骤S02具体为:
所述伪差滤波器滤除伪差的具体过程为:
将测试集中的原始脑电波输入伪差滤波器,伪差滤波器对原始脑电波的信号幅值、是否为方形波、信号频率进行判断;当信号幅值大于预设幅值阈值Y,或原始脑电波为方形波,或信号频率等于设定频率时,判定为脑电伪差,否则判断为正常脑电波。
优选的,在伪差判定过程中,若原始脑电波满足信号幅值、是否为方形波、信号频率任意一个伪差标准,则作为非典型棘慢复合波输出,不再进行后续判断。
优选的,所述步骤S03中,训练阶段,通过损失函数对长短时记忆模型参数进行训练,损失函数为:
优选的,所述步骤S03中,长短时记忆模型的每个神经元中添加了三个门和一个记忆细胞c,三个门分别为:输入门i,用以控制是否将输入内容传递给LSTM神经元;忘记门f,决定当前输入内容及上一时刻LSTM神经元状态被忘记的部分;输出门o,控制输出内容,及输入到下一时刻LSTM神经元的隐含状态,具体为:
it=σ(Wixxt+Wimmt-1)
ft=σ(Wfxxt+Wfmmt-1)
ot=σ(Woxxt+Wommt-1)
ct=ft·ct-1+it·h(Wcxxt+Wcmmt-1)
mt=ot·ct
p=softmax(mt)
其中,·代表点乘;Wix,Wim,Wfx,Wfm,Wox,Wom,Wcx,Wcm为权值矩阵,即训练参数;σ()和h()分别为S型函数和双曲正切函数;xt表示当前时刻的外部输入,即每一时刻会顺序输入脑电信号序列中的一个点;it表示当前时刻输入门决定输入的信息,经过输入门的信息包含上一时刻LSTM神经元的隐含状态mt和当前时刻的外部输入xt;ft表示当前时刻忘记门需要忘记的信息;ot表示当前时刻会输出到下一时刻神经元的信息;ct表示当前时刻记忆细胞保留的信息;最后通过softmax层对神经元的隐含状态所包含的信息进行分类,对脑电波信号分别给出其属于棘慢复合波的概率和非棘慢复合波的概率。
相对应的,本发明还提供一种基于循环神经网络和先验知识的棘慢复合波检测模型构建系统,包括:
样本处理模块;划分脑电信号数据集;获取历史临床数据,对数据进行处理,筛选出典型的棘慢复合波标记为正样本,标签为1,对于非典型的棘慢复合波标记为负样本,标签为0;训练集、验证集、测试集按照正样本,与负样本设定比例进行分组;
伪差波形滤除模块;通过伪差滤波器对所述测试集进行伪差判别,将判别为伪差的脑电波输出为非棘慢复合波标签,不是伪差的脑电波输出形成目标测试集;
模型训练模块;将训练集输入至长短时记忆模型进行训练,对输入的训练集进行是否为棘慢复合波的概率值计算,根据设定的概率阈值T,最终输出概率值大于T对应的数据标签;然后通过验证集验证,得到目标长短时记忆模型;
目标模型检测模块;将目标测试集输入至目标长短时记忆模型,输出数据标签,若输出标签为1,则表示目标长短记忆模型符合要求;
临床预测模块;根据临床需求,设定符合需求的概率阈值T;然后向目标长短时记忆模型输入固定长度的临床检测数据,获得检测结果,并以当前输入数据的下一时刻为起点输入新的固定长度的数据,再获得检测结果,以此类推进行临床实时预测。
优选的,所述伪差滤波器滤除伪差的具体过程为:
将测试集中的原始脑电波输入伪差滤波器,伪差滤波器对原始脑电波的信号幅值、是否为方形波、信号频率进行判断;当信号幅值大于预设幅值阈值Y,或原始脑电波为方形波,或信号频率等于设定频率时,判定为脑电伪差,否则判断为正常脑电波。
优选的,在伪差判定过程中,若原始脑电波满足信号幅值、是否为方形波、信号频率任意一个伪差标准,则作为非典型棘慢复合波输出,不再进行后续判断。
优选的,在模型训练阶段,通过损失函数对长短时记忆模型参数进行训练,损失函数为:
优选的,长短时记忆模型的每个神经元中添加了三个门和一个记忆细胞c,三个门分别为:输入门i,用以控制是否将输入内容传递给LSTM神经元;忘记门f,决定当前输入内容及上一时刻LSTM神经元状态被忘记的部分;输出门o,控制输出内容,及输入到下一时刻LSTM神经元的隐含状态,具体为:
it=σ(Wixxt+Wimmt-1)
ft=σ(Wfxxt+Wfmmt-1)
ot=σ(Woxxt+Wommt-1)
ct=ft·ct-1+it·h(Wcxxt+Wcmmt-1)
mt=ot·ct
p=softmax(mt)
其中,·代表点乘;Wix,Wim,Wfx,Wfm,Wox,Wom,Wcx,Wcm为权值矩阵,即训练参数;σ()和h()分别为S型函数和双曲正切函数;xt表示当前时刻的外部输入,即每一时刻会顺序输入脑电信号序列中的一个点,共125个序列点;it表示当前时刻输入门决定输入的信息,经过输入门的信息包含上一时刻LSTM神经元的隐含状态mt和当前时刻的外部输入xt;ft表示当前时刻忘记门需要忘记的信息;ot表示当前时刻会输出到下一时刻神经元的信息;ct表示当前时刻记忆细胞保留的信息;最后通过softmax层对神经元的隐含状态所包含的信息进行分类,对脑电波信号分别给出其属于棘慢复合波的概率和非棘慢复合波的概率。
本发明的优点在于:
采用基于循环神经网络和先验知识构建的棘慢复合波检测模型,利用循环神经网络的神经元自主学习棘慢复合波分类中不易人为设计、描述的非线性特征;且在检测前进行伪差滤除,提高模型的准确度;并通过设定阈值,针对不同需求输出不同精度、召回率的检测结果,以适应不同的应用场景。
附图说明
图1为本发明实施例中模型构建的流程框图;
图2为本发明实施例中模型构建过程中样本数据的处理流程框图;
图3为本发明实施例中医院采集的原始数据显示;
图4为图3的裁剪脑电样本序列图像;
图5为本发明实施例中临床检测时在线脑电样本输入工作流程;
图6为本发明实施例中模型中伪差滤波器原理图;
图7为本发明实施例中基于循环神经网络的棘慢复合波检测原理图;
图8为本发明实施例中循环神经网络输出的检测结果及对应样本;
图9为本发明实施例中根据概率阈值T输出不同精度,召回率的检测结果原理图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本实施基于循环神经网络和先验知识的棘慢复合波检测模型构建流程图,具体如下:
步骤1.样本数据处理
本发明的基于循环神经网络和先验知识的棘慢复合波检测模型是在医院采集的真实数据上实现的。图3为医院采集的原始数据的显示(原始数据为采集的序列点,图3为序列点的图像显示)。如图3所示,采集的脑电样本包含16个通道,每秒钟分别在16个通道各采集125个点。
对采集的数据进行裁剪,以1秒钟为单位,200毫秒为步长,对各个通道的样本进行裁剪,裁剪的脑电样本序列图像显示如图4,每个样本为1秒时长,包含125个点。
对裁剪好的脑电样本进行标定,筛选出典型的棘慢复合波标记为正样本1,对于非典型棘慢复合波样本,均标记为负样本0。
对标定好的脑电样本进行数据集划分,由于癫痫患者发病时间远小于不发病时间,且与棘慢复合波相比,不发病样本的种类更多,无明显规律,且包含伪差等多种影响,因此,对于标记好的样本,训练集,验证集,和测试集均分别按照正样本与负样本,1:5的比例组成。训练集,验证集,测试集的比例按照7:1:2组成。
步骤2.脑电伪差滤除
在将脑电波样本送入循环神经网络训练前,首先对测试集进行伪差波形滤除,滤除伪差后的脑电样本再送入循环神经网络进行棘慢复合波检测训练。脑电信号中的伪差主要分为三大类:来自受检者本身生理性原因,来自脑电图仪器原因以及来自外部原因。图6为本发明伪差滤波器原理图,该滤波器主要通过图中菱形框中的三个条件滤除伪差,若样本满足菱形框中任意一个伪差标准,则作为非典型棘慢复合波输出,不再进行后续的棘慢复合波检测步骤。菱形框中的具体实施方法如下:
(2a)超过正常电压差外的波形进行伪差滤除
正常脑电信号的电压绝对值在50uV-300uV之间,当采集信号电极贴合不稳、有松动,患者有肢体、面部表情变化时,信号电压会变的很大,通常绝对值达到1000uV以上,对此类信号,我们设置阈值Y,当输入信号绝对值大于Y时作为伪差输出。
(2b)交流电伪差滤除
脑电图最基本的波形要素为α波,即频率在8-14Hz之间的脑电波。其中,脑电波的频率为一秒钟出现波峰的个数。以此作为基础,比α波频率小的波称之为慢波,比α波频率大的称之为快波,脑电波大致分为5种波形:δ波,为频率0.5-4Hz(不足4Hz)的波形,通常出现在婴儿期或智力发育不成熟阶段,成年人在极度疲劳、昏睡或麻醉状态下会出现该类波形;θ波,为频率4-8Hz(不足8Hz)的波形,通常出现在成年人意愿受挫、抑郁及精神病患者中,但此波形为少年(10-17岁)脑电图的主要成分;α波,为频率8-14Hz(不足14Hz)的波形,它是正常人脑电波的基本节律,若无外加刺激,其频率较为恒定,人在清醒、安静并闭眼时该节律最为明显,睁开眼睛(受到光刺激)或受到其他刺激时,α波瞬间消失;β波,为频率18-35Hz(不足35Hz)的波形,在精神紧张、情绪激动或亢奋时出现此波形,当人从噩梦中惊醒时,原来的慢节律会立即被该节律替代;γ波,只会在极度兴奋或专注于一件事的情况下才会出现,且基本不会出现。本文所研究的棘慢复合波,由棘波(频率在14Hz及以上的脑电波)后跟着一个200-500ms(多为300ms)的慢波组成,棘慢复合波的频率是从棘波开始到慢波结束作为一个周期测量,频率有2Hz、3Hz,4-6Hz等,以3Hz为主。
患者在做脑电波检查时,来自各种电源和电器的交流电有时会通过静电感应或电磁感应而干扰EEG记录,产生交流电伪差,当持续出现频率为50Hz的脑电信号,作为非棘慢复合波输出。
(2c)非正常脑电活动波形滤除
当脑电图中出现非生物波形、非生物振幅的波形时通常为伪差,作为非棘慢复合波输出。对于非生物波形,本发明滤除其中较常出现的方形波,其数学表达式如下所示:
x(t)=Asgn(sin(t))
式中A表示波形当前的振幅,当t时刻,上式中的sin(t)大于0时,振幅为A,sin(t)小于0时,振幅为-A。
对于非生物振幅,则滤除较为常见的常量振幅,即振幅恒等于A,不发生变化。
步骤3.模型训练
将训练集输入至长短时记忆模型进行训练,对输入的训练集进行是否为棘慢复合波的概率值计算,根据设定的概率阈值T,最终输出概率值大于T对应的数据标签;然后通过验证集验证,得到目标长短时记忆模型。
具体的,传统的循环神经网络虽然可以保存脑电波前后结构信息,但是由于网络在每次反馈信息时都存在损耗,随着网络深度的增加,前面的信息对后面神经元的影响越来越小,存在梯度消失现象。因此,本实施例采用长短时记忆模型(LSTM)。与传统RNN不同,LSTM的每个神经元中添加了三个门和一个记忆细胞c,记忆细胞的更新由三个门控制,如图7所示。其中,三个门分别为:输入门i,用以控制是否将输入内容传递给LSTM神经元;忘记门f,决定当前输入内容及上一时刻LSTM神经元状态被忘记的部分;输出门o,控制输出内容,及输入到下一时刻LSTM神经元的隐含状态。
it=σ(Wixxt+Wimmt-1)
ft=σ(Wfxxt+Wfmmt-1)
ot=σ(Woxxt+Wommt-1)
ct=ft·ct-1+it·h(Wcxxt+Wcmmt-1)
mt=ot·ct
p=softmax(mt)
其中,·代表点乘;Wix,Wim,Wfx,Wfm,Wox,Wom,Wcx,Wcm为权值矩阵,即训练参数;σ()和h()分别为S型函数和双曲正切函数;xt表示当前时刻的外部输入,即每一时刻会顺序输入脑电信号序列中的一个点,共125个序列点;it表示当前时刻输入门决定输入的信息,经过输入门的信息包含上一时刻LSTM神经元的隐含状态mt和当前时刻的外部输入xt;ft表示当前时刻忘记门需要忘记的信息;ot表示当前时刻会输出到下一时刻神经元的信息;ct表示当前时刻记忆细胞保留的信息;最后通过softmax层对神经元的隐含状态所包含的信息进行分类,对脑电波信号分别给出其属于棘慢复合波的概率和非棘慢复合波的概率(棘慢复合波概率+非棘慢复合波概率=1),最终输出概率值较大的标签。
训练阶段,在训练集上,通过损失函数对长短时记忆模型参数进行训练,损失函数如下式:
其中,n为每次训练的样本个数,j表示当前训练样本为第j个,ε是一个无穷小值,防止log参数为0,y为样本的正确标签,可能取值为0或1,为模型预测标签1的概率值。当正确标签为1,预测标签1的概率小于0.5趋近于0(即预测标签为0的概率较大,预测错误)时,上式中第一项为负无穷大,第二项为0,取反后,损失函数无穷大;当正确标签为1,预测标签为1的概率大于0.5趋近于1(即预测标签为1,预测正确)时,上式第一项无限逼近于0,损失函数无限逼近于0,即该损失函数训练模型尽可能多的输出正确标签来降低损失函数值(损失函数值越小越好)。
步骤4.目标模型检测
检测阶段输入的样本为伪差滤除后的测试集样本。
测试阶段,在测试集上,采用训练好的模型对样本进行测试,不改变模型的参数值,图8为本实施例循环神经网络输出的检测结果及对应样本,其中图中上方的中括号中的值分别为模型预测输入样本属于各标签的概率,图形对应输入的检测样本。
获得目标长短时记忆模型后,在临床检测时的应用如下:
临床检测时的脑电样本为在线实时输入模式,如图5所示。具体为,依次输入16个通道的1秒的单通道脑电信号,即第一次依次输入标号1的十六个通道的数据,每次输入1个通道1秒钟的脑电信号,采用训练好的模型实时依次对输入数据进行检测。对标号1中16个通道的数据检测完成后(本发明模型检测16个通道数据的用时为1秒),以接收数据的下一时刻为起点输入下1秒钟数据,即依次输入标号为2的十六个通道数据,给出最新输入临床数据的检测结果,以此类推进行临床实时预测,即检测样本的单位长度为1秒,步长为1秒。
重点在于,针对不同应用场景进行阈值筛选,本实施例针对不同的应用场景,根据概率阈值T输出不同精度,召回率的检测结果,其具体实施方法如图9所示。准确率是针对预测结果而言,表示预测为正的样本中,正确的检测结果所占的比例。预测为正样本有两种可能,一种是把正样本预测为正样本(TP),另一种是把负样本预测为正样本(FP),准确率的表达式为:
召回率是针对测试集所有正样本而言,它表示的是测试集中的正样本被预测出来的概率。同样包含两种可能,一种是把测试集中的正样本预测为正样本(TP),一种是把测试集中的正样本预测为负样本(FN),召回率的表达式为:
医务人员在检查患者是否有癫痫病时会为患者采集脑电信号,根据多年的临床经验去分析脑电图,需要消耗大量的精力。如果采用棘慢复合波检测模型可以大大减少人力,医务人员可以重点分析检测出的棘慢复合波所在的区域,给出患者是否患有癫痫病的诊断结果。但如果检测模型报警率过高,即检测出过多的正样本(检测出的正样本可能包含误检的负样本)会影响医务人员的操作体验。针对临床确诊,本发明通过设置较高的阈值T(T>0.5),当循环神经网络输出的标签1的概率值大于阈值T时,最终输出标签1(高准确率),否则输出标签0,从而输出少量、标准的棘慢复合波,使医务人员仅查看标准棘慢复合波,提升用户体验,且可以降低虚警率。
当医务人员需要对重症患者重点分析,此时需要对患者标准棘慢复合波样本,及疑似棘慢复合波样本均认真分析,即此时需要检测出较多的棘慢复合波正样本供医务人员分析诊断,因此可以采用较低的阈值T(T>0.5),当循环神经网络输出的标签1的概率值大于阈值T时,最终输出标签1。
相对应的,本实施例还提供一种基于循环神经网络和先验知识的棘慢复合波检测模型构建系统,包括:
样本数据处理模块,本实施例的基于循环神经网络和先验知识的棘慢复合波检测模型是在医院采集的真实数据上实现的。图3为医院采集的原始数据的显示(原始数据为采集的序列点,图3为序列点的图像显示)。如图3所示,采集的脑电样本包含16个通道,每秒钟分别在16个通道各采集125个点。
对采集的数据进行裁剪,以1秒钟为单位,200毫秒为步长,对各个通道的样本进行裁剪,裁剪的脑电样本序列图像显示如图4,每个样本为1秒时长,包含125个点。
对裁剪好的脑电样本进行标定,筛选出典型的棘慢复合波标记为正样本1,对于非典型棘慢复合波样本,均标记为负样本0。
对标定好的脑电样本进行数据集划分,由于癫痫患者发病时间远小于不发病时间,且与棘慢复合波相比,不发病样本的种类更多,无明显规律,且包含伪差等多种影响,因此,对于标记好的样本,训练集,验证集,和测试集均分别按照正样本与负样本,1:5的比例组成。训练集,验证集,测试集的比例按照7:1:2组成。
脑电伪差滤除模块,在将脑电波样本送入循环神经网络训练前,首先对测试集进行伪差波形滤除,滤除伪差后的脑电样本再送入循环神经网络进行棘慢复合波检测训练。脑电信号中的伪差主要分为三大类:来自受检者本身生理性原因,来自脑电图仪器原因以及来自外部原因。图6为本发明伪差滤波器原理图,该滤波器主要通过图中菱形框中的三个条件滤除伪差,若样本满足菱形框中任意一个伪差标准,则作为非典型棘慢复合波输出,不再进行后续的棘慢复合波检测步骤。菱形框中的具体实施方法如下:
(2a)超过正常电压差外的波形进行伪差滤除
正常脑电信号的电压绝对值在50uV-300uV之间,当采集信号电极贴合不稳、有松动,患者有肢体、面部表情变化时,信号电压会变的很大,通常绝对值达到1000uV以上,对此类信号,我们设置阈值Y,当输入信号绝对值大于Y时作为伪差输出。
(2b)交流电伪差滤除
脑电图最基本的波形要素为α波,即频率在8-14Hz之间的脑电波。其中,脑电波的频率为一秒钟出现波峰的个数。以此作为基础,比α波频率小的波称之为慢波,比α波频率大的称之为快波,脑电波大致分为5种波形:δ波,为频率0.5-4Hz(不足4Hz)的波形,通常出现在婴儿期或智力发育不成熟阶段,成年人在极度疲劳、昏睡或麻醉状态下会出现该类波形;θ波,为频率4-8Hz(不足8Hz)的波形,通常出现在成年人意愿受挫、抑郁及精神病患者中,但此波形为少年(10-17岁)脑电图的主要成分;α波,为频率8-14Hz(不足14Hz)的波形,它是正常人脑电波的基本节律,若无外加刺激,其频率较为恒定,人在清醒、安静并闭眼时该节律最为明显,睁开眼睛(受到光刺激)或受到其他刺激时,α波瞬间消失;β波,为频率18-35Hz(不足35Hz)的波形,在精神紧张、情绪激动或亢奋时出现此波形,当人从噩梦中惊醒时,原来的慢节律会立即被该节律替代;γ波,只会在极度兴奋或专注于一件事的情况下才会出现,且基本不会出现。本文所研究的棘慢复合波,由棘波(频率在14Hz及以上的脑电波)后跟着一个200-500ms(多为300ms)的慢波组成,棘慢复合波的频率是从棘波开始到慢波结束作为一个周期测量,频率有2Hz、3Hz,4-6Hz等,以3Hz为主。
患者在做脑电波检查时,来自各种电源和电器的交流电有时会通过静电感应或电磁感应而干扰EEG记录,产生交流电伪差,当持续出现频率为50Hz的脑电信号,作为非棘慢复合波输出。
(2c)非正常脑电活动波形滤除
当脑电图中出现非生物波形、非生物振幅的波形时通常为伪差,作为非棘慢复合波输出。对于非生物波形,本发明滤除其中较常出现的方形波,其数学表达式如下所示:
x(t)=Asgn(sin(t))
式中A表示波形当前的振幅,当t时刻,上式中的sin(t)大于0时,振幅为A,sin(t)小于0时,振幅为-A。
对于非生物振幅,我们滤除较为常见的常量振幅,即振幅恒等于A,不发生变化。
模型训练模块,将训练集输入至长短时记忆模型进行训练,对输入的训练集进行是否为棘慢复合波的概率值计算,根据设定的概率阈值T,最终输出概率值大于T对应的数据标签;然后通过验证集验证,得到目标长短时记忆模型。
具体的,传统的循环神经网络虽然可以保存脑电波前后结构信息,但是由于网络在每次反馈信息时都存在损耗,随着网络深度的增加,前面的信息对后面神经元的影响越来越小,存在梯度消失现象。因此,本实施例采用长短时记忆模型(LSTM)。与传统RNN不同,LSTM的每个神经元中添加了三个门和一个记忆细胞c,记忆细胞的更新由三个门控制,如图7所示。其中,三个门分别为:输入门i,用以控制是否将输入内容传递给LSTM神经元;忘记门f,决定当前输入内容及上一时刻LSTM神经元状态被忘记的部分;输出门o,控制输出内容,及输入到下一时刻LSTM神经元的隐含状态。
it=σ(Wixxt+Wimmt-1)
ft=σ(Wfxxt+Wfmmt-1)
ot=σ(Woxxt+Wommt-1)
ct=ft·ct-1+it·h(Wcxxt+Wcmmt-1)
mt=ot·ct
p=softmax(mt)
其中,·代表点乘;Wix,Wim,Wfx,Wfm,Wox,Wom,Wcx,Wcm为权值矩阵,即训练参数;σ()和h()分别为S型函数和双曲正切函数;xt表示当前时刻的外部输入,即每一时刻会顺序输入脑电信号序列中的一个点,共125个序列点;it表示当前时刻输入门决定输入的信息,经过输入门的信息包含上一时刻LSTM神经元的隐含状态mt和当前时刻的外部输入xt;ft表示当前时刻忘记门需要忘记的信息;ot表示当前时刻会输出到下一时刻神经元的信息;ct表示当前时刻记忆细胞保留的信息;最后通过softmax层对神经元的隐含状态所包含的信息进行分类,对脑电波信号分别给出其属于棘慢复合波的概率和非棘慢复合波的概率(棘慢复合波概率+非棘慢复合波概率=1),最终输出概率值较大的标签。
训练阶段,在训练集上,通过损失函数对长短时记忆模型参数进行训练,损失函数如下式:
其中,n为每次训练的样本个数,j表示当前训练样本为第j个,ε是一个无穷小值,防止log参数为0,y为样本的正确标签,可能取值为0或1,为模型预测标签1的概率值。当正确标签为1,预测标签1的概率小于0.5趋近于0(即预测标签为0的概率较大,预测错误)时,上式中第一项为负无穷大,第二项为0,取反后,损失函数无穷大;当正确标签为1,预测标签为1的概率大于0.5趋近于1(即预测标签为1,预测正确)时,上式第一项无限逼近于0,损失函数无限逼近于0,即该损失函数训练模型尽可能多的输出正确标签来降低损失函数值(损失函数值越小越好)。
目标模型检测模块,检测阶段输入的样本为伪差滤除后的测试集样本。
测试阶段,在测试集上,采用训练好的模型对样本进行测试,不改变模型的参数值,图8为本实施例循环神经网络输出的检测结果及对应样本,其中图中上方的中括号中的值分别为模型预测输入样本属于各标签的概率,图形对应输入的检测样本。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.基于循环神经网络和先验知识的棘慢复合波检测模型构建方法,其特征在于:包括以下步骤:
S01.样本处理;获取历史临床数据,对数据进行处理,筛选出典型的棘慢复合波标记为正样本,标签为1,对于非典型的棘慢复合波标记为负样本,标签为0;训练集、验证集、测试集按照正样本,与负样本设定比例进行分组;
S02.伪差波形滤除;通过伪差滤波器对所述测试集进行伪差判别,将判别为伪差的脑电波输出为非棘慢复合波标签,不是伪差的脑电波输出形成目标测试集;
S03.模型训练;将训练集输入至长短时记忆模型进行训练,对输入的训练集进行是否为棘慢复合波的概率值计算,根据设定的概率阈值T,最终输出概率值大于T对应的数据标签;然后通过验证集验证,得到目标长短时记忆模型;
S04.目标模型检测;将目标测试集输入至目标长短时记忆模型,输出数据标签,若输出符合测试集实际情况,则表示目标长短记忆模型符合要求。
2.根据权利要求1所述的基于循环神经网络和先验知识的棘慢复合波检测模型构建方法,其特征在于:所述步骤S02具体为:
所述伪差滤波器滤除伪差的具体过程为:
将测试集中的原始脑电波输入伪差滤波器,伪差滤波器对原始脑电波的信号幅值、是否为方形波、信号频率进行判断;当信号幅值大于预设幅值阈值Y,或原始脑电波为方形波,或信号频率等于设定频率时,判定为脑电伪差,否则判断为正常脑电波。
3.根据权利要求2所述的基于循环神经网络和先验知识的棘慢复合波检测模型构建方法,其特征在于:在伪差判定过程中,若原始脑电波满足信号幅值、是否为方形波、信号频率任意一个伪差标准,则作为非典型棘慢复合波输出,不再进行后续判断。
5.根据权利要求4所述的基于循环神经网络和先验知识的棘慢复合波检测检测模型构建方法,其特征在于:所述步骤S03中,长短时记忆模型的每个神经元中添加了三个门和一个记忆细胞c,三个门分别为:输入门i,用以控制是否将输入内容传递给LSTM神经元;忘记门f,决定当前输入内容及上一时刻LSTM神经元状态被忘记的部分;输出门o,控制输出内容,及输入到下一时刻LSTM神经元的隐含状态,具体为:
it=σ(Wixxt+Wimmt-1)
ft=σ(Wfxxt+Wfmmt-1)
ot=σ(Woxxt+Wommt-1)
ct=ft·ct-1+it·h(Wcxxt+Wcmmt-1)
mt=ot·ct
p=soft max(mt)
其中,·代表点乘;Wix,Wim,Wfx,Wfm,Wox,Wom,Wcx,Wcm为权值矩阵,即训练参数;σ()和h()分别为S型函数和双曲正切函数;xt表示当前时刻的外部输入,即每一时刻会顺序输入脑电信号序列中的一个点;it表示当前时刻输入门决定输入的信息,经过输入门的信息包含上一时刻LSTM神经元的隐含状态mt和当前时刻的外部输入xt;ft表示当前时刻忘记门需要忘记的信息;ot表示当前时刻会输出到下一时刻神经元的信息;ct表示当前时刻记忆细胞保留的信息;最后通过softmax层对神经元的隐含状态所包含的信息进行分类,对脑电波信号分别给出其属于棘慢复合波的概率和非棘慢复合波的概率。
6.基于循环神经网络和先验知识的棘慢复合波检测模型构建系统,其特征在于:包括:
样本处理模块;划分脑电信号数据集;获取历史临床数据,对数据进行处理,筛选出典型的棘慢复合波标记为正样本,标签为1,对于非典型的棘慢复合波标记为负样本,标签为0;训练集、验证集、测试集按照正样本,与负样本设定比例进行分组;
伪差波形滤除模块;通过伪差滤波器对所述测试集进行伪差判别,将判别为伪差的脑电波输出为非棘慢复合波标签,不是伪差的脑电波输出形成目标测试集;
模型训练模块;将训练集输入至长短时记忆模型进行训练,对输入的训练集进行是否为棘慢复合波的概率值计算,根据设定的概率阈值T,最终输出概率值大于T对应的数据标签;然后通过验证集验证,得到目标长短时记忆模型;
目标模型检测模块;将目标测试集输入至目标长短时记忆模型,输出数据标签,若输出标签为1,则表示目标长短记忆模型符合要求;
临床预测模块;根据临床需求,设定符合需求的概率阈值T;然后向目标长短时记忆模型输入固定长度的临床检测数据,获得检测结果,并以当前输入数据的下一时刻为起点输入新的固定长度的数据,再获得检测结果,以此类推进行临床实时预测。
7.根据权利要求6所述的基于循环神经网络和先验知识的棘慢复合波检测模型构建系统,其特征在于:所述伪差滤波器滤除伪差的具体过程为:
将测试集中的原始脑电波输入伪差滤波器,伪差滤波器对原始脑电波的信号幅值、是否为方形波、信号频率进行判断;当信号幅值大于预设幅值阈值Y,或原始脑电波为方形波,或信号频率等于设定频率时,判定为脑电伪差,否则判断为正常脑电波。
8.根据权利要求7所述的基于循环神经网络和先验知识的棘慢复合波检测模型构建系统,其特征在于:在伪差判定过程中,若原始脑电波满足信号幅值、是否为方形波、信号频率任意一个伪差标准,则作为非典型棘慢复合波输出,不再进行后续判断。
10.根据权利要求9所述的基于循环神经网络和先验知识的棘慢复合波检测构建系统,其特征在于:长短时记忆模型的每个神经元中添加了三个门和一个记忆细胞c,三个门分别为:输入门i,用以控制是否将输入内容传递给LSTM神经元;忘记门f,决定当前输入内容及上一时刻LSTM神经元状态被忘记的部分;输出门o,控制输出内容,及输入到下一时刻LSTM神经元的隐含状态,具体为:
it=σ(Wixxt+Wimmt-1)
ft=σ(Wfxxt+Wfmmt-1)
ot=σ(Woxxt+Wommt-1)
ct=ft·ct-1+it·h(Wcxxt+Wcmmt-1)
mt=ot·ct
p=soft max(mt)
其中,·代表点乘;Wix,Wim,Wfx,Wfm,Wox,Wom,Wcx,Wcm为权值矩阵,即训练参数;σ()和h()分别为S型函数和双曲正切函数;xt表示当前时刻的外部输入,即每一时刻会顺序输入脑电信号序列中的一个点,共125个序列点;it表示当前时刻输入门决定输入的信息,经过输入门的信息包含上一时刻LSTM神经元的隐含状态mt和当前时刻的外部输入xt;ft表示当前时刻忘记门需要忘记的信息;ot表示当前时刻会输出到下一时刻神经元的信息;ct表示当前时刻记忆细胞保留的信息;最后通过softmax层对神经元的隐含状态所包含的信息进行分类,对脑电波信号分别给出其属于棘慢复合波的概率和非棘慢复合波的概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010425465.7A CN111613338B (zh) | 2020-05-19 | 2020-05-19 | 棘慢复合波检测模型构建方法、系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010425465.7A CN111613338B (zh) | 2020-05-19 | 2020-05-19 | 棘慢复合波检测模型构建方法、系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111613338A true CN111613338A (zh) | 2020-09-01 |
CN111613338B CN111613338B (zh) | 2022-12-16 |
Family
ID=72196293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010425465.7A Active CN111613338B (zh) | 2020-05-19 | 2020-05-19 | 棘慢复合波检测模型构建方法、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111613338B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113907770A (zh) * | 2021-10-21 | 2022-01-11 | 中国电子科技集团公司第三十八研究所 | 基于特征融合的棘慢复合波检测识别方法及系统 |
CN117292717A (zh) * | 2023-11-27 | 2023-12-26 | 广东美的制冷设备有限公司 | 异音识别方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407649A (zh) * | 2016-08-26 | 2017-02-15 | 中国矿业大学(北京) | 基于时间递归神经网络的微震信号到时自动拾取方法 |
CN107239859A (zh) * | 2017-06-05 | 2017-10-10 | 国网山东省电力公司电力科学研究院 | 基于串联长短期记忆循环神经网络的供热负荷预测方法 |
CN109558971A (zh) * | 2018-11-09 | 2019-04-02 | 河海大学 | 基于lstm长短期记忆网络的智能滑坡监测装置与方法 |
-
2020
- 2020-05-19 CN CN202010425465.7A patent/CN111613338B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407649A (zh) * | 2016-08-26 | 2017-02-15 | 中国矿业大学(北京) | 基于时间递归神经网络的微震信号到时自动拾取方法 |
CN107239859A (zh) * | 2017-06-05 | 2017-10-10 | 国网山东省电力公司电力科学研究院 | 基于串联长短期记忆循环神经网络的供热负荷预测方法 |
CN109558971A (zh) * | 2018-11-09 | 2019-04-02 | 河海大学 | 基于lstm长短期记忆网络的智能滑坡监测装置与方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113907770A (zh) * | 2021-10-21 | 2022-01-11 | 中国电子科技集团公司第三十八研究所 | 基于特征融合的棘慢复合波检测识别方法及系统 |
CN113907770B (zh) * | 2021-10-21 | 2023-05-09 | 中国电子科技集团公司第三十八研究所 | 基于特征融合的棘慢复合波检测识别方法及系统 |
CN117292717A (zh) * | 2023-11-27 | 2023-12-26 | 广东美的制冷设备有限公司 | 异音识别方法、装置、电子设备和存储介质 |
CN117292717B (zh) * | 2023-11-27 | 2024-03-22 | 广东美的制冷设备有限公司 | 异音识别方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111613338B (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019201766B2 (en) | Systems and methods for diagnosis of depression and other medical conditions | |
US20200367800A1 (en) | Method for identifying driving fatigue based on cnn-lstm deep learning model | |
EP2416703B1 (en) | Real-time identification of seizures in an eeg signal | |
CN110070105B (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
CN113397546B (zh) | 基于机器学习和生理信号的情绪识别模型构建方法及系统 | |
Kalaivani et al. | Prediction of biomedical signals using deep learning techniques | |
Acır et al. | Automatic recognition of sleep spindles in EEG by using artificial neural networks | |
CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
CN111613338B (zh) | 棘慢复合波检测模型构建方法、系统 | |
CN111317446B (zh) | 基于人体肌肉表面电信号的睡眠结构自动分析方法 | |
CN114305452B (zh) | 一种基于脑电和领域适配的跨任务认知负荷识别方法 | |
Liu et al. | Epileptic seizure detection and prediction in EEGS using power spectra density parameterization | |
CN115089179A (zh) | 一种心理情绪洞察分析方法及系统 | |
CN114305454A (zh) | 基于域对抗神经网络的疲劳状态识别方法及装置 | |
Pale et al. | Importance of methodological choices in data manipulation for validating epileptic seizure detection models | |
CN115429292A (zh) | 基于频谱分析的脑电信号质量的检测装置及系统 | |
Ibrahim et al. | EEG-Based Epileptic Seizures Detection with Adaptive Learning Capability. | |
CN115414054A (zh) | 基于前馈脉冲神经网络的癫痫脑电检测系统 | |
Yauri et al. | Mental workload detection based on EEG analysis | |
CN112617761B (zh) | 自适应聚点生成的睡眠阶段分期方法 | |
Asha et al. | Automated seizure detection from multichannel EEG signals using support vector machine and artificial neural networks | |
Mantri et al. | Real time multimodal depression analysis | |
Zhang et al. | Classification of evoked emotions using an artificial neural network based on single, short-term physiological signals | |
CN113208615A (zh) | 一种用于心肺复苏仪的连续脑电监测及反馈系统与方法 | |
Samiei et al. | A complex network approach to time series analysis with application in diagnosis of neuromuscular disorders |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |