CN111956207B - 一种心电记录标注方法、装置、设备及存储介质 - Google Patents
一种心电记录标注方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111956207B CN111956207B CN202010837880.3A CN202010837880A CN111956207B CN 111956207 B CN111956207 B CN 111956207B CN 202010837880 A CN202010837880 A CN 202010837880A CN 111956207 B CN111956207 B CN 111956207B
- Authority
- CN
- China
- Prior art keywords
- time sequence
- heart beat
- feature
- electrocardiographic
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000005856 abnormality Effects 0.000 claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 37
- 230000033764 rhythmic process Effects 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 14
- 230000000747 cardiac effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 59
- 230000000306 recurrent effect Effects 0.000 description 29
- 125000004122 cyclic group Chemical group 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 208000010125 myocardial infarction Diseases 0.000 description 3
- 101100268446 Pseudomonas putida (strain ATCC 47054 / DSM 6125 / CFBP 8728 / NCIMB 11950 / KT2440) proR gene Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 1
- 208000031229 Cardiomyopathies Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 208000009525 Myocarditis Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 208000018578 heart valve disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种心电记录标注方法、装置、设备及存储介质。方法包括:获取心电记录,心电记录包括多个心拍信号;确定心电异常检测模型;将心电记录输入心电异常检测模型中进行处理,得到心拍信号为各异常种类的概率矩阵;计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;将心电记录标注为目标值对应的心拍信号的异常种类,目标值为多个所述中间矩阵中的最大值。本发明实施例的方法实现记录级别的注释,而非对每一个心拍进行注释,提高了注释效率,节省了时间成本。此外,充分利用了心电记录中每一心拍信号的预设邻域内所有心拍信号的关联性,提高了后续心电记录标注的准确性。
Description
技术领域
本发明实施例涉及心电信号处理技术领域,尤其涉及一种心电记录标注方法、装置、设备及存储介质。
背景技术
多种疾病都能够引起心电图的异常,心电异常的检测对心脏疾病的诊断尤为重要,心电图诊断已经成为临床诊断中不可或缺的一部分。
现有的心电异常检测技术需要受过训练的心脏病医生对每个心拍信号标记心拍注释。但是,在连续的ECG(Electrocardiogram,心电图)监测过程中,ECG记录长达24-48h,并且包含100000-200000个心拍,心脏病专家必须花费大量的时间进行心拍注释,浪费了大量的时间,且标注效率不高。
发明内容
本发明提供一种心电记录标注方法、装置、设备及存储介质,以实现记录级别的注释,提高了注释效率,节省了时间成本,提高了心电记录标注的准确性。
第一方面,本发明实施例提供了一种心电记录标注方法,包括:
获取心电记录,所述心电记录包括多个心拍信号;
确定心电异常检测模型;
将所述心电记录输入所述心电异常检测模型中进行处理,得到所述心拍信号为各异常种类的概率矩阵;
计算每一所述心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;
将所述心电记录标注为目标值对应的心拍信号的异常种类,所述目标值为多个所述中间矩阵中的最大值。
第二方面,本发明实施例还提供了一种心电异常检测模型训练方法,包括:
获取心电信号样本,所述心电信号样本包括多个心拍信号样本,所述心电信号样本关联种类标签,所述种类标签用于标识所述心电信号样本的异常种类;
确定心电异常检测模型;
将所述心电信号样本输入所述心电异常检测模型中进行处理,得到所述心拍信号样本为各异常种类的概率矩阵;
计算每一所述心拍信号样本的预设邻域内所有心拍信号样本的概率矩阵之和,得到多个中间矩阵;
将多个所述中间矩阵中的目标值对应的心拍信号样本关联所述种类标签,所述目标值为多个所述中间矩阵中的最大值;
通过损失函数计算将所述中间矩阵中目标值对应的心拍信号样本关联所述种类标签的损失值;
基于所述损失值更新所述心电异常检测模型的参数。
第三方面,本发明实施例还提供了一种心电记录标注装置,该装置包括:
心电记录获取模块,用于获取心电记录,所述心电记录包括多个心拍信号;
模型确定模块,用于确定心电异常检测模型;
概率矩阵获取模块,用于将所述心电记录输入所述心电异常检测模型中进行处理,得到所述心拍信号为各异常种类的概率矩阵;
中间矩阵获取模块,用于计算每一所述心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;
标注模块,用于将所述心电记录标注为目标值对应的心拍信号的异常种类,所述目标值为多个所述中间矩阵中的最大值。
第四方面,本发明实施例还提供了一种心电异常检测模型训练装置,该装置包括:
样本获取模块,用于获取心电信号样本,所述心电信号样本包括多个心拍信号样本,所述心电信号样本关联种类标签,所述种类标签用于标识所述心电信号样本的异常种类;
模型确定模块,用于确定心电异常检测模型;
概率矩阵获取模块,用于将所述心电信号样本输入所述心电异常检测模型中进行处理,得到所述心拍信号样本为各异常种类的概率矩阵;
中间矩阵获取模块,用于计算每一所述心拍信号样本的预设邻域内所有心拍信号样本的概率矩阵之和,得到多个中间矩阵;
标签关联模块,用于将多个所述中间矩阵中的目标值对应的心拍信号样本关联所述种类标签,所述目标值为多个所述中间矩阵中的最大值;
损失值计算模块,用于通过损失函数计算将所述中间矩阵中目标值对应的心拍信号样本关联所述种类标签的损失值;
参数更新模块,用于基于所述损失值更新所述心电异常检测模型的参数。
第五方面,本发明实施例还提供了一种计算机设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明第一方面提供的心电记录标注方法,或实现如本发明第二方面提供的心电异常检测模型训练方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明第一方面提供的心电记录标注方法,或实现如本发明第二方面提供的心电异常检测模型训练方法。
本发明实施例提供的心电记录标注方法,包括:获取心电记录,心电记录包括多个心拍信号;确定心电异常检测模型;将心电记录输入心电异常检测模型中进行处理,得到心拍信号为各异常种类的概率矩阵;计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;将心电记录标注为目标值对应的心拍信号的异常种类,目标值为多个中间矩阵中的最大值。通过计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵,并将所述心电记录标注为目标值对应的心拍信号的异常种类,实现记录级别的注释,而非对每一个心拍进行注释,提高了注释效率,节省了时间成本。此外,充分利用了心电记录中每一心拍信号的预设邻域内所有心拍信号的关联性,提高了后续心电记录标注的准确性。
附图说明
图1A为本发明实施例一提供的一种心电记录标注方法的流程图;
图1B为本发明实施例一提供的一个心拍的结构图;
图2A是本发明实施例二提供的一种心电记录标注方法的流程图;
图2B为本发明实施例二中一种心电异常检测模型的网络架构图;
图2C为本发明实施例二中卷积神经网络的结构示意图;
图3为本发明实施例三提供的一种心电异常检测模型训练方法;
图4为本发明实施例四提供的一种心电记录标注装置的结构示意图;
图5为本发明实施例五提供的一种心电异常检测模型训练装置的结构示意图;
图6为本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种心电记录标注方法的流程图,本实施例可适用于标注心电记录的异常种类的情况,该方法可以由本发明实施例提供的心电记录标注装置来执行,该装置可以由软件和/或硬件的方式实现,通常配置于计算机设备中。如图1A所示,该方法具体包括如下步骤:
S101、获取心电记录,心电记录包括多个心拍信号。
具体的,心脏在搏动前后,心肌发生激动。在心肌激动过程中,会产生微弱的生物电流。这样,心脏的每一个心动周期均伴随着生物电变化。这种生物电变化可传达到身体表面的各个部位。由于身体各部分组织不同,距心脏的距离不同,心电信号在身体不同的部位所表现出的电位也不同。对正常心脏来说,这种生物电变化的方向、频率、强度是有规律的。若通过电极将体表不同部位的电信号检测出来,再用放大器加以放大,并用记录器描记下来,就可得到心电图(ECG)。
心电图是心脏在每个心动周期中,由起搏点、心房、心室相继兴奋,伴随着生物电的变化,通过心电描记器从体表引出多种形式的电位变化的图形。由于心脏的每次跳动是有规律的,因此心电图中的波形图也是有规律的。心电图中可以完整代表心脏一次心动周期的波形图被称为一个心拍信号。一个ECG记录通常包含上十万个心拍信号,在本发明实施例中,从ECG记录截取N个(例如50个)连续的心拍作为心电记录。具体的,ECG记录可以从用户的体检结果中获取。
图1B为本发明实施例一提供的一个心拍的结构图,参考图1B可见,一个心拍包括P波、Q波、R波、S波、T波和U波。通过检测P波、Q波、R波、S波、T波和U波中的一个或多个波的特征,可以在心电图中确定心拍信号。其中,横轴为电平基线,以时间为单位,纵轴为心电信号的强度,以电压来表征。在临床中通常将心电信号中T波和S波之间平直段(TS段)延长得到电平基线。
S102、确定心电异常检测模型。
具体的,在本发明实施例中,异常检测模型可以包括循环神经网络和卷积神经网络等构成的深度网络,本发明实施例对循环神经网络和卷积神经网络的具体形式不做限定。
S103、将心电记录输入心电异常检测模型中进行处理,得到心拍信号为各异常种类的概率矩阵。
具体的,将上述心电记录输入至异常检测模型中,异常检测模型对心电记录中的心拍信号进行处理,例如特征提取、加权等操作,由模型中的分类函数输出心拍信号属于各异常种类的概率值。具体的,在本发明实施例中,异常种类可以包括多种,因此是一个多分类问题,因此,采用softmax函数作为分类器。softmax函数是个非常常用而且比较重要的函数,尤其在多分类的场景中使用广泛。在本发明实施例中,softmax函数把输入的特征映射为0-1之间的实数并输出,并且归一化保证和为1,即输出各分类的概率值,各分类的概率值组成的向量称之为该心拍信号的概率矩阵。示例性的,假设第m个心拍信号的概率矩阵为rm,rm如下所示:
其中,a1至an分别表示属于某一异常种类的概率值,a1至an中,某一概率值最大,则表示心拍信号属于该概率值对应的异常种类。
示例性的,softmax函数如下:
在本发明实施例中,异常种类可以包括心绞痛、双支阻滞、心肌病、心力衰竭、心律失常、心肌肥大、心肌梗塞、心肌炎、瓣膜性心脏病等中的至少两种。
S104、计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵。
具体的,预设邻域可以是以某一心拍信号为基准(包括该心拍信号自身),该心拍信号的前K个心拍信号和后K(K小于N)个心拍信号。示例性的,以K=5为例,则心电记录中的第10个心拍信号的预设邻域的心拍包括第5个心拍信号至第15个心拍信号(共11个)。
计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,即将每一心拍信号的预设邻域内所有心拍信号的概率矩阵的对应项相加,得到与心拍信号数量对应的多个中间矩阵。
当该心拍信号前或后的心拍信号数量小于K个时,在计算该心拍信号的预设邻域内所有心拍信号的概率矩阵之和时,采用零矩阵补充。
本发明实施例充分利用了心电记录中每一心拍信号的预设邻域内所有心拍信号的关联性,提高了后续心电记录标注的准确性。
S105、将心电记录标注为目标值对应的心拍信号的异常种类,目标值为多个中间矩阵中的最大值。
具体的,在得到与心拍信号数量对应的多个中间矩阵之后,从多个中间矩阵确定最大值作为目标值,以及该目标值对应的异常种类,然后将该心电记录标注为目标值对应的心拍信号的异常种类。示例性的,各中间矩阵中目标值对应的异常种类为心肌梗塞,则将该心电记录标记为心肌梗塞。
本发明实施例提供的心电记录标注方法,包括:获取心电记录,心电记录包括多个心拍信号;确定心电异常检测模型;将心电记录输入心电异常检测模型中进行处理,得到心拍信号为各异常种类的概率矩阵;计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;将心电记录标注为目标值对应的心拍信号的异常种类,目标值为多个中间矩阵中的最大值。通过计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵,并将所述心电记录标注为目标值对应的心拍信号的异常种类,实现记录级别的注释,而非对每一个心拍进行注释,提高了注释效率,节省了时间成本。此外,充分利用了心电记录中每一心拍信号的预设邻域内所有心拍信号的关联性,提高了后续心电记录标注的准确性。
实施例二
本发明实施例二提供了一种心电记录标注方法,图2A是本发明实施例二提供的一种心电记录标注方法的流程图,本实施例在上述实施例一的基础上进行细化,详细描述了心电异常检测模型的处理过程,如图2A所示,该方法包括:
S201、获取心电记录,心电记录包括多个心拍信号。
示例性的,在本发明的一些实施例中,步骤S201可以包括如下步骤:
获取心电图(ECG)信号。心电图信号可以来自体检结果,通过电极将体表不同部位的电信号检测出来,通过模拟电路对采集的信号进行阻抗匹配、过滤、放大等处理。然后由模数转换器把人体生理参数的模拟信号转化为数字信号,由存储器存储。示例性的,该心电图信号可以是单导联心电图信号,或者多导联心电图信号,单导联电图信号即采集身体一个部位的电信号得到的心电图信号,多导联心电图信号即为采集身体多个部位的电信号得到的心电图信号。本发明实施例对心电图信号的类型不做限定。
心电图信号是在体表由电极测的的低幅低频微弱生理电信号,其幅度通常在0.1mv-5mv之间,能量集中在0.5Hz-40Hz范围内,非常容易受到环境的影响,心电图机通过电极直接采集和记录的心电信号经常会受到各种噪声干扰,常见的干扰有肌电干扰、基线漂移和工频干扰等。如果直接用这些原始信号去做心电图分类,会因为噪声的存在,降低分类的准确率。所以在对心电图信号进行处理前,一般需要对原始信号先进行滤波操作。本发明实施例中,对心电图信号进行滤波,得到第一信号。具体的,通过截止频率0.5Hz,30Hz,40阶的带通滤波器对心电图信号进行滤波处理,去除低频噪声和工频噪声的干扰,得到第一信号。
对第一信号重采样,得到预设采样频率(例如250Hz)的第二信号。
将第二信号切割为预设长度(例如10s)的多个第三信号。具体的,每个心拍,其中包括preR段(从给定心拍到给定心拍和先前心拍的中点)和proR段(从给定心拍到给定心拍和随后的心拍的中点)。将preR片段和proR片段的长度设为0.1s,如果截取的段的长度超过预设长度,则执行截断。如果截取的段的长度短于预设长度,则将执行零填充。
对第三信号归一化处理,得到心拍信号。具体的,采用z-score归一化将每个10秒片段处理成“零均值,一方差”的心拍信号,z-score的具体公式如下所示:
其中,μ为均值,σ为标准差。
S202、确定心电异常检测模型。
具体的,图2B为本发明实施例二中一种心电异常检测模型的网络架构图,包括第一循环神经网络、第二循环神经网络、卷积神经网络、第三循环神经网络、第四循环神经网络、第五循环神经网络、第六循环神经网络、第七循环神经网络和softmax函数层。
其中,第一循环神经网络和第二循环神经网络通过拼接层(Concatenate)与卷积神经网络全连接。第一循环神经网络和第二循环神经网络分别用于从心拍信号中提取两种不同时间长度的节律信息,拼接层用于将两种不同时间长度的节律信息在时间维度上堆叠,得到时序特征,并传递给卷积神经网络。卷积神经网络从时序特征中提取表示局部的局部特征。第三循环神经网络用于对局部特征做时序编码,得到局部特征的时序编码特征。第四循环神经网络和第五循环神经网络分别用于从心拍信号中提取两种不同的时间长度的第一编码特征。对两种不同的时间长度的第一编码特征求和,得到全局时序权值,将全局时序权值与时序编码特征相乘获得表示全局的全局时序特征。第六循环神经网络和第七循环神经网络分别用于从局部特征中提取两种不同的时间长度的第二编码特征。对两种不同的时间长度的第二编码特征求和,得到局部时序权值,将局部时序权值与全局时序特征相乘,得到局部时序特征。Softmax层用于将局部时序特征映射为0-1之间的实数并输出。
需要说明的是,上述实施例中心电异常检测模型的网络架构为对本发明实施例的示例性说明而非限定,在本发明其他实施例中,也可以采用其他网络架构,本发明实施例在此不做限定。
本发明实施例中,可以预先对心电异常检测模型进行训练,具体的,训练用数据样本可从其它相应体检结果中获取,也可以选择从现有的数据库例如从欧共体心电图波形数据库(CSE)中获取。
S203、从心拍信号中提取时序特征,时序特征包括至少两种时间长度的节律信息。
具体的,在本发明实施例中,从心拍信号中提取两种不同时间长度的节律信息,两种不同时间长度的节律信息可以分别表示长片段的节律信息和短片段的节律信息,将两种不同时间长度的节律信息作为时序特征。本发明实施例通过从心拍信号中提取不同时间长度的节律信息,增加特征丰富度,提高网络分类能力,进而提供心电记录的标注准确率。
示例性的,步骤S203可以包括如下步骤:
S2031、将心拍信号分别输入至少两个双向长短期记忆网络进行处理,以获得至少两种不同时间长度的节律信息,至少两个长短期记忆网络具有不同的时间长度。
示例性的,本实施例以两种不同时间长度的双向长短期记忆网络(BidirectionalLong Short-Term Memory,BiLSTM)为例进行说明,BiLSTM是由前向LSTM与后向LSTM组合而成。图2B中,第一循环神经网络和第二循环神经网络为两个时间长度不同的双向长短期记忆网络。BiLSTM一种时间循环神经网络,是为了解决一般的循环神经网络(RecurrentNeural Network,RNN)存在的长期依赖问题而专门设计出来的。本实施例中,其中,第一个BiLSTM的时间长度可以是2s,第二个BiLSTM的时间长度为1s。第一个BiLSTM以2秒的时间长度获取长片段(如心拍)的节律信息,第二个BiLSTM以1秒的时间长度获取短片段(如特征波)的节律信息。
S2032、将至少两种不同时间长度的节律信息在时间维度上堆叠,得到时序特征。
示例性的,将两个不同时间长度的BiLSTM提取的节律信息在时间维度上堆叠,获得时序特征。两种不同特征长度的BiLSTM的参数如表1所示。
表1
如表1所示,第一个BiLSTM的特征尺寸(Feature size)大小为40,时间步(Timesteps)数为125,输出大小(Output size)为40*125的矩阵作为节律信息;第二个BiLSTM的特征尺寸大小为20,时间步(Time steps)数为250,输出大小为20*125的矩阵作为节律信息。其中,BiLSTM的时间长度即为每个时间步的长度。在获得两种不同的BiLSTM输出的节律信息后,通过一个拼接层(Concatenate)将两个不同时间长度的LSTM提取的节律信息联合,实现在时间维度上堆叠,即将表示两个节律信息的两个矩阵进行堆叠,输出60*125的矩阵作为时序特征。拼接层的联合操作是网络结构设计中很重要的一种操作,经常用于将多个特征联合,多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。采用长短期记忆网络提取时序特征,解决卷积神经网络局部感知的局限性,提高左前分支阻滞检测的准确性。
需要说明的是,上述实施例中以采用BiLSTM作为示例对提取时序特征进行说明,在本发明其他实施例中,也可以采用其他的循环神经网络,例如LSTM(Long Short-TermMemory,LSTM);时间卷积网络(Temporal Convolutional Network,TCN),时间卷积网络是一种能够处理时间序列数据的网络结构。本发明实施例对提取时序特征的网络类型不做限定。
S204、从时序特征中提取表示局部信息的局部特征。
具体的,将时序特征输入预置的卷积神经网络进行卷积处理,输出时序特征的局部特征。将时序特征输入预置的卷积神经网络进行卷积处理,利用卷积核的局部感知作用,提取片段的局部特征,进而增强有效特征的表达,提高后续心拍信号的异常检测结果的准确性,进而提高心电记录的标注准确性。
图2C为本发明实施例二中卷积神经网络的结构示意图,如图2C所示,卷积神经网络包括卷积块、池化操作层和由多个残差卷积块组成的残差卷积子网络。具体的,将时序特征输入预置的卷积神经网络进行卷积处理包括如下步骤:
1、将时序特征输入卷积块中进行卷积处理,得到第一特征。
具体的,卷积神经网络中卷积块和残差卷积块的参数如表2所示。
表2
卷积块(称之为卷积块0)沿卷积方向依次包括第一卷积层、第一批归一化层、激活函数层、第二卷积层和第二批归一化层。第一卷积层的卷积核(Kernel size)的大小为32,滤波器(Filters)即卷积核的数量为32,第一卷积层对时序特征进行卷积操作,输出大小(Output size)为32*200的第一矩阵。
第一批归一化层对输入的第一矩阵做归一化处理,归一化至均值为0、方差为1的第二矩阵。
激活函数层就是在人工神经网络的神经元上运行激活函数,负责将神经元的输入映射到输出端。具体的,在本发明实施例中,激活函数层的激活函数为ReLU函数:
f(x)=max(0,x)
当输入为负数时,则完全不激活,ReLU函数死掉。ReLU函数输出要么是0,要么是正数。ReLU可以克服梯度消失的问题,加快训练速度。需要说明的是,在本发明的其他实施例中,该实施例中的激活函数层中的激活函数也可以是其他激活函数,例如,Sigmoid函数或Tanh函数,本发明实施例在此不做限定。
第二卷积层的卷积核的大小为32,滤波器即卷积核的数量为64,第二卷积层对激活函数层的输出进行卷积操作,输出大小为64*200的第三矩阵。
第二批归一化层对输入的第三矩阵做归一化处理,归一化至均值为0、方差为1的第四矩阵。
2、将时序特征输入池化操作层进行池化操作,得到第二特征。
具体的,池化操作层与卷积神经网络的输入层(或者拼接层)连接,池化操作层的步长为2,用于接收输入层输入的时序特征。在池化操作层中对时序特征进行最大池化操作,得到第二特征。池化是为了减少训练参数的数量,降低卷积层输出的特征向量的维度,减小过拟合现象,只保留最有用的特征信息,减少噪声的传递。最大池化操作即选取指定区域内最大的一个数来代表整片区域。
3、将第一特征输入残差卷积子网络中进行残差卷积操作,得到第三特征。
深度学习网络的深度对最后的分类和识别的效果有着很大的影响,常规的网络的堆叠(plain network)在网络很深的时候,效果却越来越差了。其中原因之一即是随着神经网络层数的加深,退化现象(degradation)就越来越明显,网络的训练效果越差,即准确率会先上升然后达到饱和,再持续增加深度则会导致准确率下降。但是现在浅层的网络(shallower network)又无法明显提升网络的识别效果。残差卷积子网络包括多个残差卷积块,残差卷积块间通过短连接(shortcut connection)连接,通过shortcut将这个block的输入和输出进行element-wise的加叠(即两个矩阵中相同位置的元素相加),这个简单的加法并不会给网络增加额外的参数和计算量,同时却可以大大增加模型的训练速度、提高训练效果,并且当模型的层数加深时,这个简单的结构能够很好的解决退化现象。
具体的,在本发明的具体实施例中,残差卷积子网络包括3个依次连接的残差卷积块,每个残差卷积块包括一个卷积块。每个卷积块具有如前文所述的第一卷积层、第一批归一化层、激活函数层、第二卷积层和第二批归一化层。第一个残差卷积块我们称之为残差卷积块1,第二个残差卷积块我们称之为残差卷积块2,第三个残差卷积块我们称之为残差卷积块3。各卷积块中卷积核的大小均为11,滤波器数量均为48,输出大小均为48*20的矩阵。第一个残差卷积块和第二个残差卷积块中卷积核的步长为1,第三个残差卷积块中的卷积核的步长为2,从而实现降采样。
第一个残差卷积块对卷积块0输出的第一特征进行第一预设次数的卷积操作,得到第一子特征,本发明实施例中第一预设次数为4次。通过短连接将卷积块0输出的第一特征与第一个残差卷积块输出的第一子特征进行element-wise的叠加,作为第二个残差卷积块的输入。
第一个残差卷积块的输出与第二个残差卷积块的输入连接,且第一个残差卷积块的输出与第三个残差卷积块的输入通过短连接(shortcut connection)连接。第二个残差卷积块对第一子特征和第一特征进行第二预设次数的卷积操作,得到第二子特征,本发明实施例中第二预设次数为6次。通过短连接将第一个残差卷积块输出的第一子特征与第二个残差卷积块的输出的第二子特征进行element-wise的叠加,作为第三个残差卷积块的输入。
第二个残差卷积块的输出与第三个残差卷积块的输入连接,第三个残差卷积块对第一子特征和第二子特征进行第三预设次数的卷积操作,得到第三子特征,本发明实施例中第三预设次数为3次。且第二个残差卷积块输出的第二子特征通过短连接与第三个残差卷积块输出的第三子特征进行element-wise的叠加,得到第三特征。
其中,残差卷积块1、残差卷积块2、残差卷积块3均与卷积块0的结构类似,包括第一卷积层、第一批归一化层、激活函数层、第二卷积层和第二批归一化层。
需要说明的是,在本发明的其他实施例中,为了提高检测的准确度,可以增加残差卷积子网络的深度,即增加残差卷积块的数量,各残差卷积块包括的卷积块的数量也可以为多个,各残差卷积块的卷积操作次数也可以根据实际需要设定,本发明实施例在此不做限定。
4、将第二特征和第三特征相加,得到时序特征的局部特征。
具体的,将上述得到的第二特征和第三特征对应项相加,得到时序特征的局部特征。
S205、对局部特征做时序编码,得到局部特征的时序编码特征。
具体的,确定时序编码的时间步,每一局部特征配置一时间步,将局部特征的数量作为时序编码的时间步的步数。示例性的,图2B中第三循环神经网络为一个编码LSTM,将局部特征输入一个编码LSTM中,利用该编码LSTM对局部特征做时序编码,得到时序编码特征。编码LSTM的参数设置如表3所示。
表3
向每一时间步输入一局部特征。具体的,该编码LSTM的特征尺寸(Feature size)大小为20,时间步(Time steps)数为64,向每一时间步输入一局部特征,通过该编码LSTM将各时间步的局部特征传递和融合,取最后一个时间步的输出的1*20矩阵作为时序编码特征。
S206、对时序编码特征进行全局时序加权处理,得到表示全局时序信息的全局时序特征。
具体的,对时序编码特征配置全局时序权重,对时序编码特征增加整个心拍信号的时序信息,即全局时序信息对检测结果的影响,能够提高后续心拍异常检测结果的准确性。
具体的,步骤S206可以包括如下步骤:
S2061、将心拍信号分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第一编码特征,两个长短期记忆网络具有不同的时间长度。
具体的,图2B中第四循环神经网络和第五循环神经网络为两个不同时间长度的长短期记忆网络,将步骤S201中得到的心拍信号分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第一编码特征。两个长短期记忆网络具有不同的时间长度。该两个不同时间长度的LSTM可称为全局权值编码LSTM。全局权值编码LSTM的参数设置表4所示。
表4
如表4所示,两个全局权值编码LSTM分别为LSTM-W-1和LSTM-W-2,LSTM-W-1的特征尺寸(Feature size)大小为40,时间步(Time steps)数为125,输出大小(Output size)为1*20的矩阵作为一个第一编码特征,LSTM-W-2的特征尺寸(Feature size)大小为20,时间步(Time steps)数为250,输出大小(Output size)为1*20的矩阵作为另一个第一编码特征。
S2062、对两种不同的时间长度的第一编码特征求和,得到全局时序权值。
即将两个1*20的矩阵的对应项相加,得到全局时序权值。
S2063、将全局时序权值与时序编码特征相乘,得到全局时序特征。
即将用于表示全局时序权值的矩阵与用于表示时序编码特征的矩阵相乘,得到全局时序特征。
S207、对全局时序特征进行局部时序加权处理,得到表示局部时序信息的局部时序特征。
具体的,对全局时序特征配置局部时序权重,对全局时序特征增加局部时序信息对检测结果的影响,能够提高后续心拍异常检测结果的准确性。
具体的,步骤S207可以包括如下步骤:
S2071、将局部特征分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第二编码特征,两个长短期记忆网络具有不同的时间长度。
具体的,具体的,图2B中第六循环神经网络和第七循环神经网络为两个不同时间长度的长短期记忆网络,将步骤S204中得到的局部特征分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第二编码特征。两个长短期记忆网络具有不同的时间长度。该两个不同时间长度的LSTM可称为局部权值编码LSTM。局部权值编码LSTM的参数设置表5所示。
表5
如表5所示,两个局部权值编码LSTM分别为LSTM-W-3和LSTM-W-4,LSTM-W-3的特征尺寸(Feature size)大小为20,时间步(Time steps)数为32,输出大小(Output size)为1*20的矩阵作为一个第二编码特征,LSTM-W-4的特征尺寸(Feature size)大小为10,时间步(Time steps)数为64,输出大小(Output size)为1*20的矩阵作为另一个第二编码特征。
S2072、对两种不同的时间长度的第二编码特征求和,得到局部时序权值。
即将两个1*20的矩阵的对应项相加,得到局部时序权值。
S2073、将局部时序权值与全局时序特征相乘,得到局部时序特征。
即将局部时序权值与用于表示全局时序特征的矩阵相乘,得到局部时序特征。
S208、基于局部时序特征确定心拍信号为各异常种类的概率矩阵。
具体的,将局部时序特征输入softmax函数层,由softmax函数将输入的局部时序特征映射为0-1之间的实数并输出,并且归一化保证和为1,即输出心拍信号属于各分类的概率值。各分类的概率值组成的矩阵称之为该心拍信号的概率矩阵。
S209、计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵。
具体的,计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,即将每一心拍信号的预设邻域内所有心拍信号的概率矩阵的对应项相加,得到与心拍信号数量对应的多个中间矩阵。
S210、将心电记录标注为目标值对应的心拍信号的异常种类,目标值为多个中间矩阵中的最大值。
具体的,在得到与心拍信号数量对应的多个中间矩阵之后,从多个中间矩阵确定最大值作为目标值,以及该目标值对应的异常种类,然后将该心电记录标注为目标值对应的心拍信号的异常种类。
本发明实施例提供的心电记录标注方法,通过计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵,并将所述心电记录标注为目标值对应的心拍信号的异常种类,实现记录级别的注释,而非对每一个心拍进行注释,提高了注释效率,节省了时间成本。进一步的,通过从心拍信号中提取至少两种不同时间长度的节律信息作为时序特征,增加了时序特征丰富度;从时序特征中提取表示局部的局部特征,能够增强有效特征的表达;对局部特征做时序编码,得到局部特征的时序编码特征后,对时序编码特征进行全局时序加权处理,得到全局时序特征,增加全局时序信息对检测结果的影响;对全局时序特征进行局部时序加权处理,增加局部时序信息对检测结果的影响,本发明实施例能够提高心拍信号的检测效率和检测结果的准确性,进而提高心电记录的标注效率和标注结果的准确性。此外,本发明实施例充分利用了心电记录中每一心拍信号的预设邻域内所有心拍信号的关联性,提高了后续心电记录标注的准确性。
实施例三
图3为本发明实施例三提供的一种心电异常检测模型训练方法,本实施例可用于本发明上述实施例提供的心电异常检测模型的训练,该方法可以由本发明实施例提供的心电异常检测模型训练装置来执行,该装置可以由软件和/或硬件的方式实现,通常配置于计算机设备中。如图3所示,该方法具体包括如下步骤:
S301、获取心电信号样本,心电信号样本包括多个心拍信号样本,心电信号样本关联种类标签,种类标签用于标识心电信号样本的异常种类。
具体的,心电记录样本为用于训练心电异常检测模型的心电记录,心电记录样本可从其它相应体检结果中获取,也可以选择从现有的数据库例如从欧共体心电图波形数据库(CSE)中获取。具体的,从数据库中获取ECG样本,ECG样本中从第一个心拍信号开始,截取N个(例如50个)连续的心拍,以此类推,将ECG分割成多组心电记录样本,当最后一组心电记录样本的心拍信号的数量少于50个时,将执行零填充。心电记录样本包括50个心拍信号样本,对心拍信号样本的处理与前述实施例中对心拍信号的处理类似,本发明实施例在此不再赘述。
本发明实施例中,基于多示例学习(Multiple-Instance Learning,MIL)对异常检测模型继续训练。多示例学习与监督学习、半监督学习和非监督学习有所不同,它是以多示例包(bag)为训练单元的学习问题,每个包中包含多个示例(instance)。在多示例学习中,训练集由一组具有分类标签(Tag)的多示例包组成,每个包(bag)含有若干个没有分类标签的示例(instance)。如果多示例包(bag)至少含有一个正示例,则该包被标记为正类多示例包(正包)。在本发明实施例中以心电记录为包,心电记录中包含的心拍信号作为示例。心电记录关联或携带有种类标签,种类标签用于标识心电记录样本的异常种类。
具体的,将X表示为输入的多导ECG心电记录样本,将C表示为心电异常类别总数(待分类的类别总数)。给定一组训练的多导联心电图记录样本T={Xm;m=1,…,M}(M是训练的心电记录样本的数量),心电记录样本Xm均携带有相应的标签lm,lm∈{1,…,C}。对于第m个训练记录样本Xm,其包括多个心拍信号样本,定义为H(Xm)={xmn;n=1,…,N},xmn代表第m个心电记录样本中的第n个心拍信号样本,本发明实施例中,N=50。
S302、确定心电异常检测模型。
具体的,图2B为本发明实施例二中一种心电异常检测模型的网络架构图,包括第一循环神经网络、第二循环神经网络、卷积神经网络、第三循环神经网络、第四循环神经网络、第五循环神经网络、第六循环神经网络、第七循环神经网络和softmax函数层。
其中,第一循环神经网络和第二循环神经网络通过拼接层(Concatenate)与卷积神经网络全连接。第一循环神经网络和第二循环神经网络分别用于从心拍信号中提取两种不同时间长度的节律信息,拼接层用于将两种不同时间长度的节律信息在时间维度上堆叠,得到时序特征,并传递给卷积神经网络。卷积神经网络从时序特征中提取表示局部的局部特征。第三循环神经网络用于对局部特征做时序编码,得到局部特征的时序编码特征。第四循环神经网络和第五循环神经网络分别用于从心拍信号中提取两种不同的时间长度的第一编码特征。对两种不同的时间长度的第一编码特征求和,得到全局时序权值,将全局时序权值与时序编码特征相乘获得表示全局的全局时序特征。第六循环神经网络和第七循环神经网络分别用于从局部特征中提取两种不同的时间长度的第二编码特征。对两种不同的时间长度的第二编码特征求和,得到局部时序权值,将局部时序权值与全局时序特征相乘,得到局部时序特征。Softmax层用于将局部时序特征映射为0-1之间的实数并输出。
其中,第一循环神经网络和第二循环神经网络分别为具有不同时间长度的BiLSTM,第三循环神经网络为一个编码LSTM,第四循环神经网络和第五循环神经网络分别为具有不同时间长度的LSTM,第六循环神经网络和第七循环神经网络分别为具有不同时间长度的LSTM。卷积神经网络包括卷积块、池化操作层和由多个残差卷积块组成的残差卷积子网络。
S303、将心电信号样本输入心电异常检测模型中进行处理,得到心拍信号样本为各异常种类的概率矩阵。
具体的,心电异常检测模型对心电记录样本中的心拍信号样本的处理过程可以参考本发明实施例二中心电异常检测模型对心电记录中的心拍信号的处理过程,在此不再赘述。
S304、计算每一心拍信号样本的预设邻域内所有心拍信号样本的概率矩阵之和,得到多个中间矩阵。
具体的,计算每一心拍信号样本的预设邻域内所有心拍信号的概率矩阵之和,即将每一心拍信号样本的预设邻域内所有心拍信号的概率矩阵的对应项相加,得到与心拍信号样本数量对应的多个中间矩阵。
S305、将多个中间矩阵中的目标值对应的心拍信号样本关联种类标签,目标值为多个中间矩阵中的最大值。
具体的,在得到与心拍信号样本数量对应的多个中间矩阵之后,从多个中间矩阵确定最大值作为目标值,然后该目标值所在的中间矩阵对应的心拍信号样本标记为与该心电记录样本相同的种类标签。将该心电记录标注为目标值对应的心拍信号的异常种类。
S306、通过损失函数计算将中间矩阵中目标值对应的心拍信号样本关联种类标签的损失值。
具体的,在本发明实施例中,损失函数如下公式所示:
其中,P(lm|X;W)表示心拍信号样本xmn的概率矩阵。W是前述深度神经网络的参数,包括权重向量和偏差向量等。η(xmn)表示xmn预设邻域内的所有心拍信号样本。本发明实施例中,充分利用了多示例包中预设邻域内所有示例的关联性,提高了训练效率。
具体的,首先对目标值取负对数得到第一损失值第一损失值用于表示将一个心电记录样本中目标值对应的心拍信号样本关联种类标签所产生的损失。
接着,对多个心电记录样本(T个)的第一损失值求和,得到第二损失值。
S307、基于损失值更新心电异常检测模型的参数。
具体的,将第二损失值与预设的阈值进行比较,在第二损失值大于阈值时,对心电异常检测模型的参数进行更新,并返回执行S301、获取心电记录样本的步骤;直至第二损失值小于或等于阈值时,确定心电异常检测模型训练完成。
其中,对心电异常检测模型的参数进行更新包括对第一循环神经网络、第二循环神经网络、卷积神经网络、第三循环神经网络、第四循环神经网络、第五循环神经网络、第六循环神经网络、第七循环神经网络的时间长度、卷积核大小等参数进行更新。
本发明实施例提供的心电异常检测模型训练方法,基于多示例学习对心电异常检测模型进行训练,在后续的模型应用中,通过计算每一心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵,并将所述心电记录标注为目标值对应的心拍信号的异常种类,实现记录级别的注释,而非对每一个心拍进行注释,提高了注释效率,节省了时间成本。此外,本发明实施例充分利用了多示例包中预设邻域内所有示例的关联性,提高了训练效率。
实施例四
图4为本发明实施例四提供的一种心电记录标注装置的结构示意图,如图4所示,该心电记录标注装置包括:
心电记录获取模块401,用于获取心电记录,所述心电记录包括多个心拍信号;
模型确定模块402,用于确定心电异常检测模型;
概率矩阵获取模块403,用于将所述心电记录输入所述心电异常检测模型中进行处理,得到所述心拍信号为各异常种类的概率矩阵;
中间矩阵获取模块404,用于计算每一所述心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;
标注模块405,用于将所述心电记录标注为目标值对应的心拍信号的异常种类,所述目标值为多个所述中间矩阵中的最大值。
在本发明的一些实施例中,所述概率矩阵获取模块403包括:
时序特征提取子模块,用于从所述心拍信号中提取时序特征,所述时序特征包括至少两种时间长度的节律信息;
局部特征提取子模块,用于从所述时序特征中提取表示局部信息的局部特征;
时序编码子模块,用于对所述局部特征做时序编码,得到所述局部特征的时序编码特征;
全局时序加权子模块,用于对所述时序编码特征进行全局时序加权处理,得到表示全局时序信息的全局时序特征;
局部时序加权子模块,用于对所述全局时序特征进行局部时序加权处理,得到表示局部时序信息的局部时序特征;
概率矩阵获取子模块,用于基于局部时序特征确定所述心拍信号为各异常种类的概率矩阵。
在本发明的一些实施例中,所述时序特征提取子模块包括:
节律信息获取单元,用于将所述心拍信号分别输入至少两个双向长短期记忆网络进行处理,以获得至少两种不同时间长度的节律信息,所述至少两个双向长短期记忆网络具有不同的时间长度;
堆叠单元,用于将至少两种不同时间长度的节律信息在时间维度上堆叠,得到时序特征。
在本发明的一些实施例中,所述局部特征提取子模块包括:
局部特征提取单元,用于将所述时序特征输入预置的卷积神经网络进行卷积处理,输出所述时序特征的局部特征。
在本发明的一些实施例中,所述卷积神经网络包括卷积块、池化操作层和由多个残差卷积块组成的残差卷积子网络,所述局部特征提取单元包括:
第一特征提取子单元,用于将所述时序特征输入所述卷积块中进行卷积处理,得到第一特征;
第二特征提取子单元,用于将所述时序特征输入所述池化操作层进行池化操作,得到第二特征;
第三特征提取子单元,用于将所述第一特征输入所述残差卷积子网络中进行残差卷积操作,得到第三特征;
局部特征获取子单元,用于将所述第二特征和所述第三特征相加,得到所述时序特征的局部特征。
在本发明的一些实施例中,所述残差卷积子网络包括3个依次连接的残差卷积块,所述第三特征提取子单元包括:
第一子特征提取组件,用于将所述第一特征输入第一残差卷积块进行第一预设次数的卷积操作,得到第一子特征;
第二子特征提取组件,用于将所述第一子特征和所述第一特征输入第二残差卷积块进行第二预设次数的卷积操作,得到第二子特征;
第三子特征提取组件,用于将所述第一子特征和所述第二子特征输入第三残差卷积块进行第三预设次数的卷积操作,得到第三子特征;
第三特征获取组件,用于将所述第三子特征与所述第二子特征进行叠加得到第三特征。
在本发明的一些实施例中,每个所述残差卷积块沿卷积方向依次包括第一卷积层、第一批归一化层、激活函数层、第二卷积层和第二批归一化层。
在本发明的一些实施例中,所述时序编码子模块包括:
时间步配置单元,用于确定所述时序编码的时间步,每一所述局部特征配置一时间步;
局部特征输入单元,用于向每一所述时间步输入一所述局部特征;
时序编码特征生成单元,用于将各所述时间步的局部特征依次传递、融合,得到所述时序编码特征。
在本发明的一些实施例中,所述全局时序加权子模块包括:
第一编码特征提取单元,用于将所述心拍信号分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第一编码特征,两个所述长短期记忆网络具有不同的时间长度;
全局时序权值生成单元,用于对两种不同的时间长度的第一编码特征求和,得到全局时序权值;
全局时序加权单元,用于将所述全局时序权值与所述时序编码特征相乘,得到全局时序特征。
在本发明的一些实施例中,所述局部时序加权子模块包括:
第二编码特征提取单元,用于将所述局部特征分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第二编码特征,两个所述长短期记忆网络具有不同的时间长度;
局部时序权值生成单元,用于对两种不同的时间长度的第二编码特征求和,得到局部时序权值;
局部时序加权单元,用于将所述局部时序权值与所述全局时序特征相乘,得到局部时序特征。
上述心电记录标注装置可执行本发明任意实施例所提供的心电记录标注方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种心电异常检测模型训练装置的结构示意图,如图5所示,该心电异常检测模型训练装置包括:
样本获取模块501,用于获取心电信号样本,所述心电信号样本包括多个心拍信号样本,所述心电信号样本关联种类标签,所述种类标签用于标识所述心电信号样本的异常种类;
模型确定模块502,用于确定心电异常检测模型;
概率矩阵获取模块503,用于将所述心电信号样本输入所述心电异常检测模型中进行处理,得到所述心拍信号样本为各异常种类的概率矩阵;
中间矩阵获取模块504,用于计算每一所述心拍信号样本的预设邻域内所有心拍信号样本的概率矩阵之和,得到多个中间矩阵;
标签关联模块505,用于将多个所述中间矩阵中的目标值对应的心拍信号样本关联所述种类标签,所述目标值为多个所述中间矩阵中的最大值;
损失值计算模块506,用于通过损失函数计算将所述中间矩阵中目标值对应的心拍信号样本关联所述种类标签的损失值;
参数更新模块507,用于基于所述损失值更新所述心电异常检测模型的参数。
在本发明的一些实施例中,所述损失值计算模块506包括:
第一损失值计算单元,用于对所述目标值取负对数得到第一损失值,所述第一损失值用于表示将一个心电记录样本中目标值对应的心拍信号样本关联所述种类标签所产生的损失;
第二损失值计算单元,用于对多个心电记录样本的第一损失值求和,得到第二损失值。
在本发明的一些实施例中,所述参数更新模块507包括:
比较单元,用于将所述第二损失值与预设的阈值进行比较;
参数更新单元,用于在所述第二损失值大于所述阈值时,对所述心电异常检测模型的参数进行更新,返回执行获取心电记录样本的步骤;
训练完成确定单元,用于在所述第二损失值小于或等于所述阈值时,确定所述异常检测模型训练完成。
上述心电异常检测模型训练装置可执行本发明任意实施例所提供的心电异常检测模型训练方法,具备执行方法相应的功能模块和有益效果。
实施例六
本发明实施例六提供了一种计算机设备,图6为本发明实施例六提供的一种计算机设备的结构示意图,如图6所示,该计算机设备包括处理器601、存储器602、通信模块603、输入装置604和输出装置605;计算机设备中处理器601的数量可以是一个或多个,图6中以一个处理器601为例;计算机设备中的处理器601、存储器602、通信模块603、输入装置604和输出装置605可以通过总线或其他方式连接,图6中以通过总线连接为例。上述处理器601、存储器602、通信模块603、输入装置604和输出装置605可以集成在计算机设备的控制主板上。
存储器602作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的心电记录标注方法或心电异常检测模型训练方法对应的模块。处理器601通过运行存储在存储器602中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述实施例提供的心电记录标注方法或心电异常检测模型训练方法。
存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器602可进一步包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块603,用于与外界设备(例如智能终端)建立连接,并实现与外界设备的数据交互。输入装置604可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种计算机设备,可执行本发明上述任意实施例提供的心电记录标注方法或心电异常检测模型训练方法,具体相应的功能和有益效果。
实施例七
本发明实施例七提供了一种包含计算机可执行指令的存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明上述任意实施例提供的心电记录标注方法或心电异常检测模型训练方法。
心电记录标注方法包括:
获取心电记录,所述心电记录包括多个心拍信号;
确定心电异常检测模型;
将所述心电记录输入所述心电异常检测模型中进行处理,得到所述心拍信号为各异常种类的概率矩阵;
计算每一所述心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;
将所述心电记录标注为目标值对应的心拍信号的异常种类,所述目标值为多个所述中间矩阵中的最大值。
心电异常检测模型训练方法包括:
获取心电信号样本,所述心电信号样本包括多个心拍信号样本,所述心电信号样本关联种类标签,所述种类标签用于标识所述心电信号样本的异常种类;
确定心电异常检测模型;
将所述心电信号样本输入所述心电异常检测模型中进行处理,得到所述心拍信号样本为各异常种类的概率矩阵;
计算每一所述心拍信号样本的预设邻域内所有心拍信号样本的概率矩阵之和,得到多个中间矩阵;
将多个所述中间矩阵中的目标值对应的心拍信号样本关联所述种类标签,所述目标值为多个所述中间矩阵中的最大值;
通过损失函数计算将所述中间矩阵中目标值对应的心拍信号样本关联所述种类标签的损失值;
基于所述损失值更新所述心电异常检测模型的参数。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明实施例所提供的心电记录标注方法或心电异常检测模型训练方法中的相关操作。
需要说明的是,对于装置、设备和存储介质实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是机器人,个人计算机,服务器,或者网络设备等)执行本发明任意实施例所述的心电记录标注方法或心电异常检测模型训练方法。
值得注意的是,上述装置中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种心电记录标注方法,其特征在于,包括:
获取心电记录,所述心电记录包括多个心拍信号;
确定心电异常检测模型;
将所述心电记录输入所述心电异常检测模型中进行处理,得到所述心拍信号为各异常种类的概率矩阵;
计算每一所述心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;
将所述心电记录标注为目标值对应的心拍信号的异常种类,所述目标值为多个所述中间矩阵中的最大值;
所述将所述心电记录输入所述心电异常检测模型中进行处理,得到所述心拍信号为各异常种类的概率矩阵,包括:
从所述心拍信号中提取时序特征,所述时序特征包括至少两种时间长度的节律信息;
从所述时序特征中提取表示局部信息的局部特征;
对所述局部特征做时序编码,得到所述局部特征的时序编码特征;
对所述时序编码特征进行全局时序加权处理,得到表示全局时序信息的全局时序特征;
对所述全局时序特征进行局部时序加权处理,得到表示局部时序信息的局部时序特征;
基于局部时序特征确定所述心拍信号为各异常种类的概率矩阵。
2.根据权利要求1所述的心电记录标注方法,其特征在于,所述从所述心拍信号中提取时序特征,包括:
将所述心拍信号分别输入至少两个双向长短期记忆网络进行处理,以获得至少两种不同时间长度的节律信息,所述至少两个双向长短期记忆网络具有不同的时间长度;
将至少两种不同时间长度的节律信息在时间维度上堆叠,得到时序特征。
3.根据权利要求1所述的心电记录标注方法,其特征在于,所述从所述时序特征中提取表示局部信息的局部特征,包括:
将所述时序特征输入预置的卷积神经网络进行卷积处理,输出所述时序特征的局部特征。
4.根据权利要求3所述的心电记录标注方法,其特征在于,所述卷积神经网络包括卷积块、池化操作层和由多个残差卷积块组成的残差卷积子网络,所述将所述时序特征输入预置的卷积神经网络进行卷积处理,输出所述时序特征的局部特征,包括:
将所述时序特征输入所述卷积块中进行卷积处理,得到第一特征;
将所述时序特征输入所述池化操作层进行池化操作,得到第二特征;
将所述第一特征输入所述残差卷积子网络中进行残差卷积操作,得到第三特征;
将所述第二特征和所述第三特征相加,得到所述时序特征的局部特征。
5.根据权利要求4所述的心电记录标注方法,其特征在于,所述残差卷积子网络包括3个依次连接的残差卷积块,所述将所述第一特征输入所述残差卷积子网络中进行残差卷积操作,得到第三特征,包括:
将所述第一特征输入第一残差卷积块进行第一预设次数的卷积操作,得到第一子特征;
将所述第一子特征和所述第一特征输入第二残差卷积块进行第二预设次数的卷积操作,得到第二子特征;
将所述第一子特征和所述第二子特征输入第三残差卷积块进行第三预设次数的卷积操作,得到第三子特征;
将所述第三子特征与所述第二子特征进行叠加得到第三特征。
6.根据权利要求5所述的心电记录标注方法,其特征在于,每个所述残差卷积块沿卷积方向依次包括第一卷积层、第一批归一化层、激活函数层、第二卷积层和第二批归一化层。
7.根据权利要求1-6任一所述的心电记录标注方法,其特征在于,所述对所述局部特征做时序编码,得到所述局部特征的时序编码特征,包括:
确定所述时序编码的时间步,每一所述局部特征配置一时间步;
向每一所述时间步输入一所述局部特征;
将各所述时间步的局部特征依次传递、融合,得到所述时序编码特征。
8.根据权利要求7所述的心电记录标注方法,其特征在于,所述对所述时序编码特征进行全局时序加权处理,得到表示全局时序信息的全局时序特征,包括:
将所述心拍信号分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第一编码特征,两个所述长短期记忆网络具有不同的时间长度;
对两种不同的时间长度的第一编码特征求和,得到全局时序权值;
将所述全局时序权值与所述时序编码特征相乘,得到全局时序特征。
9.根据权利要求1-6任一所述的心电记录标注方法,其特征在于,所述对所述全局时序特征进行局部时序加权处理,得到表示局部时序信息的局部时序特征,包括:
将所述局部特征分别输入两个长短期记忆网络中进行处理,以得到两种不同的时间长度的第二编码特征,两个所述长短期记忆网络具有不同的时间长度;
对两种不同的时间长度的第二编码特征求和,得到局部时序权值;
将所述局部时序权值与所述全局时序特征相乘,得到局部时序特征。
10.一种心电异常检测模型训练方法,其特征在于,包括:
获取心电信号样本,所述心电信号样本包括多个心拍信号样本,所述心电信号样本关联种类标签,所述种类标签用于标识所述心电信号样本的异常种类;
确定心电异常检测模型;
将所述心电信号样本输入所述心电异常检测模型中进行处理,得到所述心拍信号样本为各异常种类的概率矩阵;
计算每一所述心拍信号样本的预设邻域内所有心拍信号样本的概率矩阵之和,得到多个中间矩阵;
将多个所述中间矩阵中的目标值对应的心拍信号样本关联所述种类标签,所述目标值为多个所述中间矩阵中的最大值;
通过损失函数计算将所述中间矩阵中目标值对应的心拍信号样本关联所述种类标签的损失值;
基于所述损失值更新所述心电异常检测模型的参数;
所述通过损失函数计算将所述中间矩阵中目标值对应的心拍信号样本关联所述种类标签的损失值,包括:
对所述目标值取负对数得到第一损失值,所述第一损失值用于表示将一个心电记录样本中目标值对应的心拍信号样本关联所述种类标签所产生的损失;
对多个心电记录样本的第一损失值求和,得到第二损失值。
11.根据权利要求10所述的心电异常检测模型训练方法,其特征在于,所述基于所述损失值更新所述心电异常检测模型的参数,包括:
将所述第二损失值与预设的阈值进行比较;
在所述第二损失值大于所述阈值时,对所述心电异常检测模型的参数进行更新,返回执行获取心电记录样本的步骤;
在所述第二损失值小于或等于所述阈值时,确定所述异常检测模型训练完成。
12.一种心电记录标注装置,其特征在于,包括:
心电记录获取模块,用于获取心电记录,所述心电记录包括多个心拍信号;
模型确定模块,用于确定心电异常检测模型;
概率矩阵获取模块,用于将所述心电记录输入所述心电异常检测模型中进行处理,得到所述心拍信号为各异常种类的概率矩阵;
中间矩阵获取模块,用于计算每一所述心拍信号的预设邻域内所有心拍信号的概率矩阵之和,得到多个中间矩阵;
标注模块,用于将所述心电记录标注为目标值对应的心拍信号的异常种类,所述目标值为多个所述中间矩阵中的最大值;
所述概率矩阵获取模块,包括:
时序特征提取子模块,用于从所述心拍信号中提取时序特征,所述时序特征包括至少两种时间长度的节律信息;
局部特征提取子模块,用于从所述时序特征中提取表示局部信息的局部特征;
时序编码子模块,用于对所述局部特征做时序编码,得到所述局部特征的时序编码特征;
全局时序加权子模块,用于对所述时序编码特征进行全局时序加权处理,得到表示全局时序信息的全局时序特征;
局部时序加权子模块,用于对所述全局时序特征进行局部时序加权处理,得到表示局部时序信息的局部时序特征;
概率矩阵获取子模块,用于基于局部时序特征确定所述心拍信号为各异常种类的概率矩阵。
13.一种心电异常检测模型训练装置,其特征在于,包括:
样本获取模块,用于获取心电信号样本,所述心电信号样本包括多个心拍信号样本,所述心电信号样本关联种类标签,所述种类标签用于标识所述心电信号样本的异常种类;
模型确定模块,用于确定心电异常检测模型;
概率矩阵获取模块,用于将所述心电信号样本输入所述心电异常检测模型中进行处理,得到所述心拍信号样本为各异常种类的概率矩阵;
中间矩阵获取模块,用于计算每一所述心拍信号样本的预设邻域内所有心拍信号样本的概率矩阵之和,得到多个中间矩阵;
标签关联模块,用于将多个所述中间矩阵中的目标值对应的心拍信号样本关联所述种类标签,所述目标值为多个所述中间矩阵中的最大值;
损失值计算模块,用于通过损失函数计算将所述中间矩阵中目标值对应的心拍信号样本关联所述种类标签的损失值;
参数更新模块,用于基于所述损失值更新所述心电异常检测模型的参数;
所述损失值计算模块,包括:
第一损失值计算单元,用于对所述目标值取负对数得到第一损失值,所述第一损失值用于表示将一个心电记录样本中目标值对应的心拍信号样本关联所述种类标签所产生的损失;
第二损失值计算单元,用于对多个心电记录样本的第一损失值求和,得到第二损失值。
14.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的心电记录标注方法,或实现如权利要求10-11中任一所述的心电异常检测模型训练方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的心电记录标注方法,或实现如权利要求10-11中任一所述的心电异常检测模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010837880.3A CN111956207B (zh) | 2020-08-19 | 2020-08-19 | 一种心电记录标注方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010837880.3A CN111956207B (zh) | 2020-08-19 | 2020-08-19 | 一种心电记录标注方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111956207A CN111956207A (zh) | 2020-11-20 |
CN111956207B true CN111956207B (zh) | 2024-02-20 |
Family
ID=73389007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010837880.3A Active CN111956207B (zh) | 2020-08-19 | 2020-08-19 | 一种心电记录标注方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111956207B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109620205A (zh) * | 2018-12-26 | 2019-04-16 | 上海联影智能医疗科技有限公司 | 心电数据分类方法、装置、计算机设备和存储介质 |
CN109948396A (zh) * | 2017-12-20 | 2019-06-28 | 深圳市理邦精密仪器股份有限公司 | 一种心拍分类方法、心拍分类装置及电子设备 |
CN110522440A (zh) * | 2019-08-12 | 2019-12-03 | 广州视源电子科技股份有限公司 | 基于分组卷积神经网络的心电信号识别装置 |
CN110720894A (zh) * | 2019-11-08 | 2020-01-24 | 广州视源电子科技股份有限公司 | 一种心房扑动的检测方法、装置、设备及存储介质 |
CN111358459A (zh) * | 2020-02-11 | 2020-07-03 | 广州视源电子科技股份有限公司 | 一种心律失常识别方法、装置、设备和存储介质 |
-
2020
- 2020-08-19 CN CN202010837880.3A patent/CN111956207B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948396A (zh) * | 2017-12-20 | 2019-06-28 | 深圳市理邦精密仪器股份有限公司 | 一种心拍分类方法、心拍分类装置及电子设备 |
CN109620205A (zh) * | 2018-12-26 | 2019-04-16 | 上海联影智能医疗科技有限公司 | 心电数据分类方法、装置、计算机设备和存储介质 |
CN110522440A (zh) * | 2019-08-12 | 2019-12-03 | 广州视源电子科技股份有限公司 | 基于分组卷积神经网络的心电信号识别装置 |
CN110720894A (zh) * | 2019-11-08 | 2020-01-24 | 广州视源电子科技股份有限公司 | 一种心房扑动的检测方法、装置、设备及存储介质 |
CN111358459A (zh) * | 2020-02-11 | 2020-07-03 | 广州视源电子科技股份有限公司 | 一种心律失常识别方法、装置、设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
基于可穿戴设备的心电图自适应分类算法研究;樊敏 等;《计算机科学》;第46卷(第12期);第293-295 页第3.1-4.1 节 * |
Also Published As
Publication number | Publication date |
---|---|
CN111956207A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10758139B2 (en) | Automatic method to delineate or categorize an electrocardiogram | |
CN111631705A (zh) | 心电异常检测方法、模型训练方法、装置、设备及介质 | |
CN110720894B (zh) | 一种心房扑动的检测方法、装置、设备及存储介质 | |
JP2020528336A (ja) | 心電信号の検出 | |
CN112603330B (zh) | 心电信号识别分类方法 | |
Wu et al. | A novel features learning method for ECG arrhythmias using deep belief networks | |
Zhou et al. | ECG quality assessment using 1D-convolutional neural network | |
CN110638430A (zh) | 多任务级联神经网络ecg信号心律失常疾病分类模型和方法 | |
Al Rahhal et al. | Automatic premature ventricular contractions detection for multi-lead electrocardiogram signal | |
CN115470832A (zh) | 一种基于区块链的心电信号数据处理方法 | |
Zhou et al. | Premature ventricular contraction detection from ambulatory ECG using recurrent neural networks | |
Liu et al. | A novel P-QRS-T wave localization method in ECG signals based on hybrid neural networks | |
Shukri et al. | Investigation on Elman neural network for detection of cardiomyopathy | |
Lei et al. | AFC-ECG: An adaptive fuzzy ECG classifier | |
Rahuja et al. | A deep neural network approach to automatic multi-class classification of electrocardiogram signals | |
Lee | Development of ventricular fibrillation diagnosis method based on neuro-fuzzy systems for automated external defibrillators | |
Upasani et al. | Automated ECG Diagnosis | |
CN111956207B (zh) | 一种心电记录标注方法、装置、设备及存储介质 | |
CN110786847B (zh) | 心电信号的建库方法和分析方法 | |
CN111839502B (zh) | 一种心电数据异常检测方法、装置、设备及存储介质 | |
Kumar et al. | Classification of ECG cardiac arrhythmias using bijective soft set | |
CN115607167A (zh) | 一种轻量化的模型训练方法、房颤检测方法、装置及系统 | |
Tanantong et al. | Towards continuous electrocardiogram monitoring based on rules and ontologies | |
CN115316996A (zh) | 心律异常识别模型训练方法、装置、设备及存储介质 | |
Bengherbia et al. | Real-time smart system for ecg monitoring using a one-dimensional convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |