CN110720894B - 一种心房扑动的检测方法、装置、设备及存储介质 - Google Patents
一种心房扑动的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110720894B CN110720894B CN201911090068.2A CN201911090068A CN110720894B CN 110720894 B CN110720894 B CN 110720894B CN 201911090068 A CN201911090068 A CN 201911090068A CN 110720894 B CN110720894 B CN 110720894B
- Authority
- CN
- China
- Prior art keywords
- time sequence
- characteristic
- coding
- feature
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种心房扑动的检测方法、装置、设备及存储介质。方法包括:获取心拍信号,心拍信号用于检测心房扑动;从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征,增加了心拍特征丰富度;从心拍特征中提取表示局部的第一时序特征,能够增强有效特征的表达;对第一时序特征加权处理,获得表示全局的第二时序特征,增加全局时序信息对检测结果的影响;基于第二时序特征,从心拍信号确定心房扑动的检测结果。本发明实施例能够提高心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
Description
技术领域
本发明实施例涉及心电检测技术领域,尤其涉及一种心房扑动的检测方法、装置、设备及存储介质。
背景技术
心房扑动是一种可能危及生命的心律失常疾病,由于越来越多的侵入性心脏手术,包括用于治疗房颤的手术,非典型性、术后瘢痕相关形式的心房扑动的发生率正在增加。
在心房扑动的检测中,心房无效收缩导致P波消失,取而代之产生的心房扑动波是诊断心房扑动的关键特征。但实际的心房扑动波信号形态多样,心房扑动与窦性心动过速、其他心房再入性心动过速以及房颤的区分较为复杂,难以在心拍信号上有效提取诊断信息,容易出现诊断结果出错的情况。
发明内容
本发明提供一种心房扑动的检测方法、装置、设备及存储介质,以提高心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
第一方面,本发明实施例提供了一种心房扑动的检测方法,该方法包括:
获取心拍信号,所述心拍信号用于检测心房扑动;
从所述心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征;
从所述心拍特征中提取表示局部的第一时序特征;
对所述第一时序特征加权处理,获得表示全局的第二时序特征;
基于所述第二时序特征,从所述心拍信号确定心房扑动的检测结果。
第二方面,本发明实施例还提供了一种心房扑动的检测装置,该装置包括:
心拍信号获取模块,用于获取心拍信号,所述心拍信号用于检测心房扑动;
心拍特征提取模块,用于从所述心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征;
第一时序特征提取模块,用于从所述心拍特征中提取表示局部的第一时序特征;
第二时序特征确定模块,用于对所述第一时序特征加权处理,获得表示全局的第二时序特征;
检测结果确定模块,用于基于所述第二时序特征,从所述心拍信号确定心房扑动的检测结果。
第三方面,本发明实施例还提供了一种计算机设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明第一方面提供的心房扑动的检测方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明第一方面提供的心房扑动的检测方法。
本发明实施例提供的心房扑动的检测方法,通过从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征,增加了心拍特征丰富度;从心拍特征中提取表示局部的第一时序特征,能够增强有效特征的表达;对第一时序特征加权处理,增加全局时序信息对检测结果的影响,获得表示全局的第二时序特征;基于第二时序特征,从心拍信号确定心房扑动的检测结果。本发明实施例能够提高心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
附图说明
图1A为本发明实施例一提供的一种心房扑动的检测方法的流程图;
图1B为本发明实施例一提供的一个心拍的结构图;
图2A是本发明实施例二提供的一种心房扑动的检测方法的流程图;
图2B为本发明实施例二中卷积神经网络的结构示意图;
图2C为本发明实施例二中第一降采样层的结构示意图;
图2D为本发明实施例二中第二降采样层的结构示意图;
图3为本发明实施例三提供的心房扑动的检测装置的结构示意图;
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种心房扑动的检测方法的流程图,本实施例可适用于从心拍信号中确定心房扑动的情况,该方法可以由本发明实施例提供的心房扑动的检测装置来执行,该装置可以由软件和/或硬件的方式实现,通常配置于计算机设备中。如图1A所示,该方法具体包括如下步骤:
S101、获取心拍信号,心拍信号用于检测心房扑动。
心脏是人体血液循环的动力装置。正是由于心脏自动不断地进行有节奏的收缩和舒张活动,才使得血液在封闭的循环系统中不停地流动,使生命得以维持。心脏在搏动前后,心肌发生激动。在激动过程中,会产生微弱的生物电流。这样,心脏的每一个心动周期均伴随着生物电变化。这种生物电变化可传达到身体表面的各个部位。由于身体各部分组织不同,距心脏的距离不同,心电信号在身体不同的部位所表现出的电位也不同。对正常心脏来说,这种生物电变化的方向、频率、强度是有规律的。若通过电极将体表不同部位的电信号检测出来,再用放大器加以放大,并用记录器描记下来,就可得到心电图。
心电图是心脏在每个心动周期中,由起搏点、心房、心室相继兴奋,伴随着生物电的变化,通过心电描记器从体表引出多种形式的电位变化的图形。由于心脏的每次跳动是有规律的,因此心电图中的波形图也是有规律的。心电图中可以完整代表心脏一次心动周期的波形图被称为一个心拍信号。具体的,可以从用户的体检结果中的心电图信号中提取心拍信号。
图1B为本发明实施例一提供的一个心拍的结构图,参考图1B可见,一个心拍包括P波、Q波、R波、S波、T波和U波。通过检测P波、Q波、R波、S波、T波和U波中的一个或多个波的特征,可以在心电图中确定心拍信号。S102、从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征。
节律信息用于表示心拍信号的规律,是通过时域对心拍进行的描述。示例性的,在本发明实施例中,从心拍信号中提取两种不同时间长度的节律信息,两种不同时间长度的节律信息可以分别表示长片段的节律信息和短片段的节律信息;将两种不同时间长度的节律信息作为心拍特征。本发明实施例通过从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征,增加了心拍特征丰富度,可以提高后续心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
S103、从心拍特征中提取表示局部的第一时序特征。
示例性的,从心拍特征中提取出心拍特征的局部特征,将该局部特征作为第一时序特征。局部特征能够增强有效特征的表达,可以提高后续心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
S104、对第一时序特征加权处理,获得表示全局的第二时序特征。
示例性的,对第一时序特征配置全局权重,对第一时序特征增加整个心拍信号的时序信息,即全局时序信息对检测结果的影响,能够提高后续心房扑动检测结果的准确性,避免出现诊断结果出错的情况。
S105、基于第二时序特征,从心拍信号确定心房扑动的检测结果。
示例性的,将第二时序特征作为输入,输入至预先训练好的分类模型中,具体的,在训练好的分类模型中,分类模型包括softmax函数。在机器学习尤其是深度学习中,softmax是个非常常用而且比较重要的函数,尤其在多分类的场景中使用广泛。在本发明实施例中,softmax函数把输入的第二时序特征映射为0-1之间的实数并输出,并且归一化保证和为1,即输出各分类的概率。示例性的,softmax函数如下:
在本发明实施例中,各分类可以包括心房扑动、心房颤动以及心房窦性心动过速等。在心房扑动的概率最大时,确定心拍信号中存在心房扑动。示例性的,softmax函数输出的结果为:心房扑动-0.8,心房颤动-0.12,心房窦性心动过速-0.08,则确定心拍信号中存在心房扑动。
本发明实施例提供的心房扑动的检测方法,通过从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征,增加了心拍特征丰富度;从心拍特征中提取表示局部的第一时序特征,能够增强有效特征的表达;对第一时序特征加权处理,增加全局时序信息对检测结果的影响,获得表示全局的第二时序特征;基于第二时序特征,从心拍信号确定心房扑动的检测结果。本发明实施例能够提高心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
实施例二
本发明实施例二提供了一种心房扑动的检测方法,图2A是本发明实施例二提供的一种心房扑动的检测方法的流程图,本实施例在上述实施例一的基础上进行细化,详细描述了从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征,以及从心拍特征中提取表示局部的第一时序特征的具体过程,如图2A所示,该方法包括:
S201、获取心拍信号,心拍信号用于检测心房扑动。
示例性的,在本发明的一些实施例中,步骤S201可以包括如下步骤:
获取心电图信号。心电图信号可以来自体检结果,通过电极将体表不同部位的电信号检测出来,再用放大器加以放大,并用记录器描记下来。示例性的,该心电图信号可以是单导联心电图信号,或者多导联心电图信号,单导联电图信号即采集身体一个部位的电信号得到的心电图信号,多导联心电图信号即为采集身体多个部位的电信号得到的心电图信号。本发明实施例对心电图信号的类型不做限定。
心电图信号是在体表由电极测的的低幅低频微弱生理电信号,其幅度通常在0.1mv-5mv之间,能量集中在0.5Hz-40Hz范围内,非常容易受到环境的影响,心电图机通过电极直接采集和记录的心电信号经常会受到各种噪声干扰,常见的干扰有肌电干扰、基线漂移和工频干扰等。如果直接用这些原始信号去做心电图分类,会因为噪声的存在,降低分类的准确率。所以在对心电图信号进行处理前,一般需要对原始信号先进行滤波操作。本发明实施例中,对心电图信号进行滤波,得到第一信号。具体的,通过截止频率0.5Hz,30Hz,40阶的带通滤波器对心电图信号进行滤波处理,去除低频噪声和工频噪声的干扰,得到第一信号。
对第一信号重采样,得到预设采样频率(例如250Hz)的第二信号。
将第二信号切割为预设长度(例如10s)的多个第三信号。
对第三信号归一化处理,得到心拍信号。具体的,采用z-score归一化将每个10秒片段处理成“零均值,一方差”的心拍信号,z-score的具体公式如下所示:
其中,μ为均值,σ为标准差。
需要说明的是,本发明实施例中,可以预先对分类模型、循环神经网络和卷积神经网络进行训练,具体的,训练用数据可从其它相应体检结果中获取,也可以选择从现有的数据库例如从欧共体心电图波形数据库(CSE)中获取。
S202、从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征。
示例性的,在本发明实施例中,从心拍信号中提取两种不同时间长度的节律信息,两种不同时间长度的节律信息可以分别表示长片段的节律信息和短片段的节律信息;将两种不同时间长度的节律信息作为心拍特征。
示例性的,步骤S202可以包括如下步骤:
S2021、将心拍信号分别输入至少两个不同特征长度的循环神经网络,以获得至少两种不同时间长度的节律信息。
示例性的,本实施例以两种不同特征长度的循环神经网络为例进行说明。两种不同特征长度的循环神经网络可以是两个不同特征长度的长短期记忆网络(Long Short-Term Memory,LSTM),LSTM一种时间循环神经网络,是为了解决一般的循环神经网络(Recurrent Neural Network,RNN)存在的长期依赖问题而专门设计出来的。本实施例中,其中,第一个LSTM的特征长度可以是1s,第二个LSTM的特征长度为0.5s。第一个LSTM以1秒的特征长度获取长片段(如心拍)的节律信息,第二个LSTM以0.5秒的特征长度获取短片段(如心房扑动)的节律信息。
S2022、将至少两种不同时间长度的节律信息在时间维度上堆叠,得到心拍特征。
示例性的,将两个不同特征长度的LSTM提取的节律信息在时间维度上堆叠,获得心拍特征。
表1为本发明实施例中两种不同特征长度的LSTM的参数设置表。
表1
如表1所示,第一个LSTM的卷积核(Feature size)大小为20,时间步(Time steps)数为125,输出大小(Output size)为20*125的矩阵作为节律信息;第一个LSTM的卷积核大小为10,时间步(Time steps)数为250,输出大小为10*125的矩阵作为节律信息。其中,LSTM的特征长度即为每个时间步的长度。在获得两种不同的LSTM输出的节律信息后,通过一个拼接层(Concatenate)将两个不同特征长度的LSTM提取的节律信息联合,实现在时间维度上堆叠,即将表示两个节律信息的两个矩阵进行堆叠,输出30*125的矩阵作为心拍特征。拼接层的联合操作是网络结构设计中很重要的一种操作,经常用于将多个特征联合,多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。
需要说明的是,上述实施例中以采用LSTM作为示例对提取心拍特征进行说明,在本发明其他实施例中,也可以采用其他的循环神经网络,例如双向LSTM(Bi-directionalLong Short-Term Memory,BiLSTM),BiLSTM是由前向LSTM与后向LSTM组合而成;时间卷积网络(Temporal Convolutional Network,TCN),时间卷积网络是一种能够处理时间序列数据的网络结构。本发明实施例对循环神经网络的类型不做限定。
S203、从心拍特征中提取表示局部的第一时序特征。
示例性的,从心拍特征中提取出心拍特征的局部特征,将该局部特征作为第一时序特征。局部特征能够增强有效特征的表达,可以提高后续心房扑动的检测效率和检测结果的准确性。
示例性的,步骤S203可以包括如下步骤:
S2031、将心拍特征输入预置的卷积神经网络进行处理,输出心拍特征的局部特征作为第一时序特征。
示例性的,将心拍特征输入预置的卷积神经网络,利用卷积核的局部感知作用,提取片段的局部特征作为第一时序特征,进而增强有效特征的表达,提高后续心房扑动的检测效率和检测结果的准确性。
具体的,图2B为本发明实施例二中卷积神经网络的结构示意图,表2为本发明实施例二中卷积神经网络的参数设置表。
表2
Layer | Type | Kernel size | Filters | Output size | Input layer |
1 | 一维卷积 | 16 | 24 | 24*110 | / |
2 | 降采样模块 | 16 | 24 | 24*55 | 1 |
3 | 一维卷积 | 16 | 48 | 48*40 | 2 |
4 | 降采样模块 | 3 | 48 | 48*20 | 3 |
如图2B所示,卷积神经网络包括拼接层21、第一卷积层22、第一降采样层23、第二卷积层24和第二降采样层25。将心拍特征输入预置的卷积神经网络进行处理,输出心拍特征的局部特征作为第一时序特征。具体的,卷积神经网络的处理过程如下:
在拼接层21中对心拍特征进行联合,具体的该拼接层21与步骤S2022中的拼接层可以是同一层。
在第一卷积层22中对心拍特征进行卷积操作,获得第一中间特征。具体的,如表2所示,第一卷积层22为一维卷积层,卷积核(Kernel size)的大小为16,滤波器(Filters)即卷积核的数量为24,第一卷积层22对心拍特征进行卷积操作,输出大小(Output size)为24*110的矩阵作为第一中间特征。
在第一降采样层23对第一中间特征进行降采样操作,获得第二中间特征。具体的,如表2所示,第一降采样层23的卷积核的大小为16,滤波器的数量为24,第一降采样层23对第一中间特征进行降采样操作,输出大小为24*55的矩阵作为第二中间特征。
具体的,图2C为本发明实施例二中第一降采样层的结构示意图,如图2C所示,第一降采样层23包括输入层(Input Layer)231、第三卷积层(Convolutional Layer)232、规范化层(Batch Normalization Layer)233、丢弃层(Dropout Layer)234、第四卷积层(Convolutional Layer)235、第一池化操作层(Max-pooling Layer)236和输出层(OutputLayer)237。两个卷积层的卷积核尺寸一样,但第三卷积层232的卷积核的步长为1,第四卷积层235的卷积核的步长为2,从而实现降采样。第一降采样层23的降采样操作具体过程如下:
输入层231接收第一卷积层22输出的第一中间特征,并传送给第三卷积层232,在第三卷积层232中对第一中间特征进行正则化的卷积操作,获得第一子中间特征。
规范化层233对第一子中间特征进行规范化操作,获得第二子中间特征。在神经网络中有层的概念,每一层都有输入,每一层的输入是上一层的输出,而输出是经过非线性函数的,非线性函数的取值都有特定的区间,这就和原始的输入在数据分布上存在很大不同,Batch Normalization就是在深度神经网络中使得每一层神经网络的输入保持相同分布。Batch Normalization不仅仅极大提升了训练速度,收敛过程大大加快,还能防止过拟合,降低Dropout的使用,增加分类效果。
丢弃层234随机丢弃第二子中间特征,获得第三子中间特征。具体的,Dropout层是神经网络中有着特征功能的层,主要针对过拟合问题。Dropout层从一些层中随机丢弃掉一些激活神经元。这样的目的主要是强制增加网络的冗余性,也就是说使得模型能够在一些激活神经元丢失的情况下仍然保持分类的正确性。从而使得模型不会对训练数据过于拟合,减少过拟合问题。
在第四卷积层235中对第三子中间特征进行正则化的卷积操作,获得第四子中间特征。
在第一池化操作层236中对第一中间特征进行最大池化操作,获得第五子中间特征。具体的,第一池化操作层236与输入输入层231连接,第一池化操作层236的步长为2,用于接收输入层231输入的第一中间特征。池化是为了减少训练参数的数量,降低卷积层输出的特征向量的维度,减小过拟合现象,只保留最有用的特征信息,减少噪声的传递。最大池化操作即选取指定区域内最大的一个数来代表整片区域。将第四子中间特征与第五子中间特征相加,获得第二中间特征,并由输出层237输出。
在第二卷积层24对第二中间特征进行卷积操作,获得第三中间特征。具体的,如表2所示,第二卷积层24为一维卷积层,卷积核的大小为16,滤波器即卷积核的数量为48,第二卷积层24对第二中间特征进行卷积操作,输出大小为48*40的矩阵作为第三中间特征。
在第二降采样层25对第三中间特征进行降采样操作,获得第一时序特征。具体的,如表2所示,第二降采样层25的卷积核的大小为3,滤波器的数量为48,第二降采样层25对第三中间特征进行降采样操作,输出大小为48*20的矩阵作为第一时序特征。
具体的,图2D为本发明实施例二中第二降采样层的结构示意图,如图2D所示,第二降采样层25包括输入层(Input Layer)251、第五卷积层(Convolutional Layer)252、规范化层(Batch Normalization Layer)253、丢弃层(Dropout Layer)254、第六卷积层(Convolutional Layer)255、第二池化操作层(Max-pooling Layer)256和输出层(OutputLayer)257。两个卷积层的卷积核尺寸一样,但第五卷积层252的卷积核的步长为1,第六卷积层255的卷积核的步长为2,从而实现降采样。第二降采样层25的降采样操作具体过程如下:
输入层251接收第二卷积层24输出的第三中间特征,并传送给第五卷积层252,在第五卷积层252中对第三中间特征进行正则化的卷积操作,获得第六子中间特征。
规范化层253对第六子中间特征进行规范化操作,获得第七子中间特征。BatchNormalization就是在深度神经网络中使得每一层神经网络的输入保持相同分布。BatchNormalization不仅仅极大提升了训练速度,收敛过程大大加快,还能防止过拟合,降低Dropout的使用,增加分类效果。
丢弃层254随机丢弃第七子中间特征,获得第八子中间特征。具体的,Dropout层是神经网络中有着特征功能的层,主要针对过拟合问题。Dropout层从一些层中随机丢弃掉一些激活神经元。这样的目的主要是强制增加网络的冗余性,也就是说使得模型能够在一些激活神经元丢失的情况下仍然保持分类的正确性。从而使得模型不会对训练数据过于拟合,减少过拟合问题。
在第六卷积层255中对第八子中间特征进行正则化的卷积操作,获得第四九中间特征。
在第二池化操作层256中对第三中间特征进行最大池化操作,获得第十子中间特征。具体的,第二池化操作层256与输入输入层251连接,第二池化操作层256的步长为2,用于接收输入层251输入的第三中间特征。池化是为了减少训练参数的数量,降低卷积层输出的特征向量的维度,减小过拟合现象,只保留最有用的特征信息,减少噪声的传递。最大池化操作即选取指定区域内最大的一个数来代表整片区域。
将第九子中间特征与第十子中间特征相加,获得第一时序特征,并由输出层257输出。
需要说明的是,上述提取心拍特征中的第一时序特征所采用的卷积神经网络可以是ResNet网络结构、VGG网络结构、Inception网络结构等,本发明实施例在此不做限定。
S204、对第一时序特征加权处理,获得表示全局的第二时序特征。
示例性的,对第一时序特征配置全局权重,对第一时序特征增加整个心拍信号的时序信息,即全局时序信息对检测结果的影响,能够提高后续心房扑动检测结果的准确性。
示例性的,步骤S204可以包括如下步骤:
S2041、对第一时序特征进行时序编码,得到第一编码特征。
具体的,将第一时序特征的数量作为时序编码的时间步的步数。示例性的,将第一时序特征输入一个编码LSTM中,利用该编码LSTM对第一时序特征做时序编码,得到第一编码特征。表3为本发明实施例二提供的编码LSTM的参数设置表。
表3
Layer | Type | Feature size | Time steps | Output size | Input layer |
1 | 编码LSTM | 20 | 48 | 1*20 | / |
向每一时间步输入一第一时序特征。具体的,该编码LSTM的卷积核(Featuresize)大小为20,时间步(Time steps)数为48,向每一时间步输入一第一时序特征,通过该编码LSTM将各时间步的第一时序特征传递和融合,取最后一个时间步的输出的1*20矩阵作为第一编码特征。
S2042、对第一编码特征配置全局权值,获得表示全局的第二时序特征。
示例性的,将步骤S201中得到的心拍信号分别输入两个不同特征长度的循环神经网络,以得到两种不同的时间长度的第二编码特征。该两个循环神经网络可以是编码LSTM,该两个不同特征长度的LSTM可称为全局权值编码LSTM。
表4为全局权值编码LSTM的参数设置表。
表4
Layer | Type | Feature size | Time steps | Output size | Input layer |
1 | LSTM-W-1 | 20 | 125 | 1*20 | 0 |
2 | LSTM-W-2 | 10 | 250 | 1*20 | 0 |
如表4所示,两个编码LSTM分别为LSTM-W-1和LSTM-W-2,LSTM-W-1的卷积核(Feature size)大小为20,时间步(Time steps)数为125,输出大小(Output size)为1*20的矩阵作为一个第二编码特征,LSTM-W-2的卷积核(Feature size)大小为10,时间步(Timesteps)数为250,输出大小(Output size)为1*20的矩阵作为另一个第二编码特征。
对两种不同的时间长度的第二编码特征求和,即将两个1*20的矩阵相加,得到全局权值。
将全局权值与第一编码特征相乘,即将用于表示全局权值的矩阵与用于表示第一编码特征的矩阵相乘,获得表示全局的第二时序特征。
S205、基于第二时序特征,从心拍信号确定心房扑动的检测结果。
本发明实施例提供的心房扑动的检测方法,通过从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征,增加了心拍特征丰富度;从心拍特征中提取表示局部的第一时序特征,能够增强有效特征的表达;对第一时序特征加权处理,增加全局时序信息对检测结果的影响,获得表示全局的第二时序特征;基于第二时序特征,从心拍信号确定心房扑动的检测结果。本发明实施例能够提高心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
实施例三
本发明实施例三提供了一种心房扑动的检测装置,图3为本发明实施例三提供的心房扑动的检测装置的结构示意图,如图3所示,该心房扑动的检测装置包括:
心拍信号获取模块301,用于获取心拍信号,所述心拍信号用于检测心房扑动;
心拍特征提取模块302,用于从所述心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征;
第一时序特征提取模块303,用于从所述心拍特征中提取表示局部的第一时序特征;
第二时序特征确定模块304,用于对所述第一时序特征加权处理,获得表示全局的第二时序特征;
检测结果确定模块305,用于基于所述第二时序特征,从所述心拍信号确定心房扑动的检测结果。
在本发明一些实施例中,心拍特征提取模块302包括:
节律信息提取单元,用于将所述心拍信号分别输入至少两个不同特征长度的循环神经网络,以获得至少两种不同时间长度的节律信息;
堆叠单元,用于将至少两种不同时间长度的节律信息在时间维度上堆叠,得到心拍特征。
在本发明一些实施例中,第一时序特征提取模块303包括:
局部特征提取单元,用于将所述心拍特征输入预置的卷积神经网络进行处理,输出所述心拍特征的局部特征作为第一时序特征。
在本发明一些实施例中,所述卷积神经网络包括拼接层、第一卷积层、第一降采样层和第二卷积层,局部特征提取单元还用于:
在所述拼接层中对所述心拍特征进行联合;
在所述第一卷积层中对所述心拍特征进行卷积操作,获得第一中间特征;
在所述第一降采样层对所述第一中间特征进行降采样操作,获得第二中间特征;
在所述第二卷积层对所述第二中间特征进行卷积操作,获得第三中间特征;
在所述第二降采样层对所述第三中间特征进行降采样操作,获得第一时序特征。
在本发明一些实施例中,所述第一降采样层包括第三卷积层、第四卷积层和第一池化操作层,局部特征提取单元还用于:
在所述第三卷积层中对所述第一中间特征进行正则化的卷积操作,获得第一子中间特征;
对所述第一子中间特征进行规范化操作,获得第二子中间特征;
随机丢弃所述第二子中间特征,获得第三子中间特征;
在所述第四卷积层中对所述第三子中间特征进行正则化的卷积操作,获得第四子中间特征;
在所述第一池化操作层中对所述第一中间特征进行最大池化操作,获得第五子中间特征;
将所述第四子中间特征与所述第五子中间特征相加,获得第二中间特征。
在本发明一些实施例中,所述第二降采样层包括第五卷积层、第六卷积层和第二池化操作层;局部特征提取单元还用于:
在所述第五卷积层中对所述第三中间特征进行正则化的卷积操作,获得第六子中间特征;
对所述第六子中间特征进行规范化操作,获得第七子中间特征;
随机丢弃所述第七子中间特征,获得第八子中间特征;
在所述第六卷积层中对所述第八子中间特征进行正则化的卷积操作,获得第九子中间特征;
在所述第二池化操作层中对所述第三中间特征进行最大池化操作,获得第十子中间特征;
将所述第九子中间特征与所述第十子中间特征相加,获得第一时序特征。
在本发明一些实施例中,第二时序特征确定模块304包括:
第一时序编码单元,用于对所述第一时序特征进行时序编码,得到第一编码特征;
加权单元,用于对所述第一编码特征配置全局权值,获得表示全局的第二时序特征。
在本发明一些实施例中,第一时序编码单元包括:
时间步确定子单元,用于将所述第一时序特征的数量作为所述时序编码的时间步的步数;
第一时序特征输入子单元,用于向每一所述时间步输入一所述第一时序特征;
时间步处理子单元,用于将各所述时间步的第一时序特征依次传递、融合,得到所述第一编码特征。
在本发明一些实施例中,加权单元包括:
第二编码特征确定子单元,用于将所述心拍信号分别输入两个不同特征长度的循环神经网络,以得到两种不同的时间长度的第二编码特征;
全局权值确定子单元,用于对两种不同的时间长度的第二编码特征求和,得到全局权值;
第二时序特征确定子单元,用于将所述全局权值与所述第一编码特征相乘,获得表示全局的第二时序特征。
在本发明一些实施例中,心拍信号获取模块301包括:
心电图信号获取单元,用于获取心电图信号;
滤波单元,用于对所述心电图信号进行滤波,得到第一信号;
重采样单元,用于对所述第一信号重采样,得到预设采样频率的第二信号;
信号切割单元,用于将所述第二信号切割为预设长度的第三信号;
归一化处理单元,用于对所述第三信号归一化处理,得到心拍信号。
本发明实施例提供的心房扑动的检测装置,通过从心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征,增加了心拍特征丰富度;从心拍特征中提取表示局部的第一时序特征,能够增强有效特征的表达;对第一时序特征加权处理,增加全局时序信息对检测结果的影响,获得表示全局的第二时序特征;基于第二时序特征,从心拍信号确定心房扑动的检测结果。本发明实施例能够提高心房扑动的检测效率和检测结果的准确性,避免出现诊断结果出错的情况。
本实施例提供的心房扑动的检测装置可执行本发明任意实施例所提供的心房扑动的检测方法,具备执行方法相应的功能模块和有益效果。
实施例四
本发明实施例四提供了一种计算机设备,图4为本发明实施例四提供的一种计算机设备的结构示意图,如图4所示,该计算机设备包括处理器401、存储器402、通信模块403、输入装置404和输出装置405;计算机设备中处理器401的数量可以是一个或多个,图4中以一个处理器401为例;计算机设备中的处理器401、存储器402、通信模块403、输入装置404和输出装置405可以通过总线或其他方式连接,图4中以通过总线连接为例。上述处理器401、存储器402、通信模块403、输入装置404和输出装置405可以集成在计算机设备的控制主板上。
存储器402作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的心房扑动的检测方法对应的模块(例如,一种心房扑动的检测装置中的心拍信号获取模块301、心拍特征提取模块302、第一时序特征提取模块303、第二时序特征确定模块304和检测结果确定模块305)。处理器401通过运行存储在存储器402中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的心房扑动的检测方法。
存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器402可进一步包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块403,用于与外界设备(例如智能终端)建立连接,并实现与外界设备的数据交互。输入装置404可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种计算机设备,可执行本发明上述任意实施例提供的心房扑动的检测方法,具体相应的功能和有益效果。
实施例五
本发明实施例五提供了一种包含计算机可执行指令的存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明上述任意实施例提供的心房扑动的检测方法,该方法包括:
获取心拍信号,所述心拍信号用于检测心房扑动;
从所述心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征;
从所述心拍特征中提取表示局部的第一时序特征;
对所述第一时序特征加权处理,获得表示全局的第二时序特征;
基于所述第二时序特征,从所述心拍信号确定心房扑动的检测结果。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明实施例所提供的心房扑动的检测方法中的相关操作。
需要说明的是,对于装置、设备和存储介质实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是机器人,个人计算机,服务器,或者网络设备等)执行本发明任意实施例所述的心房扑动的检测方法。
值得注意的是,上述装置中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (3)
1.一种心房扑动的检测装置,其特征在于,包括:
心拍信号获取模块,用于获取心拍信号,所述心拍信号用于检测心房扑动;
心拍特征提取模块,用于从所述心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征;
第一时序特征提取模块,用于从所述心拍特征中提取出所述心拍特征的局部特征,将所述局部特征作为第一时序特征;
第二时序特征确定模块,用于对所述第一时序特征加权处理,获得表示全局的第二时序特征;
检测结果确定模块,用于基于所述第二时序特征,从所述心拍信号确定心房扑动的检测结果;
所述第二时序特征确定模块,包括:
第一时序编码单元,用于对所述第一时序特征进行时序编码,得到第一编码特征;
加权单元,用于对所述第一编码特征配置全局权值,获得表示全局的第二时序特征;
所述第一时序编码单元包括:时间步确定子单元,用于将所述第一时序特征的数量作为所述时序编码的时间步的步数;第一时序特征输入子单元,用于向每一所述时间步输入一所述第一时序特征;时间步处理子单元,用于将各所述时间步的第一时序特征依次传递、融合,得到所述第一编码特征;
所述加权单元包括:第二编码特征确定子单元,用于将所述心拍信号分别输入两个不同特征长度的循环神经网络,以得到两种不同的时间长度的第二编码特征;全局权值确定子单元,用于对两种不同的时间长度的第二编码特征求和,得到全局权值;第二时序特征确定子单元,用于将所述全局权值与所述第一编码特征相乘,获得表示全局的第二时序特征。
2.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如下所述的心房扑动的检测方法:
获取心拍信号,所述心拍信号用于检测心房扑动;
从所述心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征;
从所述心拍特征中提取出所述心拍特征的局部特征,将所述局部特征作为第一时序特征;
对所述第一时序特征加权处理,获得表示全局的第二时序特征,包括:
对所述第一时序特征进行时序编码,得到第一编码特征;
对所述第一编码特征配置全局权值,获得表示全局的第二时序特征;
基于所述第二时序特征,从所述心拍信号确定心房扑动的检测结果;
所述对所述第一时序特征进行时序编码,得到第一编码特征包括:将所述第一时序特征的数量作为所述时序编码的时间步的步数;向每一所述时间步输入一所述第一时序特征;将各所述时间步的第一时序特征依次传递、融合,得到所述第一编码特征;
所述对所述第一编码特征配置全局权值,获得表示全局的第二时序特征包括:将所述心拍信号分别输入两个不同特征长度的循环神经网络,以得到两种不同的时间长度的第二编码特征;对两种不同的时间长度的第二编码特征求和,得到全局权值;将所述全局权值与所述第一编码特征相乘,获得表示全局的第二时序特征。
3.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如下所述的心房扑动的检测方法:
获取心拍信号,所述心拍信号用于检测心房扑动;
从所述心拍信号中提取至少两种不同时间长度的节律信息作为心拍特征;
从所述心拍特征中提取出所述心拍特征的局部特征,将所述局部特征作为第一时序特征;
对所述第一时序特征加权处理,获得表示全局的第二时序特征,包括:
对所述第一时序特征进行时序编码,得到第一编码特征;
对所述第一编码特征配置全局权值,获得表示全局的第二时序特征;
基于所述第二时序特征,从所述心拍信号确定心房扑动的检测结果;
所述对所述第一时序特征进行时序编码,得到第一编码特征包括:将所述第一时序特征的数量作为所述时序编码的时间步的步数;向每一所述时间步输入一所述第一时序特征;将各所述时间步的第一时序特征依次传递、融合,得到所述第一编码特征;
所述对所述第一编码特征配置全局权值,获得表示全局的第二时序特征包括:将所述心拍信号分别输入两个不同特征长度的循环神经网络,以得到两种不同的时间长度的第二编码特征;对两种不同的时间长度的第二编码特征求和,得到全局权值;将所述全局权值与所述第一编码特征相乘,获得表示全局的第二时序特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911090068.2A CN110720894B (zh) | 2019-11-08 | 2019-11-08 | 一种心房扑动的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911090068.2A CN110720894B (zh) | 2019-11-08 | 2019-11-08 | 一种心房扑动的检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110720894A CN110720894A (zh) | 2020-01-24 |
CN110720894B true CN110720894B (zh) | 2022-11-15 |
Family
ID=69225106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911090068.2A Active CN110720894B (zh) | 2019-11-08 | 2019-11-08 | 一种心房扑动的检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110720894B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111345814B (zh) * | 2020-02-11 | 2023-04-18 | 广州视源电子科技股份有限公司 | 一种心电信号中心拍的分析方法、装置、设备和存储介质 |
CN111358460A (zh) * | 2020-03-03 | 2020-07-03 | 京东方科技集团股份有限公司 | 心律失常的识别方法、装置及电子设备 |
CN111631705A (zh) * | 2020-05-29 | 2020-09-08 | 广州视源电子科技股份有限公司 | 心电异常检测方法、模型训练方法、装置、设备及介质 |
CN111803059A (zh) * | 2020-06-30 | 2020-10-23 | 武汉中旗生物医疗电子有限公司 | 一种基于时域卷积网络的心电信号分类方法及装置 |
CN111839502B (zh) * | 2020-07-21 | 2024-02-09 | 广州视源电子科技股份有限公司 | 一种心电数据异常检测方法、装置、设备及存储介质 |
CN111956207B (zh) * | 2020-08-19 | 2024-02-20 | 广州视源电子科技股份有限公司 | 一种心电记录标注方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120133790A (ko) * | 2011-06-01 | 2012-12-11 | (주)한국티이에스 | 심실부정맥 판단을 위한 특징점 검출방법 |
CN107184198A (zh) * | 2017-06-01 | 2017-09-22 | 广州城市职业学院 | 一种心电信号分类识别方法 |
CN107944493A (zh) * | 2017-11-30 | 2018-04-20 | 天津大学 | 一种基于卷积神经网络的第一导联心电图心拍分类方法 |
CN109276242A (zh) * | 2018-08-02 | 2019-01-29 | 深圳市理邦精密仪器股份有限公司 | 心电信号类型识别的方法和装置 |
CN109303559B (zh) * | 2018-11-01 | 2021-05-14 | 杭州质子科技有限公司 | 一种基于梯度提升决策树的动态心电图心拍分类方法 |
CN109497986A (zh) * | 2018-11-22 | 2019-03-22 | 杭州脉流科技有限公司 | 基于深度神经网络的心电图智能分析方法、装置、计算机设备和系统 |
CN109998525B (zh) * | 2019-04-03 | 2022-05-20 | 哈尔滨理工大学 | 一种基于判别式深度置信网络的心律失常自动分类方法 |
CN110393519B (zh) * | 2019-08-19 | 2022-06-24 | 广州视源电子科技股份有限公司 | 心电信号的分析方法、装置、存储介质和处理器 |
-
2019
- 2019-11-08 CN CN201911090068.2A patent/CN110720894B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110720894A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110720894B (zh) | 一种心房扑动的检测方法、装置、设备及存储介质 | |
CN109171712B (zh) | 心房颤动识别方法、装置、设备及计算机可读存储介质 | |
CN106214145B (zh) | 一种基于深度学习算法的心电图分类方法 | |
CN111631705A (zh) | 心电异常检测方法、模型训练方法、装置、设备及介质 | |
Mahesh et al. | ECG arrhythmia classification based on logistic model tree | |
Singhal et al. | A systematic review on artificial intelligence-based techniques for diagnosis of cardiovascular arrhythmia diseases: challenges and opportunities | |
Aamir et al. | Automatic Heart Disease Detection by Classification of Ventricular Arrhythmias on ECG Using Machine Learning. | |
Mykoliuk et al. | Machine learning methods in ECG classification | |
CN111528833B (zh) | 一种心电信号的快速识别与处理方法及系统 | |
Jaiswal et al. | Artificial neural network for ECG classification | |
WO2020052640A1 (zh) | 基于深度学习算法的心电特征提取方法、装置、系统、设备和分类方法 | |
Shukri et al. | Investigation on Elman neural network for detection of cardiomyopathy | |
Butt et al. | Classifying normal sinus rhythm and cardiac arrhythmias in ECG signals using statistical features in temporal domain | |
Rao et al. | Performance identification of different heart diseases based on neural network classification | |
Allam et al. | Patient-specific ECG beat classification using EMD and deep learning-based technique | |
CN111839502B (zh) | 一种心电数据异常检测方法、装置、设备及存储介质 | |
CN110897628A (zh) | 基于深度神经网络的心电图信号特征提取方法、装置、系统、设备和分类方法 | |
CN115316996A (zh) | 心律异常识别模型训练方法、装置、设备及存储介质 | |
Naaz et al. | Feature extraction and analysis of ECG signal for cardiac abnormalities-A review | |
CN111956207B (zh) | 一种心电记录标注方法、装置、设备及存储介质 | |
Jokić et al. | An efficient ECG modeling for heartbeat classification | |
Rodrigues et al. | The issue of automatic classification of heartbeats | |
Maji et al. | Detection and characterisation of QRS complex in VMD domain | |
Jokić et al. | An efficient approach for heartbeat classification | |
Revanth et al. | Detection of QRS Complexes in ECG Signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |