CN116211315B - 一种单导联心电信号辅助诊断方法及诊断终端 - Google Patents
一种单导联心电信号辅助诊断方法及诊断终端 Download PDFInfo
- Publication number
- CN116211315B CN116211315B CN202310369673.3A CN202310369673A CN116211315B CN 116211315 B CN116211315 B CN 116211315B CN 202310369673 A CN202310369673 A CN 202310369673A CN 116211315 B CN116211315 B CN 116211315B
- Authority
- CN
- China
- Prior art keywords
- data
- electrocardiosignals
- representing
- electrocardiosignal
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000002405 diagnostic procedure Methods 0.000 claims 1
- 206010027175 memory impairment Diseases 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000013499 data model Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 206010003119 arrhythmia Diseases 0.000 description 6
- 230000006793 arrhythmia Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010008479 Chest Pain Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 206010033557 Palpitations Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Databases & Information Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- General Engineering & Computer Science (AREA)
Abstract
本发明提供一种单导联心电信号辅助诊断方法及诊断终端，属于互联网医疗领域，方法包括：构建单导联心电信号辅助系统的功能架构，提取单导联心电信号辅助系统中的心电信号；对心电信号进行预处理；预处理方式包括：按照预设时长对心电信号进行划分；对划分后的心电信号进行滤波处理；对滤波后的心电信号进行数据归一化处理；对数据归一化后的心电信号进行傅里叶变换处理；提心电信号数据的特征；采用拼接的方式将提取的所有特征进行融合；将融合后的特征输入至Adaboost迭代算法，得出诊断结果。本发明融合了心电信号各个维度的特征，有效的解决现有特征存在的不足的现状，从而得到比单一数据模型信息量更大、应用性更高、鲁棒性更强的模型。
Description
技术领域
本发明属于互联网医疗领域，尤其涉及一种单导联心电信号辅助诊断方法及诊断终端。
背景技术
心电图(Electrocardiogram,ECG)是记录心脏激动过程中伴随着的电位变化的图形，也称静态心电图。它是心脏电活动在体表的综合体现，也是心脏兴奋的发生、传播以及恢复的客观评价标准。心电图蕴含了丰富的心脏基本功能和病理信息，能反映心脏节律及电活动过程。所以，心电图在心脏的安全评测和各种治疗方法的评估等方面具有重大作用和意义，是目前分析和鉴别各种心血管疾病最常用和最精确的无创的手段。多数的心律失常疾病的发生是偶发性的，很多病患只有在出现乏力、心悸、胸闷，甚至晕厥时才去医院就诊，这时可能错过了最佳的诊断时间。动态单导联心电图可以长时间的监测括学习、活动、休息和睡眠等不同情况下的心脏电活动的全过程，极大的提高了心律失常诊断的检出效率。但由于患者个体差异，以及疾病的复杂性，再加上如此长时间的心电图记录数据，给医生带来了繁重的心电图识别工作，容易因为疲劳造成漏检和误判。于是，为了让医生集中精力去判别异常且重要的心电波形，提高心电图诊断效率，将单导联心电自动分析技术应用到心电图分析中，用计算机自动判别的方式辅助诊断各种心律失常。
目前针对心电图信号的诊断主要采用的是预设模板匹配法。该方法在诊断前期需要建立各种心律失常疾病的模板库。在进行实际的病例模板匹配时，将心电图划分为若干片段，每个片段自动与先前建立的模板库进行比较，计算每个心电片段与相应模板波形数据的差异，当差异小于预设阈值时，则将该心电数据分类为该模板。但由于心律异常的种类较多，且相同类型的心律异常在个体差异上具有很大的不同，这就需要适配较为复杂的模板库。如果模板库未储存足够丰富的匹配模板，将无法实现心电信号的诊断，进而导致无法正常诊断。
发明内容
本发明提供一种基于多特征融合的单导联心电信号辅助诊断方法，方法融合了心电信号各个维度的特征，有效的解决如果模板库未储存足够丰富的匹配模板，将无法实现心电信号的诊断，进而导致无法正常诊断的不足。
方法包括：
步骤一、构建单导联心电信号辅助系统的功能架构，提取单导联心电信号辅助系统中的心电信号；
步骤二、对心电信号进行预处理；
预处理方式包括：按照预设时长对心电信号进行划分；
对划分后的心电信号进行滤波处理；
对滤波后的心电信号进行数据归一化处理；
对数据归一化后的心电信号进行傅里叶变换得到频域数据；
步骤三、提心电信号数据的特征；
步骤四、采用拼接的方式将步骤三中提取的所有特征进行融合；
步骤五、将步骤四融合后的特征输入至Adaboost迭代算法，得出诊断结果。
进一步需要说明的是，步骤二中按照预设时长对心拍数据进行划分方式包括：
配置心电信号表示为X＝(x1，...,xn)，n为数据的点位数；
n＝Ff*Ft，其中Ff表示信号的采样频率，Ff表示信号的采样时间；
其中，一个完整的心拍为0.6s至0.8s,将心电信号分割为0.8s的片段，即288个采样点；
将10个完整的心拍作为一组心电信号的数据集，表示为：
n表示心电数据的片段数，m表示每个片段的点位数。
进一步需要说明的是，步骤二中对划分后的心拍数据进行滤波处理方式包括：
配置截止频率为51Hz的低通滤波器，使用全通滤波器减去51Hz的低通滤波器，得到一个截止频率为51Hz的高通滤波器，再与截止频率为49Hz的低通滤波器进行组合，得到一个50Hz的陷波器；
h＝fir_lp(π，n)-fir_lp(wc1，n)+fir_lp(wc2，n)
其中h是最终得到的50Hz陷波器，fir_lp(π，n)表示的是一个全通滤波器，fir_lp(wc1，n)表示的是截至频率为51Hz的低通滤波器，fir_lp(wc2，n)表示的是截至频率为49Hz的低通滤波器；
将划分后的心电信号通过50Hz陷波器输入至数据集X进行处理，得到去除工频干扰后的心电数据集Z：
进一步需要说明的是，步骤二中还对心电数据集Z的边缘数据进行扩展，扩展公式为：
对长度为m的心电信号片段zm＝(z1，z2，...，zm)进行扩展；
扩展后的信号为：zm+k＝(z1，z2，...，zm+k)，k为中值滤波的窗口长度；
将扩展处理后的心电信号进行加窗处理，将窗口内的心电信号进行排序，选择窗口内中位数代替当前值，并用中值代替当前窗口内的心电信号,心电信号经过中值处理后去掉突变峰值；
用步骤一的心电信号减去中值处理后的心电信号，得到中值滤波后的心电信号,再输入至心电数据集Z后得到数据集D：
进一步需要说明的是，步骤二中的对滤波后的心电信号进行数据归一化处理方式包括：通过下述公式对每个心电信号片段d进行归一化：
公式中dmin表示ECG心电样本幅值的最小值，dmax表示ECG心电样本幅值的最大值；
再对滤波后的数据集D通过下述公式进行归一化处理，并输出处理后数据集D*；
进一步需要说明的是，步骤二中的对数据归一化后的心电信号进行傅里叶变换处理方式包括：通过下述公式对输入的心电信号进行傅里叶变换得到频域数据；
其中N为心电信号的时域离散信号点数，n为时域离散信号的编号，m为频域信号的编号；
在下述公式中，输入归一化后的处理后数据集D*，并得到频域数据F；
f表示复数。
进一步需要说明的是，步骤三还包括：
(1)从时域离散信号及频域数据提取特征；
提取方式包括：定义LSTM网络进行特征提取；
定义模型的输入分别为处理后数据集D*和频域数据F；
LSTM网络中每个节点的输入和输出关系如下：
it＝σ(Wiixt+bii+Whiht-1+bhi)
ft＝σ(Wifxt+bif+Whfht-1+bhf)
gt＝tanh(Wigxt+big+Whght-1+bhg)
ot＝σ(Wioxt+bio+Whoht-1+bho)
ct＝ft*ct-1+it*gt
ht＝ot*tanh(ct)
其中W和b表示为相应网络的权重和偏置项，xt表示当前LSTM节点的输入，ht-1表示上一个LSTM节点的输出值，ct-1表示上一个LSTM节点的状态，ct表示当前LSTM节点的状态，it表示的是输入门，ft表示的是遗忘门，gt表示的是输入单元的状态，ot表示输出门，ht表示当前节点的输出值，σ表示的是sigmoid的激活函数，tanh表示的是反正切函数；
第一层LSTM单元节点的输出作为第二层LSTM单元节点的输入；
第二层LSTM单元节点的输出作为第三层LSTM单元节点的输入；
定义LSTM网络的LSTM单元节点为20；
向LSTM网络输入归一化后的数据集D*以及频域数据F，基于下述公式分别得到时域上的特征T和频域上的特征E：
(2)基于HRV统计分析；
HRV统计分析包括如下方式：配置RR间期的最大值h1：h1＝max(i)RRintervali
配置RR间期的最小值h2：h2＝min(i)RRintervali
配置RR间期中位数h3：
其中，ΔRRintervali是RR间期之间的差分值；
ΔRRintervali＝RRintervali-RRintervali-1
配置RR间期的平均值h4：
配置RR间期差分值的均值h5：
配置RR间期标准差h6：
配置RR间期差分值的标准差h7：
配置RR间期差分值的均方根h8：
将处理后数据集D*输入至公式输出HRV特征H；
(3)基于1d-LBP公式提取LBP局部特征；
将预处理后的心电图数据中一个心拍设置为一个区域的中心采样点，将中心采样点邻域内的采样点与当前采样点进行比较，若大于中心点中心采样点的值，则定义为1否，则定义为0；
1d-LBP公式表示为：
其中xc表示中心点，p表示邻域大小，ip是邻域采样点的值，ic表示中心采样点的值，s表示符号函数；
将处理后数据集D*作为输入，输出的LBP局部特征为
进一步需要说明的是，步骤四还包括：拼接方式的公式表示如下：
Ffuse＝[T，E，H，L]
其中，Ffuse表示融合特征，T表示时域特征，E表示频域特征，H表示HRV的特征，L表示LBP的特征；Ffuse的最终向量长度是T，E，H，L的向量长度之和；
融合后的特征表示为：
进一步需要说明的是，步骤五还包括：
(1)Adaboost迭代算法初始化；
定义模型的输入数据T＝{(x1，y1)，(x2，y2)，...，(xm，ym)}，其中xi表示特征向量，yi表示标签的类别；
xi∈X，yi∈Y＝{0，1，…，C}；
初始化样本的权重为w0(x)，所有样本的权重全部初始化为
(2)循环T轮训练弱分类器；
循环计算J次，每一次弱分类器的编号为j，并且j∈{1，2，3，...，J}；
循环内容为：
①在样本权重初始化为的基础上，在数据集G上训练弱分类器ht(x)；
②计算ht对样本x属于各个类别k的概率；
其中，E表示期望，C表示分类的类别，y表示标签值，qj(x)表示当前分类器，表示当前分类器对每个类别的预测概率；
继续计算
根据计算出的权重对处理后数据集D*的样本权重进行更新，对于每个样本，更新其权重：
其中Zt为归一化因子，向量zi＝(Zi1，Zi2，...，ZiC)，且：
向量由h(j)对样本数据x的预测概率组成；迭代完成后最终得到强分类器：
每个不同的弱分类器ht(x)对于每一个类别k都会输出一个值，若在所有的弱分类器中，类别k的/>值的和最大，那么该类别k值为强分类器的输出结果，即得出的心电图分类标签。
本发明还提供一种诊断终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述程序时实现基于多特征融合的单导联心电信号辅助诊断方法的步骤。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的基于多特征融合的单导联心电信号辅助诊断方法通过对心电图信号的表型特征以及统计特征进行分析，基于心电图信号的时域特征、频域特征、心率变异性(HeartRateVariability,HRV)、以及均匀局部二进制模式(Uniform Local BinaryPattern,ULBP)等实现单导联心电信号辅助诊断。本发明的方法先确定心电辅助诊断系统的功能模块架构。再对心电信号进行预处理，在该阶段中对数据进行心拍数据划分、数据滤波、数据归一化、傅里叶变换得到频域数据。然后，提取心电信号不同维度的特征包括信号的时域特征、频域特征、HRV以及ULBP等。根据特征表现，进行各个维度的特征融合，融合为一个高维特征，弥补单维特征的不足。最后设计确定特征分类模型，输入综合特征后给出辅助诊断心电信号的诊断结果。本发明融合了心电信号各个维度的特征，合可以有效的解决如果模板库未储存足够丰富的匹配模板，将无法实现心电信号的诊断，进而导致无法正常诊断的问题。从而得到比单一数据模型信息量更大、应用性更高、鲁棒性更强的辅助诊断方法。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于多特征融合的单导联心电信号辅助诊断方法示意图；
图2为基于多特征融合的单导联心电信号辅助诊断方法流程图。
具体实施方式
如图1和图2是本发明提供的基于多特征融合的单导联心电信号辅助诊断方法图示，图1仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的模块而非按照实际实施时的模块数目及功能，其实际实施时各模块的功能、数量及作用可为一种随意的改变，且其模块的功能和用途也可能更为复杂。
本发明涉及的单导联心电信号辅助诊断方法可以基于人工智能技术对关联的数据进行获取和处理。其中，基于多特征融合的单导联心电信号辅助诊断方法利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。
本发明涉及的诊断方法是基于数学统计与信号特性的特征提取，结合多维度的特征融合，实现智能心电信号的辅助诊断，这样，特征融合后的诊断模型充分考虑了心电信号各个维度的特征，它能够形成一个多角度、跨领域的算法模型，使模型更加可靠，最终可以准确、快速的得到心电信号的诊断结果。
本发明涉及的单导联心电信号辅助诊断方法应用于一个或者多个诊断终端中，所述诊断终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
诊断终端可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。
诊断终端所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2所示是一具体实施例中单导联心电信号辅助诊断方法的示意图及流程图，方法包括：
步骤一、构建单导联心电信号辅助系统的功能架构，提取单导联心电信号辅助系统中的心电信号；
需要说明的是，本心电辅助诊断系统基本功能包括患者信息管理、医生信息管理、信号诊断、智能诊断报告，可选功能包括心电图全览、心电图数据分析、日志追踪等。
其中，p1,...pn表示心电信号诊断系统的功能模块，n可以根据系统功能的需求来进行增加或删减，本发明的心电信号辅助诊断系统中定义n＝7.其中y1表示患者信息管理，p2表示医生信息管理，p3表示信号诊断，p4表示生成智能诊断报告，p5表示心电图全览，p6表示心电图数据分析，p7表示日志追踪。
步骤二、对心电信号进行预处理。预处理主要涉及如下步骤：
(1)按照预设时长对心电信号进行划分，划分成多个心拍；
具体来讲，完整的一条心电数据表示为X＝(x1，…，xn)，n为数据的点位数。
n＝Ff*Ft，其中Ff表示信号的采样频率，Ff表示信号的采样时间。
可以理解的是，一个完整的心拍为0.6s～0.8s，MITBIH数据库中心电信号的采样频率为360Hz，为防止切割时间过短造成信息的缺失，将心拍分割为0.8s的片段，即288个采样点。
本实施例为保证心电数据的连续性，以及RR间期特性的提取，在心拍划分完成后将10个完整的心拍作为一组数据组成的数据集可以表示为：
n表示心电数据的片段数，m表示每个片段的点位数，在这里m＝2880。
(2)对划分后的心电信号进行滤波处理；
本实施例是将心电信号数据去除50Hz的工频干扰，使用FIR陷波器去除工频干扰，设计一个截止频率为51Hz的FIR低通滤波器，使用全通滤波器减去减去51Hz的低通滤波器，即可以得到一个截止频率为51Hz的高通滤波器，再与截止频率为49Hz的低通滤波器进行组合，就可以得到一个50Hz的陷波器。
h＝fir_lp(π，n)-fir_lp(wc1，n)+fir_lp(wc2，n)
其中，h是最终得到的50Hz陷波器，fir_lp(π，n)表示的是一个全通滤波器，fir_lp(wc1，n)表示的是截至频率为51Hz的低通滤波器，fir_lp(wc2，n)表示的是截至频率为49Hz的低通滤波器。
将心拍划分后的数据通过50Hz陷波器，输入数据集X后得到去除工频干扰后的心电数据集Z
本发明使用中值滤波去除基线漂移，中值滤波器是将含噪数字信号中的值用邻域内的中值进行替换，即用所加窗内的中值进行替代。
需要说明的是，本发明首先需要对信号的边缘数据进行处理，防止边缘数据出现干扰问题，需要将信号进行扩展，扩展公式为：
对长度为m的心电信号片段zm＝(z1，z2，...，zm)进行扩展，扩展后的信号为：
zm+k＝(z1，z2，...，zm+k)，k为中值滤波的窗口长度。本实施例中，定义k＝108扩展处理后将数据进行加窗处理，将窗口内的数值排序，选择该窗口内中位数代替当前值并用中值代替当前窗口内的中心值，对心电信号的其余点依次进行该操作，心电信号经过中值处理后去掉突变峰值。
用原始心电信号减去中值处理后的信号即可得到中值滤波后干净的心电信号，输入数据集Z后得到数据集D：
(3)对滤波后的心电信号进行数据归一化处理。
对于归一化来讲，由于采集过程中设备的差异，需要对滤波后的数据进行归一化的处理，对每个心电样本片段d归一化：
在公式中dmin表示ECG心电样本幅值的最小值，dmax表示ECG心电样本幅值的最大值。
所有经过归一化处理后的心电信号都具有一个共同的特点，即心电信号所有的幅值都大于0并且小于1。
输入滤波后的数据集D输出归一化后的数据集D*
(4)对数据归一化后的心电信号进行傅里叶变换得到频域数据。
本实施例为了得到心电信号的频域数据，对心电信号进行傅里叶变换得到频域数据。
输入时域数据，经过傅里叶变换得到频域数据。
其中N为时域离散信号的点数，n为时域离散信号的编号(取值范围0～N-1),m为频域信号的编号(取值为0～N-1)，频域信号的点数也为N。
本发明的离散傅里叶变换的输入为N个离散的点(时域信号)，输出为N个离散的点(频域信号，频域信号的每个点都用一个复数表示)输入归一化后的数据D*，输出频域数据F，f表示的是一个复数：
步骤三、提心电信号数据的特征；
(1)时域及频域特征提取；
设计LSTM网络进行特征提取，该LSTM网络由输入层以及3层LSTM网络构成，每层LSTM网络中含有10个LSTM单元，每个LSTM单元中有64个隐藏节点。
本实施例中，定义模型的输入分别为处理后数据集D*和频域数据F。
LSTM网络中每个节点的输入输出关系如下：
it＝σ(Wiixt+bii+Whiht-1+bhi)
ft＝σ(Wifxt+bif+Whfht-1+bhf)
gt＝tanh(Wigxt+big+Whght-1+bhg)
ot＝σ(Wioxt+bio+Whoht-1+bho)
ct＝ft*ct-1+it*gt
ht＝ot*tanh(ct)
其中W和b表示为相应网络的权重和偏置项，xt表示当前LSTM节点的输入，ht-1表示上一个LSTM节点的输出值，ct-1表示上一个LSTM节点的状态，ct表示当前LSTM节点的状态，it表示的是输入门，ft表示的是遗忘门，gt表示的是输入单元的状态，ot表示输出门，ht表示当前节点的输出值，σ表示的是sigmoid的激活函数，tanh表示的是反正切函数。
第一层每个LSTM单元以及节点的输出作为第二层LSTM单元及节点的输入，第二层LSTM的输出作为第三层LSTM的输入，定义LSTM的输出单元定义为20。
本实施例中，输入归一化的数据D*以及频域数据F，分别得到时域上的特征T和频域上的特征E：
(2)HRV统计分析；
HRV分析中主要涉及的特征如下，以下特征的统计均是在一个数据段内完成：
本实施例，为表示该数据段内的最高心率，引入RR间期的最大值h1：
h1＝max(i)RRintervali
本实施例，为表示该数据段内的最低心率，引入RR间期的最小值h2：
h2＝min(i)RRintervali
本实施例，为表示该数据段内的心率分布情况，引入RR间期中位数h3：
其中，ΔRRintervali是RR间期之间的差分值，ΔRRintervali＝RRintervali-RRintervali。
本实施例，为表示该数据段内的平均心率，引入RR间期的平均值h4
本实施例，为了表示连续正常(窦性)心动周期之间时间上的微小差异。
引入RR间期差分值的均值h5：
RR间期标准差h6：
RR间期差分值的标准差h7：
RR间期差分值的均方根h8：
/>
输入的数据为D*，输出HRV特征H：
(3)提取LBP局部特征；
本发明提供的实施例中，1d-LBP主要用于一维信号的局部特征的提取，将预处理后的心电信号的一个心拍为一个区域作为心电信号的中心采样点，将中心采样点邻域内的采样点与当前采样点进行比较，若大于中心点值则为1否则为0，这里定义邻域为8，可以得到一个8位的二进制串来表示周围结构的局部信息。
1d-LBP的公式表示为：
其中xc表示中心点，p表示邻域大小，在这里定义邻域大小为8，ip是邻域采样点的值，ic表示中心采样点的值，s表示的是一个符号函数。
输入的数据为D*，输出LBP的特征
步骤四、采用拼接的方式将步骤三中提取的所有特征进行融合；
特征融合主要采用的是拼接的方式，公式表示如下：
Ffuse＝[T，E，H，L]
其中Ffuse表示的是融合特征，T表示的是时域的特征，E表示的是频域的特征，H表示的是HRV的特征，L表示的是LBP的特征。
Ffuse的最终向量长度是T，E，H，L的向量长度之和。
融合后的特征表示为：
步骤五、将步骤四融合后的特征输入至Adaboost迭代算法，得出诊断结果。
本发明的实施例针对心电信号数据的不平衡现状，分类诊断模型选用Adaboost迭代算法，针对训练集过程中不同的弱分类器，将其进行组合，训练出一个强分类器。
1)对Adaboost迭代算法进行初始化；
本实施例中，定义模型的输入数据为T＝{(x1，y1)，(x2，y2)，...，(xm，ym)}；
其中xi表示的是特征向量，yi表示的是标签的类别。
xi∈X，yi∈Y＝{0，1，…，C}。
初始化样本的权重为w0(x)，所有样本的权重全部初始化为
2)循环T轮训练弱分类器；
循环计算J次，每一次弱分类器的编号为j，并且j∈{1，2，3，...，J}。
循环内容为：
①在样本权重初始化为的基础上，在数据集G上训练弱分类器ht(x)。
②计算ht对样本x属于各个类别k的概率
其中，E表示期望，C表示的是分类的类别，其当前值为4，y表示的是标签值，qj(x)表示当前分类器，表示当前分类器对每个类别的预测概率。
在上一步的基础上继续计算
根据计算出的权重对数据集的样本权重进行更新，对于每个样本，更新其权重：
其中，Zt为归一化因子，向量zi＝(Zi1，Zi2，...，ZiC)，且：
向量由h(j)对样本数据x的预测概率组成。迭代完成后最终可以得到一个强分类器：
每个不同的弱分类器ht(x)对于每一个类别k都会输出一个值，若在所有的弱分类器中，类别k的/>值的和最大，那么该k值就是强分类器的输出结果，即得出的心电图分类标签。
基于本发明涉及的基于多特征融合的单导联心电信号辅助诊断方法可以使心电信号诊断系统可以准确快速的得出诊断结果。本发明基于数学统计与信号特性的特征提取，再将Adaboost模型用于心电信号诊断中，能够准确并快速的进行诊断。有效的解决某一种或一类特征存在的不足的现状从而得到比单一数据模型信息量更大、应用性更高、鲁棒性更强的模型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (4)
1.一种基于多特征融合的单导联心电信号辅助诊断方法，其特征在于，方法包括：
步骤一、构建单导联心电信号辅助系统的功能架构，提取单导联心电信号辅助系统中的心电信号；
步骤二、对心电信号进行预处理；
预处理方式包括：按照预设时长对心电信号进行划分；
对划分后的心电信号进行滤波处理；
对滤波后的心电信号进行数据归一化处理；
对数据归一化后的心电信号进行傅里叶变换得到频域数据；
步骤三、提取心电信号数据的特征；
步骤四、采用拼接的方式将步骤三中提取的所有特征进行融合；
步骤五、将步骤四融合后的特征输入至Adaboost迭代算法，得出诊断结果；
步骤二中按照预设时长对心拍数据进行划分方式包括：
配置心电信号表示为X=(x1，...,xn) ，n为数据的点位数；
n=Ff*Ft,其中Ff表示信号的采样频率，Ff表示信号的采样时间；
其中，一个完整的心拍为0.6s至0.8s,将心电信号分割为0.8s的片段，即288个采样点；
将10个完整的心拍作为一组心电信号的数据集，表示为：
;
n表示心电数据的片段数，m表示每个片段的点位数；
步骤二中对划分后的心拍数据进行滤波处理方式包括：
配置截止频率为51Hz的低通滤波器，使用全通滤波器减去51Hz的低通滤波器，得到一个截止频率为51Hz的高通滤波器，再与截止频率为49Hz的低通滤波器进行组合，得到一个50Hz的陷波器；
;
其中是最终得到的50Hz陷波器，/>表示的是一个全通滤波器，表示的是截至频率为51Hz的低通滤波器，/>表示的是截至频率为49Hz的低通滤波器；
将划分后的心电信号通过50Hz陷波器输入至数据集X进行处理，得到去除工频干扰后的心电数据集Z：
;
步骤二中的对滤波后的心电信号进行数据归一化处理方式包括：通过下述公式对每个心电信号片段 d 进行归一化：
;
公式中表示ECG心电样本幅值的最小值，/>表示ECG心电样本幅值的最大值；
再对滤波后的数据集D通过下述公式进行归一化处理，并输出处理后数据集；
；
步骤三还包括：
（1）从时域离散信号及频域数据提取特征；
提取方式包括：定义LSTM网络进行特征提取；
定义模型的输入分别为处理后数据集和频域数据F；
LSTM网络中每个节点的输入和输出关系如下：
;
其中W和b表示为相应网络的权重和偏置项，表示当前LSTM节点的输入，/>表示上一个LSTM节点的输出值，/>表示上一个LSTM节点的状态，/>表示当前LSTM节点的状态，/>表示的是输入门，/>表示的是遗忘门，/>表示的是输入单元的状态，/>表示输出门，/>表示当前节点的输出值，/>表示的是sigmoid的激活函数，tanh表示的是反正切函数；
第一层LSTM单元节点的输出作为第二层LSTM单元节点的输入；
第二层LSTM单元节点的输出作为第三层LSTM单元节点的输入；
定义LSTM网络的LSTM单元节点为20；
向LSTM网络输入归一化后的数据集以及频域数据F，基于下述公式分别得到时域上的特征T和频域上的特征E：
;
（2）基于HRV统计分析；
HRV统计分析包括如下方式：配置RR间期的最大值：/>;
配置RR间期的最小值：/>;
配置RR间期中位数：/>;
其中，是RR间期之间的差分值；
;
配置RR间期的平均值：
;
配置RR间期差分值的均值:
;
配置RR间期标准差：
;
配置RR间期差分值的标准差：
;
配置RR间期差分值的均方根：
;
将处理后数据集输入至公式/>，输出HRV特征H；
（3）基于1d-LBP公式提取LBP局部特征；
将预处理后的心电图数据中一个心拍设置为一个区域的中心采样点，将中心采样点邻域内的采样点与当前采样点进行比较，若大于中心点中心采样点的值，则定义为1，否则定义为0；
1d-LBP公式表示为：
;
其中表示中心点，p表示邻域大小，/>是邻域采样点的值，/>表示中心采样点的值，s表示符号函数；
;
将处理后数据集作为输入，输出的LBP局部特征为/>;
步骤四还包括：拼接方式的公式表示如下：
;
其中，表示融合特征，/>表示时域特征，/>表示频域特征，/>表示HRV的特征，/>表示LBP的特征；/>的最终向量长度是/>,/>,/>,的向量长度之和；
融合后的特征表示为：
；
步骤五还包括：
（1）对Adaboost迭代算法进行初始化；
定义模型的输入数据，其中/>表示特征向量，/>表示标签的类别；
；
初始化样本的权重为，所有样本的权重全部初始化为
；
（2）对弱分类器进行训练；
循环计算J次，每一次弱分类器的编号为j，并且；
循环内容为：
①在样本权重初始化为的基础上，在数据集G上训练弱分类器/>；
②计算对样本x属于各个类别k的概率；
;
;
其中，E表示期望，C表示分类的类别， y表示标签值，表示当前分类器，
表示当前分类器对每个类别的预测概率；
继续计算：
;
根据计算出的权重对处理后数据集/>的样本权重进行更新，对于每个样本，更新其权重：
;
其中为归一化因子，向量，且：
;
向量，由/>对样本数据x的预测概率组成；迭代完成后最终得到强分类器：
;
每个不同的弱分类器(x)对于每一个类别k都会输出一个/>值，若在所有的弱分类器中，类别k的/>值的和最大，那么该类别k值为强分类器的输出结果，即得出的心电图分类标签。
2.根据权利要求1所述的基于多特征融合的单导联心电信号辅助诊断方法，其特征在于，步骤二中还对心电数据集Z的边缘数据进行扩展，扩展公式为：
;
对长度为m的心电信号片段进行扩展；
扩展后的信号为：=(/>,...,/>),k为中值滤波的窗口长度；
将扩展处理后的心电信号进行加窗处理，将窗口内的心电信号进行排序，选择窗口内中位数代替当前值，并用中值代替当前窗口内的心电信号,心电信号经过中值处理后去掉突变峰值；
用步骤一的心电信号减去中值处理后的心电信号，得到中值滤波后的心电信号,再输入至心电数据集Z后得到数据集D：
。
3.根据权利要求1所述的基于多特征融合的单导联心电信号辅助诊断方法，其特征在于，步骤二中的对数据归一化后的心电信号进行傅里叶变换处理方式包括：通过下述公式对输入的心电信号进行傅里叶变换得到频域数据；
;
其中N为心电信号的时域离散信号点数，n为时域离散信号的编号，m为频域信号的编号；
在下述公式中，输入归一化后的处理后数据集，并得到频域数据F；
;
f表示复数。
4.一种诊断终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述基于多特征融合的单导联心电信号辅助诊断方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369673.3A CN116211315B (zh) | 2023-04-10 | 2023-04-10 | 一种单导联心电信号辅助诊断方法及诊断终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310369673.3A CN116211315B (zh) | 2023-04-10 | 2023-04-10 | 一种单导联心电信号辅助诊断方法及诊断终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116211315A CN116211315A (zh) | 2023-06-06 |
| CN116211315B true CN116211315B (zh) | 2023-08-04 |
Family
ID=86587486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310369673.3A Active CN116211315B (zh) | 2023-04-10 | 2023-04-10 | 一种单导联心电信号辅助诊断方法及诊断终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116211315B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110384482A (zh) * | 2019-06-26 | 2019-10-29 | 广州视源电子科技股份有限公司 | 心电信号分类方法、装置、计算机设备和存储介质 |
| CN110693489A (zh) * | 2019-10-28 | 2020-01-17 | 杭州电子科技大学 | 一种基于多分类器强化学习的心肌梗塞检测方法 |
| CN113384277A (zh) * | 2020-02-26 | 2021-09-14 | 京东方科技集团股份有限公司 | 心电数据的分类方法及分类系统 |
| WO2021184410A2 (zh) * | 2020-03-18 | 2021-09-23 | 南京润楠医疗电子研究院有限公司 | 一种非接触式的心血管健康评估方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120123232A1 (en) * | 2008-12-16 | 2012-05-17 | Kayvan Najarian | Method and apparatus for determining heart rate variability using wavelet transformation |
| KR102574331B1 (ko) * | 2021-07-14 | 2023-09-01 | 광운대학교 산학협력단 | 멀티스케일 누적 잔여 분산 엔트로피 기반 향상된 심박변이율 정량화 방법 |
-
2023
- 2023-04-10 CN CN202310369673.3A patent/CN116211315B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110384482A (zh) * | 2019-06-26 | 2019-10-29 | 广州视源电子科技股份有限公司 | 心电信号分类方法、装置、计算机设备和存储介质 |
| CN110693489A (zh) * | 2019-10-28 | 2020-01-17 | 杭州电子科技大学 | 一种基于多分类器强化学习的心肌梗塞检测方法 |
| CN113384277A (zh) * | 2020-02-26 | 2021-09-14 | 京东方科技集团股份有限公司 | 心电数据的分类方法及分类系统 |
| WO2021184410A2 (zh) * | 2020-03-18 | 2021-09-23 | 南京润楠医疗电子研究院有限公司 | 一种非接触式的心血管健康评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116211315A (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107822622B (zh) | 基于深度卷积神经网络的心电图诊断方法和系统 | |
| US20230143594A1 (en) | Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems | |
| CN111990989A (zh) | 一种基于生成对抗及卷积循环网络的心电信号识别方法 | |
| CN108511055B (zh) | 基于分类器融合及诊断规则的室性早搏识别系统及方法 | |
| CN111626114B (zh) | 基于卷积神经网络的心电信号心律失常分类系统 | |
| CN111759345B (zh) | 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置 | |
| CN113095302B (zh) | 用于心律失常分类的深度模型、利用该模型的方法及装置 | |
| Sumathi et al. | A wavelet transform based feature extraction and classification of cardiac disorder | |
| CN110558975B (zh) | 一种心电信号分类方法及系统 | |
| CN111956208B (zh) | 一种基于超轻量级卷积神经网络的ecg信号分类方法 | |
| CN116361688A (zh) | 用于心电节律自动分类的多模态特征融合模型构建方法 | |
| Kumari et al. | Performance evaluation of neural networks and adaptive neuro fuzzy inference system for classification of Cardiac Arrhythmia | |
| EP4041073A1 (en) | Systems and methods for electrocardiogram diagnosis using deep neural networks and rule-based systems | |
| JP2023104885A (ja) | グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法 | |
| CN115640507A (zh) | 一种基于心电心音联合分析的异常数据筛查方法 | |
| Fan et al. | Le-lwtnet: A learnable lifting wavelet convolutional neural network for heart sound abnormality detection | |
| Wu et al. | A deep neural network ensemble classifier with focal loss for automatic arrhythmia classification | |
| Shukri et al. | Investigation on Elman neural network for detection of cardiomyopathy | |
| Li et al. | Prediction of cardiac arrhythmia using deterministic probabilistic finite-state automata | |
| CN116211315B (zh) | 一种单导联心电信号辅助诊断方法及诊断终端 | |
| CN115281676B (zh) | 基于gru神经网络和ecg信号的疲劳检测方法 | |
| CN116570295B (zh) | 一种心电图低电压t波终点定位方法 | |
| Rayavarapu et al. | Synthesis of ECG signals using Generative Adversarial Networks | |
| Sumathi | A New Wavelet Transform Based Feature Extraction and Classification of Life-Threatening Cardiac Arrhythmias. | |
| Padmavathi et al. | An Automated Embedded Distribution of Deep Learning Heart Disease Identification System Using ECG Signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |