CN111275093A - 一种用于多标签标注心电信号的心搏分类方法和装置 - Google Patents
一种用于多标签标注心电信号的心搏分类方法和装置 Download PDFInfo
- Publication number
- CN111275093A CN111275093A CN202010052894.4A CN202010052894A CN111275093A CN 111275093 A CN111275093 A CN 111275093A CN 202010052894 A CN202010052894 A CN 202010052894A CN 111275093 A CN111275093 A CN 111275093A
- Authority
- CN
- China
- Prior art keywords
- label
- data
- heart beat
- classification
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000002372 labelling Methods 0.000 title claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 239000012634 fragment Substances 0.000 claims abstract description 29
- 230000004913 activation Effects 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000002861 ventricular Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 102000016550 Complement Factor H Human genes 0.000 claims description 3
- 108010053085 Complement Factor H Proteins 0.000 claims description 3
- 102000003712 Complement factor B Human genes 0.000 claims description 3
- 108090000056 Complement factor B Proteins 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 230000000747 cardiac effect Effects 0.000 description 8
- 206010006578 Bundle-Branch Block Diseases 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 206010006582 Bundle branch block right Diseases 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 210000002837 heart atrium Anatomy 0.000 description 4
- 201000007916 right bundle branch block Diseases 0.000 description 4
- 206010003658 Atrial Fibrillation Diseases 0.000 description 3
- 206010006580 Bundle branch block left Diseases 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 201000001715 left bundle branch hemiblock Diseases 0.000 description 3
- 210000001013 sinoatrial node Anatomy 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010003662 Atrial flutter Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010003130 Arrhythmia supraventricular Diseases 0.000 description 1
- 206010013012 Dilatation ventricular Diseases 0.000 description 1
- 230000001270 agonistic effect Effects 0.000 description 1
- 210000001992 atrioventricular node Anatomy 0.000 description 1
- 210000004375 bundle of his Anatomy 0.000 description 1
- 231100001012 cardiac lesion Toxicity 0.000 description 1
- 210000004413 cardiac myocyte Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000003742 purkinje fiber Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/35—Detecting specific parameters of the electrocardiograph cycle by template matching
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/363—Detecting tachycardia or bradycardia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/364—Detecting abnormal ECG interval, e.g. extrasystoles, ectopic heartbeats
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/366—Detecting abnormal QRS complex, e.g. widening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Pathology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明实施例涉及一种用于多标签标注心电信号的心搏分类方法和装置,方法包括:获取心搏时间序列,并对心搏时间序列进行数据切割,得到多导联心搏数据的多组数据片段;将数据片段输入训练好的多标签分类模型;多标签分类模型包括特征提取模块、全连接层和Sigmoid激活函数层;特征提取模块对送入的数据片段进行特征提取,得到高维嵌入信息,其中包含有每组数据片段对应的心搏类别的信息;将高维嵌入信息送入全连接层,输出为一维向量[1,N];N为数据片段的心搏类别的类别数量;将一维向量[1,N]输入到Sigmoid激活函数层,输出类别数量个心搏类别的概率值;确定概率值是否超过设定概率的阈值,将概率值超过设定概率的阈值的心搏类别输出为心搏分类结果。
Description
技术领域
本发明涉及信号处理技术领域,尤其涉及一种用于多标签标注心电信号的心搏分类方法和装置。
背景技术
心血管疾病是威胁人类健康的主要疾病之一,利用有效的手段对心血管疾病进行检测是目前全世界关注的重要课题。
心电图(ECG)是现代医学中诊断心血管疾病的主要方法,利用ECG诊断各种心血管疾病,本质上就是提取ECG的特征数据对ECG进行分类的过程。
如果进行分类的一个样本只属于一个特定的类别,那么就是传统的单标签分类问。然而,在大多数的分类任务中,一个实例可能同时包含着多个类别信息,因此对于ECG数据中含有心脏病变位置不同而需多标签标注的心电信号的心搏分类的确定,很显然通过传统的单标签分类方式无法实现。
发明内容
本发明的目的是针对现有技术的缺陷,提供一种用于多标签标注心电信号的心搏分类方法,该方法结合心脏激动传导模型,采用了多标签分类模型对心搏数据的数据片段进行心搏分类。多标签分类模型是按照心脏病变位置不同使用多标签方法,对心搏数据的数据片段进行标注和训练得到的。该方法解决了单标签表示可能存在冲突,及疾病复合标注导致样本量过少的问题,有效提高了系统的分类性能。
为实现上述目的,第一方面,本发明提供了一种用于多标签标注心电信号的心搏分类方法,包括:
获取心搏时间序列,并对所述心搏时间序列进行数据切割,得到多导联心搏数据的多组数据片段;所述心搏时间序列包括多导联心搏数据;
将所述数据片段输入训练好的多标签分类模型;所述多标签分类模型包括特征提取模块、全连接层和Sigmoid激活函数层;
所述特征提取模块对送入的所述数据片段进行特征提取,得到高维嵌入信息;所述高维嵌入信息中包含有每组数据片段对应的心搏类别的信息;
将所述高维嵌入信息送入全连接层,输出为一维向量[1,N];其中,N为数据片段的心搏类别的类别数量;
将所述一维向量[1,N]输入到Sigmoid激活函数层,输出所述类别数量个心搏类别的概率值;所述概率值在[0,1]范围内;
确定所述概率值是否超过设定概率的阈值,将概率值超过设定概率的阈值的心搏类别输出为心搏分类结果。
优选的,在将所述数据片段输入训练好的多标签分类模型之前,所述方法还包括:
训练所述多标签分类模型。
进一步优选的,所述训练所述多标签分类模型具体包括:
获取作为训练样本的心搏时间序列,并对所述作为训练样本的心搏时间序列进行数据切割,得到多组样本数据片段;每组样本数据片段具有对应一个或多个手工标注的心搏类别的分类标签;
在所述分类标签中,识别同时具有室性和室上性类型的数据片段的分类标签,并进行标签拆分,得到拆分后的拆分标签,每个拆分标签对应一个心搏类别;
对所述样本数据片段进行数据组合和格式转换处理得到所述训练样本的心搏时间序列的训练样本输出张量和训练样本的拆分标签;
将所述训练样本输出张量和训练样本拆分标签输入待训练的多标签分类模型,根据所述训练样本输出张量得到训练样本的准分类结果的预测值;
根据所述准分类结果的预测值与所述分类标签和/或拆分标签的标签值之间的差异和损失函数,计算多标签分类模型正向传播的损失;
根据多标签分类模型正向传播的损失,利用随机梯度下降算法计算多标签分类模型的反向传播的梯度;
根据所述反向传播的梯度修正所述多标签分类模型的模型参数;
确定所述训练的迭代次数;
当所述迭代次数达到设定的训练次数时,得到所述训练好的多标签分类模型。
进一步优选的,当所述迭代次数未达到设定的训练次数时,对模型参数修正后的多标签分类模型执行下一次迭代的训练。
进一步优选的,对所述数据片段进行处理得到所述心搏时间序列的标签拆分后的输出张量具体包括:
将所述多导联心搏数据的多组数据片段进行数据组合,得到四维张量数据;所述四维张量数据具有四个因子{B,H,W,C},其中因子B为批量数据、因子H为高度数据、因子W为宽度数据、因子C为通道数据;所述批量数据为所述多组心搏分析数据的组数;
对所述四维张量数据进行张量格式转换处理,将所述四维张量数据中的通道数据收缩为1,输出为心搏时间序列的输出张量{B,H1,W1,1}。
进一步优选的,所述根据所述准分类结果的预测值与手工标注标签的标签值之间的差异,计算多标签分类模型正向传播的损失函数具体为:
优选的,所述特征提取模块对送入的所述输出张量进行特征提取具体为:
所述特征提取模块使用卷积神经网络CNN或循环神经网络RNN对送入的所述输出张量进行特征提取。
本发明实施例提供的用于多标签标注心电信号的心搏分类方法,该方法结合心脏激动传导模型,采用了多标签分类模型对心搏数据的数据片段进行心搏分类。多标签分类模型是按照心脏病变位置不同使用多标签方法,对心搏数据的数据片段进行标注和训练得到的。该方法解决了单标签表示可能存在冲突,及疾病复合标注导致样本量过少的问题,有效提高了系统的分类性能。
第二方面,本发明实施例提供了一种设备,该设备包括存储器和处理器,存储器用于存储程序,处理器用于执行第一方面及第一方面的各实现方式中的方法。
第三方面,本发明实施例提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行第一方面及第一方面的各实现方式中的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现第一方面及第一方面的各实现方式中的方法。
附图说明
图1为本发明实施例提供的心脏激动传导系统的示意图;
图2为本发明实施例提供的用于多标签标注心电信号的心搏分类方法流程图;
图3为本发明实施例提供的特征提取模块的结构示意图;
图4为本发明实施例提供的多标签分类模型训练方法步骤流程图;
图5为本发明实施例提供的多标签分类模型训练过程示意图;
图6为本发明实施例提供的一种设备结构示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
本发明实施例提供的用于多标签标注心电信号的心搏分类方法,可以用于结合心脏激动传导模型的多标签标注心电信号的心搏分类。图1为本发明实施例提供的心脏激动传导系统的示意图图,下面结合图1所述,首先对心脏激动传导系统进行说明。
在心脏内发生的激动,由窦房结→心房→房室交界处(房室结+希氏束)→束支→浦肯野纤维这样的途径依次传导至心脏内部。这个途径由具有自律性的特殊心肌细胞组成,称为激动传导系统。在整个激动传导系统中,存在多处发生病变的情况,此时,多处病变最终都会反映在ECG波形,即多导联心搏数据构成的心搏时间序列中。
结合心脏激动传导模型的用于多标签标注心电信号的心搏分类方法步骤流程图如图2所示。其步骤包括:
步骤110,获取心搏时间序列,并对心搏时间序列进行数据切割,得到多导联心搏数据的多组数据片段;
其中,心搏时间序列包括多导联心搏数据。
具体的,可以按照设定数据量对多导联心搏数据进行数据切割,得到多导联心搏数据的多组数据片段。数据切割可以以设定的时间长度或预先设定的心搏数量进行切割。
步骤120,将数据片段输入训练好的多标签分类模型;
具体的,多标签分类模型包括特征提取模块、全连接层和Sigmoid激活函数层。
多标签分类模型的训练过程在下文中进行了详细说明。
步骤130,特征提取模块对数据片段进行特征提取,得到高维嵌入信息;
具体的,特征提取模块使用卷积神经网络CNN或循环神经网络RNN对送入的数据片段进行特征提取。在一个具体应用的例子中,其结构如图3所示。特征提取得到的高维嵌入信息中包含有每组数据片段对应的心搏类别的信息。
步骤140,将高维嵌入信息送入全连接层,输出为一维向量[1,T];
其中,T为数据片段的心搏类别的类别数量;
具体的,特征提取得到的高维嵌入信息(embedding)送至全连接层,这里所说的全连接层是全连接层组成的模块的概念,可以包含一个或者多个全连接层,全连接模块的输出为一维向量[1,T],该输出被送至Sigmoid激活函数层。
步骤150,将一维向量[1,T]输入到Sigmoid激活函数层,输出类别数量个心搏类别的概率值;
具体的,与单分类网络不同,单分类网络的激活函数为softmax函数,而多标签分类网络的激活函数为Sigmoid函数。Sigmoid函数可以使多个类别的输出处于置信度较高的状态。
经过Sigmoid激活函数之后,输出概率值会限制到[0,1]范围内,其物理意义表示样本包含该类别的概率。设定概率的阈值β,超过该值后,认为该类别出现,否则,认为该类别未出现。
步骤160,确定概率值是否超过设定概率的阈值,将概率值超过设定概率的阈值的心搏类别输出为心搏分类结果。
例如:假定心搏类别的类别数量为T=6,β=0.8,其他具体数值见表1,那么,经过激活函数之后,N、CLB、RB类别的概率较高超过阈值。则系统确定N、CLB、RB类别出现。
N | Af | AF | CLB | CRB | RB | |
激活函数之前 | 6.5 | -0.2 | -7.1 | 3.3 | -6 | 2 |
激活函数之后 | 0.9985 | 0.4502 | 0.0008 | 0.9644 | 0.0025 | 0.8808 |
表1
通过以上方法解决了单标签表示可能存在冲突,及疾病复合标注导致样本量过少的问题,有效提高了系统的分类性能。
上述方法中所用的多标签分类模型,是按照心脏病变位置不同使用多标签方法,对心搏数据的数据片段进行标注和训练得到的。具体在以下进行说明。
训练多标签分类模型的主要步骤具体如图4所示包括:
步骤200,获取作为训练样本的心搏时间序列,并对所述作为训练样本的心搏时间序列进行数据切割,得到多组样本数据片段;
具体的,在输入的作为训练样本的心搏时间序列中,数据片段被预先手工标注,标注为对应一个或多个心搏类别的分类标签。
在多标签分类系统中,一个输入X,可以对应于单个标签,也可以对应于多个标签。其中,x1,x2,x3...xn对应于多个样本,Y1,Y2,Y3,Y4对应于标签类别(即分类标签)。
具体的一个例子中可以如下表2所示:
X | Y1 | Y2 | Y3 | Y4 |
x1 | 0 | 1 | 1 | 0 |
x2 | 1 | 0 | 0 | 0 |
x3 | 1 | 0 | 0 | 1 |
... | ... | ... | ... | ... |
xn | 0 | 0 | 1 | 1 |
表2
步骤210,在分类标签中,识别同时具有室性和室上性类型的数据片段的分类标签,并进行标签拆分,得到拆分后的拆分标签;
在一个具体的例子中,拆分可如下表3所示。
其中,不同心搏类别通过拆分标签标识可以为:N表示窦性,CLB表示左束支传导阻滞,CRB表示右束支传导阻滞,Af表示房颤,AF表示房扑,RVH表示右室大。
而分类标签具体可以表示为:
分类标签为N表示片段内的搏动为窦房结触发,此外,心房正常、心室正常。分类标签为N_CRB表示片段内的搏动为窦房结触发,心房正常,但是,心室存在右束支传导阻滞。分类标签还可以包括Af_CLB、AF_RVH、AF_RB等。
本专利识别同时具有室性和室上性类型的数据片段的分类标签并进行标签拆分,得到拆分后的拆分标签。室性的是发生在心室的,而室上性的就是发生在心房的或是房室交界区的。
即对于窦性心律或者房性心律(房扑、房颤),同时伴有心室相关疾病的分类标签进行拆分,将标签拆分为室性部分和室上性部分。室性部分,与心室病变相关,如含有:左束支传导阻滞、右束支传导阻滞等等。
分类标签 | 名称 | 拆分标签 |
N | 窦性 | N |
N_CRB | 窦性,结合右束支传导阻滞 | N+CRB+RB |
Af_CLB | 房颤,结合左束传导支阻滞 | Af+CLB+RB |
AF_RVH | 房扑,结合右室大 | AF+RVH |
AF_RB | 房扑,结合室内传导阻滞 | AF+RB |
表3
也就是说,每个拆分标签对应一个心搏类别。
步骤220,对样本数据片段进行数据组合和格式转换处理得到训练样本的心搏时间序列的训练样本输出张量和训练样本的拆分标签;
对于无需进行标签拆分的训练样本,直接将分类标签作为拆分标签使用。也就是说,将非具有室性和室上性类型的数据片段的分类标签直接作为拆分标签。
组合和格式转换处理具体的,是将多组样本数据片段进行数据组合,得到四维张量数据;其中,四维张量数据具有四个因子{B,H,W,C},其中因子B为批量数据、因子H为高度数据、因子W为宽度数据、因子C为通道数据;批量数据为多组心搏分析数据的组数;然后对四维张量数据进行张量格式转换处理,将四维张量数据中的通道数据收缩为1,输出为样本心搏时间序列的输出张量{B,H1,W1,1}。其中,所得到的标签拆分后的输出张量具有对应的拆分标签;
此步骤由初步特征提取(Stem)模块执行。Stem模块中可以包含卷积运算,也可以使用傅里叶变换、小波变换等频域特征提取方法。Stem模块能够进行初步的特征提取和输入张量的维度调整。维度调整具有两个作用:
(1)为了使得ECG分类网络能够支持多种输入张量数据,以及支持单导联数据和多导联数据,消除输入变化对后续模型的影响;
(2)通过Stem模块可以缩短心搏时间序列的长度。通过缩短心搏时间序列数据长度,可以有效提高整个模型的性能。
步骤230,将训练样本输出张量和训练样本拆分标签输入待训练的多标签分类模型,根据训练样本输出张量得到训练样本的准分类结果的预测值;
具体的,多标签分类模型如上所述包括特征提取模块、全连接层和Sigmoid激活函数层。
特征提取模块使用卷积神经网络CNN或循环神经网络RNN对送入的输出张量进行特征提取。在一个具体应用的例子中,其结构如图3所示。
将高维嵌入信息送入全连接层,基于拆分标签,输出为一维向量[1,T];其中,T为数据片段的心搏类别的类别数量;
具体的,特征提取得到的高维嵌入信息(embedding)送至全连接层,这里所说的全连接层是全连接层组成的模块的概念,可以包含一个或者多个全连接层,全连接模块的输出为一维向量[1,T],该输出被送至Sigmoid激活函数层。
将一维向量[1,T]输入到Sigmoid激活函数层,输出类别数量个心搏类别的概率值;具体的,与单分类网络不同,单分类网络的激活函数为softmax函数,而多标签分类网络的激活函数为Sigmoid函数。Sigmoid函数可以使多个类别的输出处于置信度较高的状态。
经过Sigmoid激活函数之后,输出概率值会限制到[0,1]范围内,其物理意义表示样本包含该类别的概率。设定概率的阈值β,超过该值后,认为该类别出现,否则,认为该类别未出现。
确定概率值是否超过设定概率的阈值,将概率值超过设定概率的阈值的心搏类别输出为分类结果但是输出的分类结果仅作为训练样本的准分类结果的预测值。
步骤240,根据准分类结果的预测值与拆分标签的标签值之间的差异和损失函数,计算多标签分类模型正向传播的损失;
损失函数用来衡量模型输出(预测值)和实际标签间的差异。
在本例中,计算多标签分类模型正向传播的损失函数J(w)具体为:
步骤250,根据多标签分类模型正向传播的损失,利用随机梯度下降算法计算多标签分类模型的反向传播的梯度;
具体执行可以在图5中的优化器中执行,优化器具体是采用Adam优化器,通过优化器计算反向传播的梯度。
步骤260,根据反向传播的梯度修正多标签分类模型的模型参数;
步骤270,确定训练的迭代次数;
具体的,迭代次数的选择目前有两种方式:
一是,根据经验选择一定次数,从多次迭代产生的模型中选择性能最好的。
二是,采用early stopping方法。每迭代一轮(epoch),在测试集上面计算一次模型性能,当在测试集的性能指标开始下降,则停止训练。
步骤280,当迭代次数达到设定的训练次数时,得到训练好的多标签分类模型。
步骤290,当迭代次数未达到设定的训练次数时,对模型参数修正后的多标签分类模型执行下一次迭代的训练。
训练多标签分类模型的过程示意如图5所示,该过程具体执行了上述训练方法。其中图中虚线框内为多标签分类模型。
输入ECG及分类器输入的是训练样本的输出张量和训练样本拆分标签;针对多标签分类模块输出给损失函数的是训练样本实际标签的标签值。
在训练过程中,对于每次输入的训练样本,先通过正向传播计算出损失函数,再使用随机梯度下降算法(如图中所标出的Adam算法),计算反向传播的梯度,不断调整模型参数,从而使得预测值不断接近实际值,最终达到训练的目的。
本发明实施例提供的用于多标签标注心电信号的心搏分类方法,该方法结合心脏激动传导模型,采用了多标签分类模型对心搏数据的数据片段进行心搏分类。多标签分类模型是按照心脏病变位置不同使用多标签方法,对心搏数据的数据片段进行标注和训练得到的。该方法解决了单标签表示可能存在冲突,及疾病复合标注导致样本量过少的问题,有效提高了系统的分类性能。
图6为本发明实施例提供的一种设备结构示意图,该设备包括:处理器和存储器。存储器可通过总线与处理器连接。存储器可以是非易失存储器,例如硬盘驱动器和闪存,存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能;设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序,该软件程序被执行时,能够实现本发明实施例提供的方法。
需要说明的是,本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时,能够实现本发明实施例提供的方法。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得处理器执行上述方法。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种用于多标签标注心电信号的心搏分类方法,其特征在于,所述心搏分类方法包括:
获取心搏时间序列,并对所述心搏时间序列进行数据切割,得到多导联心搏数据的多组数据片段;所述心搏时间序列包括多导联心搏数据;
将所述数据片段输入训练好的多标签分类模型;所述多标签分类模型包括特征提取模块、全连接层和Sigmoid激活函数层;
所述特征提取模块对送入的所述数据片段进行特征提取,得到高维嵌入信息;所述高维嵌入信息中包含有每组数据片段对应的心搏类别的信息;
将所述高维嵌入信息送入全连接层,输出为一维向量[1,N];其中,N为数据片段的心搏类别的类别数量;
将所述一维向量[1,N]输入到Sigmoid激活函数层,输出所述类别数量个心搏类别的概率值;所述概率值在[0,1]范围内;
确定所述概率值是否超过设定概率的阈值,将概率值超过设定概率的阈值的心搏类别输出为心搏分类结果。
2.根据权利要求1所述的心搏分类方法,其特征在于,在将所述数据片段输入训练好的多标签分类模型之前,所述方法还包括:
训练所述多标签分类模型。
3.根据权利要求2所述的心搏分类方法,其特征在于,所述训练所述多标签分类模型具体包括:
获取作为训练样本的心搏时间序列,并对所述作为训练样本的心搏时间序列进行数据切割,得到多组样本数据片段;每组样本数据片段具有对应一个或多个手工标注的心搏类别的分类标签;
在所述分类标签中,识别同时具有室性和室上性类型的数据片段的分类标签,并进行标签拆分,得到拆分后的拆分标签;每个拆分标签对应一个心搏类别;
对所述样本数据片段进行数据组合和格式转换处理得到所述训练样本的心搏时间序列的训练样本输出张量和训练样本的拆分标签;
将所述训练样本输出张量和训练样本拆分标签输入待训练的多标签分类模型,根据所述训练样本输出张量得到训练样本的准分类结果的预测值;
根据所述准分类结果的预测值与所述拆分标签的标签值之间的差异和损失函数,计算多标签分类模型正向传播的损失;
根据多标签分类模型正向传播的损失,利用随机梯度下降算法计算多标签分类模型的反向传播的梯度;
根据所述反向传播的梯度修正所述多标签分类模型的模型参数;
确定所述训练的迭代次数;
当所述迭代次数达到设定的训练次数时,得到所述训练好的多标签分类模型。
4.根据权利要求3所述的心搏分类方法,其特征在于,当所述迭代次数未达到设定的训练次数时,对模型参数修正后的多标签分类模型执行下一次迭代的训练。
5.根据权利要求3所述的心搏分类方法,其特征在于,对所述数据片段进行处理得到所述心搏时间序列的标签拆分后的输出张量具体包括:
将所述多导联心搏数据的多组数据片段进行数据组合,得到四维张量数据;所述四维张量数据具有四个因子{B,H,W,C},其中因子B为批量数据、因子H为高度数据、因子W为宽度数据、因子C为通道数据;所述批量数据为所述多组心搏分析数据的组数;
对所述四维张量数据进行张量格式转换处理,将所述四维张量数据中的通道数据收缩为1,输出为心搏时间序列的输出张量{B,H1,W1,1}。
7.根据权利要求3所述的心搏分类方法,其特征在于,在所述将所述训练样本输出张量和训练样本拆分标签输入待训练的多标签分类模型之前,还包括:
将非具有室性和室上性类型的数据片段的分类标签作为拆分标签。
8.根据权利要求1所述的心搏分类方法,其特征在于,所述特征提取模块对送入的所述输出张量进行特征提取具体为:
所述特征提取模块使用卷积神经网络CNN或循环神经网络RNN对送入的所述输出张量进行特征提取。
9.一种设备,包括存储器和处理器,其特征在于,所述存储器用于存储程序,所述处理器用于执行权利要求1至8任一项所述的方法。
10.一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使所述计算机执行权利要求1至8任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010052894.4A CN111275093B (zh) | 2020-01-17 | 2020-01-17 | 一种用于多标签标注心电信号的心搏分类方法和装置 |
US17/758,937 US20230342595A1 (en) | 2020-01-17 | 2020-12-09 | Heartbeat classification method and device for multi-tag ecg signal labeling |
PCT/CN2020/134755 WO2021143402A1 (zh) | 2020-01-17 | 2020-12-09 | 一种用于多标签标注心电信号的心搏分类方法和装置 |
EP20914175.3A EP4092570A1 (en) | 2020-01-17 | 2020-12-09 | Heartbeat classification method for multi-tag ecg signal labeling, and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010052894.4A CN111275093B (zh) | 2020-01-17 | 2020-01-17 | 一种用于多标签标注心电信号的心搏分类方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275093A true CN111275093A (zh) | 2020-06-12 |
CN111275093B CN111275093B (zh) | 2024-01-26 |
Family
ID=71003508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010052894.4A Active CN111275093B (zh) | 2020-01-17 | 2020-01-17 | 一种用于多标签标注心电信号的心搏分类方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230342595A1 (zh) |
EP (1) | EP4092570A1 (zh) |
CN (1) | CN111275093B (zh) |
WO (1) | WO2021143402A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112022142A (zh) * | 2020-08-07 | 2020-12-04 | 上海联影智能医疗科技有限公司 | 心电信号类型识别方法、装置及介质 |
CN112244855A (zh) * | 2020-11-13 | 2021-01-22 | 上海优加利健康管理有限公司 | 一种面向心电数据的数据处理系统 |
CN112353402A (zh) * | 2020-10-22 | 2021-02-12 | 平安科技(深圳)有限公司 | 心电信号分类模型的训练方法、心电信号分类方法及装置 |
WO2021143402A1 (zh) * | 2020-01-17 | 2021-07-22 | 上海优加利健康管理有限公司 | 一种用于多标签标注心电信号的心搏分类方法和装置 |
WO2022073374A1 (zh) * | 2020-10-10 | 2022-04-14 | 深圳市凯沃尔电子有限公司 | 基于多导联心电信号生成心搏标签数据序列的方法和装置 |
CN117809857A (zh) * | 2024-02-29 | 2024-04-02 | 广州市品众电子科技有限公司 | 一种基于人工智能的vr设备运行数据分析方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114091530A (zh) * | 2021-11-12 | 2022-02-25 | 西安邮电大学 | 心电分类方法、基于域自适应的心电分类模型训练方法 |
WO2024015536A1 (en) * | 2022-07-13 | 2024-01-18 | Impact Vitals, Inc. | Methods and devices for mapping physiological sensor data |
CN115481681B (zh) * | 2022-09-09 | 2024-02-06 | 武汉中数医疗科技有限公司 | 一种基于人工智能的乳腺采样数据的处理方法 |
CN115281676B (zh) * | 2022-10-08 | 2023-01-31 | 齐鲁工业大学 | 基于gru神经网络和ecg信号的疲劳检测方法 |
CN116070120B (zh) * | 2023-04-06 | 2023-06-27 | 湖南归途信息科技有限公司 | 一种多标签时序电生理信号的自动识别方法及系统 |
CN116842330B (zh) * | 2023-08-31 | 2023-11-24 | 庆云县人民医院 | 一种可对比历史记录的保健信息处理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120136255A1 (en) * | 2010-06-07 | 2012-05-31 | Shu Feng Fan | Tissue malignant tumor detection method and tissue malignant tumor detection apparatus |
CN107981858A (zh) * | 2017-11-27 | 2018-05-04 | 乐普(北京)医疗器械股份有限公司 | 基于人工智能的心电图心搏自动识别分类方法 |
CN109377470A (zh) * | 2018-03-20 | 2019-02-22 | 任昊星 | 一种心脏病风险预测系统 |
CN109620152A (zh) * | 2018-12-16 | 2019-04-16 | 北京工业大学 | 一种基于MutiFacolLoss-Densenet的心电信号分类方法 |
CN109948647A (zh) * | 2019-01-24 | 2019-06-28 | 西安交通大学 | 一种基于深度残差网络的心电图分类方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275093B (zh) * | 2020-01-17 | 2024-01-26 | 上海乐普云智科技股份有限公司 | 一种用于多标签标注心电信号的心搏分类方法和装置 |
-
2020
- 2020-01-17 CN CN202010052894.4A patent/CN111275093B/zh active Active
- 2020-12-09 WO PCT/CN2020/134755 patent/WO2021143402A1/zh unknown
- 2020-12-09 EP EP20914175.3A patent/EP4092570A1/en not_active Withdrawn
- 2020-12-09 US US17/758,937 patent/US20230342595A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120136255A1 (en) * | 2010-06-07 | 2012-05-31 | Shu Feng Fan | Tissue malignant tumor detection method and tissue malignant tumor detection apparatus |
CN107981858A (zh) * | 2017-11-27 | 2018-05-04 | 乐普(北京)医疗器械股份有限公司 | 基于人工智能的心电图心搏自动识别分类方法 |
CN109377470A (zh) * | 2018-03-20 | 2019-02-22 | 任昊星 | 一种心脏病风险预测系统 |
CN109620152A (zh) * | 2018-12-16 | 2019-04-16 | 北京工业大学 | 一种基于MutiFacolLoss-Densenet的心电信号分类方法 |
CN109948647A (zh) * | 2019-01-24 | 2019-06-28 | 西安交通大学 | 一种基于深度残差网络的心电图分类方法及系统 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021143402A1 (zh) * | 2020-01-17 | 2021-07-22 | 上海优加利健康管理有限公司 | 一种用于多标签标注心电信号的心搏分类方法和装置 |
CN112022142A (zh) * | 2020-08-07 | 2020-12-04 | 上海联影智能医疗科技有限公司 | 心电信号类型识别方法、装置及介质 |
CN112022142B (zh) * | 2020-08-07 | 2023-10-17 | 上海联影智能医疗科技有限公司 | 心电信号类型识别方法、装置及介质 |
WO2022073374A1 (zh) * | 2020-10-10 | 2022-04-14 | 深圳市凯沃尔电子有限公司 | 基于多导联心电信号生成心搏标签数据序列的方法和装置 |
CN112353402A (zh) * | 2020-10-22 | 2021-02-12 | 平安科技(深圳)有限公司 | 心电信号分类模型的训练方法、心电信号分类方法及装置 |
WO2021179712A1 (zh) * | 2020-10-22 | 2021-09-16 | 平安科技(深圳)有限公司 | 心电信号分类模型的训练方法、心电信号分类方法及装置 |
CN112244855A (zh) * | 2020-11-13 | 2021-01-22 | 上海优加利健康管理有限公司 | 一种面向心电数据的数据处理系统 |
CN112244855B (zh) * | 2020-11-13 | 2022-08-26 | 上海乐普云智科技股份有限公司 | 一种面向心电数据的数据处理系统 |
CN117809857A (zh) * | 2024-02-29 | 2024-04-02 | 广州市品众电子科技有限公司 | 一种基于人工智能的vr设备运行数据分析方法 |
CN117809857B (zh) * | 2024-02-29 | 2024-06-07 | 广州市品众电子科技有限公司 | 一种基于人工智能的vr设备运行数据分析方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4092570A1 (en) | 2022-11-23 |
WO2021143402A1 (zh) | 2021-07-22 |
US20230342595A1 (en) | 2023-10-26 |
CN111275093B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275093B (zh) | 一种用于多标签标注心电信号的心搏分类方法和装置 | |
CN107822622B (zh) | 基于深度卷积神经网络的心电图诊断方法和系统 | |
CN110890155B (zh) | 一种基于导联注意力机制的多类心律失常检测方法 | |
KR102451795B1 (ko) | 심전도 신호의 검출 방법 | |
CN108875575B (zh) | 基于多通道信号融合深度神经网络自动心律失常分析方法 | |
EP3692901B1 (en) | Automatic recognition and classification method for electrocardiogram heartbeat based on artificial intelligence | |
CN111626114B (zh) | 基于卷积神经网络的心电信号心律失常分类系统 | |
CN111310572B (zh) | 利用心搏时间序列生成心搏标签序列的处理方法和装置 | |
CN108720831B (zh) | 一种基于导联深度神经网络的自动心律失常分析方法 | |
CN108937912B (zh) | 一种基于深度神经网络的自动心律失常分析方法 | |
CN106108880B (zh) | 一种心拍自动识别方法及系统 | |
CN115470828A (zh) | 基于卷积与自注意力机制的多导联心电图分类识别方法 | |
CN109077714B (zh) | 信号识别方法、装置、设备和存储介质 | |
CN110558975B (zh) | 一种心电信号分类方法及系统 | |
CN111956214A (zh) | 基于U-net端对端神经网络模型的QRS波自动检测方法 | |
CN111657925A (zh) | 基于机器学习的心电信号分类方法、系统、终端以及存储介质 | |
CN111803059A (zh) | 一种基于时域卷积网络的心电信号分类方法及装置 | |
CN116981405A (zh) | 用于实时分析电描记图的计算机设备 | |
Chen et al. | Transfer learning for electrocardiogram classification under small dataset | |
CN113069124A (zh) | 一种基于cnn-et模型的心电监测方法 | |
CN114224355A (zh) | 心电信号分类训练方法、分类方法、装置及存储介质 | |
Yang et al. | The Fusion Model of ResNet and GRU Based on Simplified Self-Attention for ECG Classification on PTB-XL Dataset | |
CN114224354B (zh) | 心律失常分类方法、装置及可读存储介质 | |
CN115607166A (zh) | 一种心电信号智能分析方法及系统、智能心电辅助系统 | |
CN114190889A (zh) | 心电信号的分类方法、系统、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 201612 16 / F, block a, no.668, Xinzhuan Road, Songjiang District, Shanghai Applicant after: Shanghai Lepu Yunzhi Technology Co.,Ltd. Address before: 201612 16 / F, block a, no.668, Xinzhuan Road, Songjiang District, Shanghai Applicant before: SHANGHAI YOCALY HEALTH MANAGEMENT Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |