CN116458894A - 基于复合型生成对抗网络的心电信号增强与分类方法 - Google Patents

基于复合型生成对抗网络的心电信号增强与分类方法 Download PDF

Info

Publication number
CN116458894A
CN116458894A CN202310430431.0A CN202310430431A CN116458894A CN 116458894 A CN116458894 A CN 116458894A CN 202310430431 A CN202310430431 A CN 202310430431A CN 116458894 A CN116458894 A CN 116458894A
Authority
CN
China
Prior art keywords
convolution
layer
feature
input
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310430431.0A
Other languages
English (en)
Other versions
CN116458894B (zh
Inventor
王英龙
杜甜甜
舒明雷
李金宝
高天雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202310430431.0A priority Critical patent/CN116458894B/zh
Publication of CN116458894A publication Critical patent/CN116458894A/zh
Application granted granted Critical
Publication of CN116458894B publication Critical patent/CN116458894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种基于复合型生成对抗网络的心电信号增强与分类方法，通过使用深度残差网络构建生成器，使生成器学习到更复杂的数据分布，提高了生成器的泛化能力，能够帮助生成器生成更真实的样本。构建的生成对抗网络模型可通过控制类别向量的取值，使生成器生成不同类别的数据，同时使用鉴别器的辅助分类器模块，可直接实现对生成数据的分类，节约了分类的时间及计算资源。

Description

基于复合型生成对抗网络的心电信号增强与分类方法
技术领域
本发明涉及心电信号处理技术领域，具体涉及一种基于复合型生成对抗网络的心电信号增强与分类方法。
背景技术
由于目前心电数据库中的心电数据样本比例的严重不平衡，心电图分类模型的分类准确率往往会受到严重影响，尤其是对于一些样本数据较少的类型，其分类结果也往往不能满足实际需求。所以，对ECG进行有效的增强与分类，对于ECG的研究是非常重要的。
神经网络的方法是目前常用于心电信号处理领域的方法，其中，生成对抗网络在图像领域已经取得了不错的成果。目前，生成对抗网络也逐渐开始应用于信号处理方面，例如音频、语音等领域，在心电信号处理领域上使用的频率也越来越多，也有越来越多的研究开始使用生成对抗网络生成心电信号，但是大多数研究仅仅使用生成对抗网络生成心电信号，然后单独建立分类模型进行分类，并未形成一套完整的生成——分类系统，生成信号的质量也难以得到保证，并且这种方法需要更多的资源和时间。
发明内容
本发明为了克服以上技术的不足，提供了一种提高分类准确度、节约分类时间和计算资源的基于复合型生成对抗网络的心电信号增强与分类方法。
本发明克服其技术问题所采用的技术方案是：
一种基于复合型生成对抗网络的心电信号增强与分类方法，包括如下步骤：
a)遍历MIT-BIH数据集，得到原始心电信号数据集E，E＝{E1,E2,...,Et,...,ES}，Et为第t条ECG数据，每条ECG数据的数据点个数均为N，每条ECG数据的维度均为1*N维，t∈{1,2,...,S}，S为ECG数据的总数，第t条ECG数据对应的分类标签为labelt，分类标签数据集为label，label＝{label1,label2,...,labelt,...,labelS}，原始心电信号数据集E中共包括C个类别，原始心电信号数据集E共有L种类别标签，L∈{0,1,...,i,...,C-1}，i为第i+1类别的心电信号数据对应的类别标签值；
b)建立由生成器网络和鉴别器网络构成的生成对抗网络模型，按照批次大小batch从分类标签数据集label中获取类别标签集合labelbatch，定义维度为batch*1*N的随机噪声Noisefixed，将随机噪声Noisefixed和类别标签集合labelbatch依次输入到生成对抗网络模型的生成器网络中，输出得到合成信号集合Eg；
c)将原始心电信号数据集E输入到生成对抗网络模型的鉴别器网络中，得到判断输入信号为真或假的二元标签Ed及将输入信号进行分类的类别概率集Pr，Pr＝{Pr1,Pr2,...,Prt,...,PrS}，Prt为第t条ECG数据Et的类别概率，t∈{1,2,...,S}，选取别概率集Pr中的最大值对应的类别标签Lr，Lr∈L，根据类别标签Lr确定其所属类别；合成信号集合Eg输入到生成对抗网络模型的鉴别器网络中，得到判断输入信号为真或假的二元标签及将输入信号进行分类的类别概率集Pf，选取别概率集Pf中的最大值对应的类别标签Lf，Lf∈L，根据类别标签Lf确定其所属类别；
d)利用博弈方法对生成器网络和鉴别器网络进行训练；
e)将维度为batch*1*N维的随机噪声Ng及随机噪声Ng对应batch数量的类别标签形成的类别标签集合输入到训练后的生成器网络中，输出得到多种类别的心电数据EG；
f)将多种类别的心电数据EG添加到原始心电信号数据集E相加得到新的数据集Enew，将新的数据集Enew输入到训练后的鉴别器网络中得到将输入信号进行分类的类别概率集Pnew，Pnew＝{Pnew1,Pnew2,...,Pnewt,...,PnewD}，Pnewt为第t条新的数据类别概率，t∈{1,2,...,D}，D为新的数据集Enew中的数据总数，选取别概率集Pnew中的最大值对应的类别标签Lnew，Lnew∈L，根据类别标签Lnew确定其所属类别作为分类结果。
进一步的，步骤b)包括如下步骤：
b-1)生成器网络依次由第一卷积块、第一残差块、第二残差块、第三残差块、第四残差块、第二卷积块、全连接模块构成；
b-2)生成器网络的第一卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将随机噪声Noisefixed及类别标签集合labelbatch输入到第一卷积块的卷积层中，输出得到特征E1-1，将特征E1-1输入到第一卷积块的BatchNorm1d层中，输出得到特征E1-2，将特征E1-2输入到第一卷积块的Relu激活函数层中，输出得到特征E1；
b-3)生成器网络的第一残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E1输入到第一残差块中，输出得到特征E2；
b-4)生成器网络的第二残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E2输入到第二残差块中，输出得到特征E3；
b-5)生成器网络的第三残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E3输入到第三残差块中，输出得到特征E4；
b-6)生成器网络的第四残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E4输入到第四残差块中，输出得到特征E5；
b-7)生成器网络的第二卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将特征E5输入到第二卷积块中，输出得到特征E6；
b-8)将特征E6输入到生成器网络的全连接模块中，输出得到合成信号集合Eg。优选的，步骤b-2)中第一卷积块的卷积层的卷积核大小为1×3、步长为1、填充为1；步骤b-3)中第一残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤b-4)中第二残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤b-5)中第三残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤b-6)中第四残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤b-7)中第二卷积块的卷积层的卷积核大小为1×3、步长为1、填充为1。
进一步的，步骤c)包括如下步骤：
c-1)鉴别器网络依次由第三卷积块、TCE-Net模块、第一全连接模块、第二全连接模块构成；
c-2)鉴别器网络的第三卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将原始心电信号数据集E输入到第三卷积块的卷积层中，输出得到特征E7-1，将特征E7-1输入到第三卷积块的BatchNorm1d层中，输出得到特征E7-2，将特征E7-2输入到第三卷积块的Relu激活函数层中，输出得到特征E7；
c-3)鉴别器网络的TCE-Net模块由深度卷积网络、TE-Net模块构成，深度卷积网络依次由第四卷积块、第五卷积块、第六卷积块构成；
c-4)TCE-Net模块的第四卷积块依次由第一卷积层、第二卷积层构成，将特征E7输入到第四卷积块中，输出得到特征E8；
c-5)TCE-Net模块的第五卷积块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层构成，将特征E8输入到第五卷积块中，输出得到特征E9；
c-6)TCE-Net模块的第六卷积块依次由第一卷积层、第二卷积层、第三卷积层构成，将特征E9输入到第六卷积块中，输出得到特征E10；
c-7)TE-Net模块依次由第七卷积块、第一GRU模块、第二GRU模块、平均池化层、全连接层构成；
c-8)TE-Net模块的第七卷积块依次由自适应卷积层、Leaky ReLU激活函数层构成，将特征E10输入到七卷积块中，输出得到特征E11；
c-9)将特征E10与特征E11进行拼接操作，得到特征E12，将特征E12输入到第一GRU模块中，输出得到特征E13，将特征E12输入到第二GRU模块中，输出得到特征E14；
c-10)将特征E13及特征E14输入到TE-Net模块的平均池化层，输出得到特征E15，将特征E12与特征E15进行拼接操作，得到特征E16；
c-11)将特征E16输入到TE-Net模块的全连接层中，输出得到特征E17；c-12)鉴别器网络的第一全连接模块依次由全连接层、sigmoid激活函数层构成，将特征E17输入到的第一全连接模块中，输出得到判断输入信号为真或假的二元标签Ed；
c-13)鉴别器网络的第二全连接模块依次由全连接层、softmax激活函数层构成，将特征E17输入到的第二全连接模块中，输出得到将输入信号进行分类的类别概率集Pr；
c-14)将合成信号集合Eg输入到鉴别器网络的第三卷积块的卷积层中，输出得到特征Eg7-1，将特征Eg7-1输入到第三卷积块的BatchNorm1d层中，输出得到特征Eg7-2，将特征Eg7-2输入到第三卷积块的Relu激活函数层中，输出得到特征Eg7；
c-15)将特征Eg7输入到TCE-Net模块的第四卷积块中，输出得到特征Eg8；c-16)将特征Eg8输入到TCE-Net模块的第五卷积块中，输出得到特征Eg9；
c-17)将特征Eg9输入到TCE-Net模块的第六卷积块中，输出得到特征Eg10；
c-18)将特征Eg10输入到TE-Net模块的第七卷积块中，输出得到特征Eg11；
c-19)将特征Eg10与特征Eg11进行拼接操作，得到特征Eg12，将特征Eg12输入到第一GRU模块中，输出得到特征Eg13，将特征Eg12输入到第二GRU模块中，输出得到特征Eg14；
c-20)将特征Eg13及特征Eg14输入到TE-Net模块的平均池化层，输出得到特征Eg15，将特征Eg12与特征Eg15进行拼接操作，得到特征Eg16；
c-21)将特征Eg16输入到TE-Net模块的全连接层中，输出得到特征Eg17；
c-22)将特征Eg17输入到的第一全连接模块中，输出得到判断输入信号为真或假的二元标签
c-23)将特征Eg17输入到的第二全连接模块中，输出得到将输入信号进行分类的类别概率集Pf。
优选的，步骤c-2)中鉴别器网络的第三卷积的卷积层的卷积核大小为1×3、步长为1、填充为1；步骤c-4)中TCE-Net模块的第四卷积块的第一卷积层与第二卷积层的卷积核大小均为1×7、步长均为1、填充均为1；步骤c-5)中TCE-Net模块的第五卷积块的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤c-6)中TCE-Net模块的第六卷积块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤c-8)中第七卷积块的自适应卷积层的步长为1、填充为1。
进一步的，步骤d)包括如下步骤：
d-1)构造全1的真实标签Lreal，构造全0的虚假标签Lfake；
d-2)通过公式
计算得到鉴别器网络的损失函数lossD，式中crossentopy(·)为交叉熵损失函数，β为平衡因子；
d-3)通过公式
计算得生成器网络的损失函数lossG；
d-4)利用Adam优化器，通过生成器网络的损失函数lossG训练生成器网络，通过鉴别器网络的损失函数lossD训练鉴别器网络，得到优化后的生成对抗网络模型。
优选的，步骤d-2)中β＝0.1，步骤d-4)中训练时生成器网络与鉴别器网络的学习率均设置为0.0002，批次大小均为128，迭代次数均为2400次，生成器网络与鉴别器网络的学习率每300次更新为原来的0.1倍。
本发明的有益效果是：通过使用深度残差网络构建生成器，使生成器学习到更复杂的数据分布，提高了生成器的泛化能力，能够帮助生成器生成更真实的样本。构建的生成对抗网络模型可通过控制类别向量的取值，使生成器生成不同类别的数据，同时使用鉴别器的辅助分类器模块，可直接实现对生成数据的分类，节约了分类的时间及计算资源。
附图说明
图1为本发明的生成器网络的结构图
图2为本发明的判别器网络的结构图。
具体实施方式
下面结合附图1、附图2对本发明做进一步说明。
一种基于复合型生成对抗网络的心电信号增强与分类方法，包括如下步骤：
a)遍历MIT-BIH数据集，得到原始心电信号数据集E，E＝{E1,E2,...,Et,...,ES}，Et为第t条ECG数据，每条ECG数据的数据点个数均为N，每条ECG数据的维度均为1*N维，t∈{1,2,...,S}，S为ECG数据的总数，第t条ECG数据对应的分类标签为labelt，分类标签数据集为label，label＝{label1,label2,...,labelt,...,labelS}，原始心电信号数据集E中共包括C个类别，原始心电信号数据集E共有L种类别标签，L∈{0,1,…,i,…,C-1}，i为第i+1类别的心电信号数据对应的类别标签值。
b)建立由生成器网络和鉴别器网络构成的生成对抗网络模型，按照批次大小batch从分类标签数据集label中获取类别标签集合labelbatch，定义维度为batch*1*N的随机噪声Noisefixed，将随机噪声Noisefixed和类别标签集合labelbatch依次输入到生成对抗网络模型的生成器网络中，输出得到合成信号集合Eg。
c)将原始心电信号数据集E输入到生成对抗网络模型的鉴别器网络中，得到判断输入信号为真或假的二元标签Ed及将输入信号进行分类的类别概率集Pr，Pr＝{Pr1,Pr2,...,Prt,...,PrS}，Prt为第t条ECG数据Et的类别概率，t∈{1,2,...,S}，选取别概率集Pr中的最大值对应的类别标签Lr，Lr∈L，根据类别标签Lr确定其所属类别；合成信号集合Eg输入到生成对抗网络模型的鉴别器网络中，得到判断输入信号为真或假的二元标签及将输入信号进行分类的类别概率集Pf，选取别概率集Pf中的最大值对应的类别标签Lf，Lf∈L，根据类别标签Lf确定其所属类别。
d)利用博弈方法对生成器网络和鉴别器网络进行训练。
e)将维度为batch*1*N维的随机噪声Ng及随机噪声Ng对应batch数量的类别标签形成的类别标签集合输入到训练后的生成器网络中，输出得到多种类别的心电数据EG。
f)将多种类别的心电数据EG添加到原始心电信号数据集E相加得到新的数据集Enew，将新的数据集Enew输入到训练后的鉴别器网络中得到将输入信号进行分类的类别概率集Pnew，Pnew＝{Pnew1,Pnew2,...,Pnewt,...,PnewD}，Pnewt为第t条新的数据类别概率，t∈{1,2,…,D}，D为新的数据集Enew中的数据总数，选取别概率集Pnew中的最大值对应的类别标签Lnew，Lnew∈L，根据类别标签Lnew确定其所属类别作为分类结果。
在鉴别器中提出了一个时间学习模块TCE-Net,网络采用双分支结构，通过使用深度卷积网络更好的提取数据的局部特征，并生成更高层次的表示，通过使用自适应卷积层自动调整卷积核的大小，使模型能够更好的处理不同长度的输入数据，同时使用两个独立的GRU分支结构以捕获输入数据中的长期依赖关系，并使用平均池化层获取输入数据的关键特征，以提高对输入数据真假辨别的精准度和分类的准确度。构建的生成对抗网络模型可通过控制类别向量的取值，使生成器生成不同类别的数据，同时使用鉴别器的辅助分类器模块，可直接实现对生成数据的分类，节约了分类的时间及计算资源。
实施例1：
步骤b)包括如下步骤：
b-1)生成器网络依次由第一卷积块、第一残差块、第二残差块、第三残差块、第四残差块、第二卷积块、全连接模块构成。
b-2)生成器网络的第一卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将随机噪声Noisefixed及类别标签集合labelbatch输入到第一卷积块的卷积层中，输出得到特征E1-1，将特征E1-1输入到第一卷积块的BatchNorm1d层中，输出得到特征E1-2，将特征E1-2输入到第一卷积块的Relu激活函数层中，输出得到特征E1。
b-3)生成器网络的第一残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E1输入到第一残差块中，输出得到特征E2。
b-4)生成器网络的第二残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E2输入到第二残差块中，输出得到特征E3。
b-5)生成器网络的第三残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E3输入到第三残差块中，输出得到特征E4。
b-6)生成器网络的第四残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E4输入到第四残差块中，输出得到特征E5。
b-7)生成器网络的第二卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将特征E5输入到第二卷积块中，输出得到特征E6。
b-8)将特征E6输入到生成器网络的全连接模块中，输出得到合成信号集合Eg。在本发明的实施例1中，优选的，步骤b-2)中第一卷积块的卷积层的卷积核大小为1×3、步长为1、填充为1；步骤b-3)中第一残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤b-4)中第二残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤b-5)中第三残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤b-6)中第四残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤b-7)中第二卷积块的卷积层的卷积核大小为1×3、步长为1、填充为1。
实施例2：
步骤c)包括如下步骤：
c-1)鉴别器网络依次由第三卷积块、TCE-Net模块、第一全连接模块、第二全连接模块构成。
c-2)鉴别器网络的第三卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将原始心电信号数据集E输入到第三卷积块的卷积层中，输出得到特征E7-1，将特征E7-1输入到第三卷积块的BatchNorm1d层中，输出得到特征E7-2，将特征E7-2输入到第三卷积块的Relu激活函数层中，输出得到特征E7。
c-3)鉴别器网络的TCE-Net模块由深度卷积网络、TE-Net模块构成，深度卷积网络依次由第四卷积块、第五卷积块、第六卷积块构成。
c-4)TCE-Net模块的第四卷积块依次由第一卷积层、第二卷积层构成，将特征E7输入到第四卷积块中，输出得到特征E8。
c-5)TCE-Net模块的第五卷积块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层构成，将特征E8输入到第五卷积块中，输出得到特征E9。c-6)TCE-Net模块的第六卷积块依次由第一卷积层、第二卷积层、第三卷积层构成，将特征E9输入到第六卷积块中，输出得到特征E10。
c-7)TE-Net模块依次由第七卷积块、第一GRU模块、第二GRU模块、平均池化层、全连接层构成。
c-8)TE-Net模块的第七卷积块依次由自适应卷积层、Leaky ReLU激活函数层构成，将特征E10输入到七卷积块中，输出得到特征E11。
c-9)将特征E10与特征E11进行拼接操作，得到特征E12，将特征E12输入到第一GRU模块中，输出得到特征E13，将特征E12输入到第二GRU模块中，输出得到特征E14。
c-10)将特征E13及特征E14输入到TE-Net模块的平均池化层，输出得到特征E15，将特征E12与特征E15进行拼接操作，得到特征E16。
c-11)将特征E16输入到TE-Net模块的全连接层中，输出得到特征E17。
c-12)鉴别器网络的第一全连接模块依次由全连接层、sigmoid激活函数层构成，将特征E17输入到的第一全连接模块中，输出得到判断输入信号为真或假的二元标签Ed。
c-13)鉴别器网络的第二全连接模块依次由全连接层、softmax激活函数层构成，将特征E17输入到的第二全连接模块中，输出得到将输入信号进行分类的类别概率集Pr。
c-14)将合成信号集合Eg输入到鉴别器网络的第三卷积块的卷积层中，输出得到特征Eg7-1，将特征Eg7-1输入到第三卷积块的BatchNorm1d层中，输出得到特征Eg7-2，将特征Eg7-2输入到第三卷积块的Relu激活函数层中，输出得到特征Eg7。
c-15)将特征Eg7输入到TCE-Net模块的第四卷积块中，输出得到特征Eg8。
c-16)将特征Eg8输入到TCE-Net模块的第五卷积块中，输出得到特征Eg9。
c-17)将特征Eg9输入到TCE-Net模块的第六卷积块中，输出得到特征Eg10。
c-18)将特征Eg10输入到TE-Net模块的第七卷积块中，输出得到特征Eg11。
c-19)将特征Eg10与特征Eg11进行拼接操作，得到特征Eg12，将特征Eg12输入到第一GRU模块中，输出得到特征Eg13，将特征Eg12输入到第二GRU模块中，输出得到特征Eg14。
c-20)将特征Eg13及特征Eg14输入到TE-Net模块的平均池化层，输出得到特征Eg15，将特征Eg12与特征Eg15进行拼接操作，得到特征Eg16。
c-21)将特征Eg16输入到TE-Net模块的全连接层中，输出得到特征Eg17。
c-22)将特征Eg17输入到的第一全连接模块中，输出得到判断输入信号为真或假的二元标签
c-23)将特征Eg17输入到的第二全连接模块中，输出得到将输入信号进行分类的类别概率集Pf。
在本发明的实施例2中，优选的，步骤c-2)中鉴别器网络的第三卷积的卷积层的卷积核大小为1×3、步长为1、填充为1；步骤c-4)中TCE-Net模块的第四卷积块的第一卷积层与第二卷积层的卷积核大小均为1×7、步长均为1、填充均为1；步骤c-5)中TCE-Net模块的第五卷积块的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤c-6)中TCE-Net模块的第六卷积块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤c-8)中第七卷积块的自适应卷积层的步长为1、填充为1。
实施例3：
步骤d)包括如下步骤：
d-1)构造全1的真实标签Lreal，构造全0的虚假标签Lfake。
d-2)通过公式
计算得到鉴别器网络的损失函数lossD，式中crossentopy(·)为交叉熵损失函数，β为平衡因子。
d-3)通过公式
计算得生成器网络的损失函数lossG。
d-4)利用Adam优化器，通过生成器网络的损失函数lossG训练生成器网络，通过鉴别器网络的损失函数lossD训练鉴别器网络，得到优化后的生成对抗网络模型。
在本发明的实施例3中，优选的，步骤d-2)中β＝0.1，步骤d-4)中训练时生成器网络与鉴别器网络的学习率均设置为0.0002，批次大小均为128，迭代次数均为2400次，生成器网络与鉴别器网络的学习率每300次更新为原来的0.1倍。最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于复合型生成对抗网络的心电信号增强与分类方法，其特征在于，包括如下步骤：
a)遍历MIT-BIH数据集，得到原始心电信号数据集E，E＝{E1,E2,...,Et,...,ES}，Et为第t条ECG数据，每条ECG数据的数据点个数均为N，每条ECG数据的维度均为1*N维，t∈{1,2,...,S}，S为ECG数据的总数，第t条ECG数据对应的分类标签为labelt，分类标签数据集为label，label＝{label1,label2,...,labelt,...,labelS}，原始心电信号数据集E中共包括C个类别，原始心电信号数据集E共有L种类别标签，L∈{0,1,...,i,...,C-1}，i为第i+1类别的心电信号数据对应的类别标签值；
b)建立由生成器网络和鉴别器网络构成的生成对抗网络模型，按照批次大小batch从分类标签数据集label中获取类别标签集合labelbatch，定义维度为batch*1*N的随机噪声Noisefixed，将随机噪声Noisefixed和类别标签集合labelbatch依次输入到生成对抗网络模型的生成器网络中，输出得到合成信号集合Eg；
c)将原始心电信号数据集E输入到生成对抗网络模型的鉴别器网络中，得到判断输入信号为真或假的二元标签Ed及将输入信号进行分类的类别概率集Pr，Pr＝{Pr1,Pr2,...,Prt,...,PrS}，Prt为第t条ECG数据Et的类别概率，t∈{1,2,...,S}，选取别概率集Pr中的最大值对应的类别标签Lr，Lr∈L，根据类别标签Lr确定其所属类别；合成信号集合Eg输入到生成对抗网络模型的鉴别器网络中，得到判断输入信号为真或假的二元标签及将输入信号进行分类的类别概率集Pf，选取别概率集Pf中的最大值对应的类别标签Lf，Lf∈L，根据类别标签Lf确定其所属类别；
d)利用博弈方法对生成器网络和鉴别器网络进行训练；
e)将维度为batch*1*N维的随机噪声Ng及随机噪声Ng对应batch数量的类别标签形成的类别标签集合输入到训练后的生成器网络中，输出得到多种类别的心电数据EG；
f)将多种类别的心电数据EG添加到原始心电信号数据集E相加得到新的数据集Enew，将新的数据集Enew输入到训练后的鉴别器网络中得到将输入信号进行分类的类别概率集Pnew，Pnew＝{Pnew1,Pnew2,...,Pnewt,...,PnewD}，Pnewt为第t条新的数据类别概率，t∈{1,2,...,D}，D为新的数据集Enew中的数据总数，选取别概率集Pnew中的最大值对应的类别标签Lnew，Lnew∈L，根据类别标签Lnew确定其所属类别作为分类结果。
2.根据权利要求1所述的基于复合型生成对抗网络的心电信号增强与分类方法，其特征在于，步骤b)包括如下步骤：
b-1)生成器网络依次由第一卷积块、第一残差块、第二残差块、第三残差块、第四残差块、第二卷积块、全连接模块构成；
b-2)生成器网络的第一卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将随机噪声Noisefixed及类别标签集合labelbatch输入到第一卷积块的卷积层中，输出得到特征E1-1，将特征E1-1输入到第一卷积块的BatchNorm1d层中，输出得到特征E1-2，将特征E1-2输入到第一卷积块的Relu激活函数层中，输出得到特征E1；
b-3)生成器网络的第一残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E1输入到第一残差块中，输出得到特征E2；
b-4)生成器网络的第二残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E2输入到第二残差块中，输出得到特征E3；
b-5)生成器网络的第三残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E3输入到第三残差块中，输出得到特征E4；
b-6)生成器网络的第四残差块依次由第一卷积层、第二卷积层、第一BatchNorm1d层、Leaky ReLU激活函数层、第三卷积层、第四卷积层、第二BatchNorm1d层构成，将特征E4输入到第四残差块中，输出得到特征E5；
b-7)生成器网络的第二卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将特征E5输入到第二卷积块中，输出得到特征E6；
b-8)将特征E6输入到生成器网络的全连接模块中，输出得到合成信号集合Eg。
3.根据权利要求2所述的基于复合型生成对抗网络的心电信号增强与分类方法，其特征在于：步骤b-2)中第一卷积块的卷积层的卷积核大小为1×3、步长为1、填充为1；步骤b-3)中第一残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤b-4)中第二残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤b-5)中第三残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤b-6)中第四残差块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤b-7)中第二卷积块的卷积层的卷积核大小为1×3、步长为1、填充为1。
4.根据权利要求1所述的基于复合型生成对抗网络的心电信号增强与分类方法，其特征在于，步骤c)包括如下步骤：
c-1)鉴别器网络依次由第三卷积块、TCE-Net模块、第一全连接模块、第二全连接模块构成；
c-2)鉴别器网络的第三卷积块依次由卷积层、BatchNorm1d层、ReLU激活函数层构成，将原始心电信号数据集E输入到第三卷积块的卷积层中，输出得到特征E7-1，将特征E7-1输入到第三卷积块的BatchNorm1d层中，输出得到特征E7-2，将特征E7-2输入到第三卷积块的Relu激活函数层中，输出得到特征E7；
c-3)鉴别器网络的TCE-Net模块由深度卷积网络、TE-Net模块构成，深度卷积网络依次由第四卷积块、第五卷积块、第六卷积块构成；
c-4)TCE-Net模块的第四卷积块依次由第一卷积层、第二卷积层构成，将特征E7输入到第四卷积块中，输出得到特征E8；
c-5)TCE-Net模块的第五卷积块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层构成，将特征E8输入到第五卷积块中，输出得到特征E9；c-6)TCE-Net模块的第六卷积块依次由第一卷积层、第二卷积层、第三卷积层构成，将特征E9输入到第六卷积块中，输出得到特征E10；
c-7)TE-Net模块依次由第七卷积块、第一GRU模块、第二GRU模块、平均池化层、全连接层构成；
c-8)TE-Net模块的第七卷积块依次由自适应卷积层、Leaky ReLU激活函数层构成，将特征E10输入到七卷积块中，输出得到特征E11；
c-9)将特征E10与特征E11进行拼接操作，得到特征E12，将特征E12输入到第一GRU模块中，输出得到特征E13，将特征E12输入到第二GRU模块中，输出得到特征E14；
c-10)将特征E13及特征E14输入到TE-Net模块的平均池化层，输出得到特征E15，将特征E12与特征E15进行拼接操作，得到特征E16；
c-11)将特征E16输入到TE-Net模块的全连接层中，输出得到特征E17；
c-12)鉴别器网络的第一全连接模块依次由全连接层、sigmoid激活函数层构成，将特征E17输入到的第一全连接模块中，输出得到判断输入信号为真或假的二元标签Ed；
c-13)鉴别器网络的第二全连接模块依次由全连接层、softmax激活函数层构成，将特征E17输入到的第二全连接模块中，输出得到将输入信号进行分类的类别概率集Pr；
c-14)将合成信号集合Eg输入到鉴别器网络的第三卷积块的卷积层中，输出得到特征Eg7-1，将特征Eg7-1输入到第三卷积块的BatchNorm1d层中，输出得到特征Eg7-2，将特征Eg7-2输入到第三卷积块的Relu激活函数层中，输出得到特征Eg7；
c-15)将特征Eg7输入到TCE-Net模块的第四卷积块中，输出得到特征Eg8；c-16)将特征Eg8输入到TCE-Net模块的第五卷积块中，输出得到特征Eg9；c-17)将特征Eg9输入到TCE-Net模块的第六卷积块中，输出得到特征Eg10；c-18)将特征Eg10输入到TE-Net模块的第七卷积块中，输出得到特征Eg11；c-19)将特征Eg10与特征Eg11进行拼接操作，得到特征Eg12，将特征Eg12输入到第一GRU模块中，输出得到特征Eg13，将特征Eg12输入到第二GRU模块中，输出得到特征Eg14；
c-20)将特征Eg13及特征Eg14输入到TE-Net模块的平均池化层，输出得到特征Eg15，将特征Eg12与特征Eg15进行拼接操作，得到特征Eg16；
c-21)将特征Eg16输入到TE-Net模块的全连接层中，输出得到特征Eg17；c-22)将特征Eg17输入到的第一全连接模块中，输出得到判断输入信号为真或假的二元标签
c-23)将特征Eg17输入到的第二全连接模块中，输出得到将输入信号进行分类的类别概率集Pf。
5.根据权利要求4所述的基于复合型生成对抗网络的心电信号增强与分类方法，其特征在于：步骤c-2)中鉴别器网络的第三卷积的卷积层的卷积核大小为1×3、步长为1、填充为1；步骤c-4)中TCE-Net模块的第四卷积块的第一卷积层与第二卷积层的卷积核大小均为1×7、步长均为1、填充均为1；步骤c-5)中TCE-Net模块的第五卷积块的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层的卷积核大小均为1×5、步长均为1、填充均为1；步骤c-6)中TCE-Net模块的第六卷积块的第一卷积层、第二卷积层、第三卷积层的卷积核大小均为1×3、步长均为1、填充均为1；步骤c-8)中第七卷积块的自适应卷积层的步长为1、填充为1。
6.根据权利要求1所述的基于复合型生成对抗网络的心电信号增强与分类方法，其特征在于，步骤d)包括如下步骤：
d-1)构造全1的真实标签Lreal，构造全0的虚假标签Lfake；
d-2)通过公式
计算得到鉴别器网络的损失函数lossD，式中crossentopy(·)为交叉熵损失函数，β为平衡因子；
d-3)通过公式
计算得生成器网络的损失函数lossG；
d-4)利用Adam优化器，通过生成器网络的损失函数lossG训练生成器网络，通过鉴别器网络的损失函数lossD训练鉴别器网络，得到优化后的生成对抗网络模型。
7.根据权利要求6所述的基于复合型生成对抗网络的心电信号增强与分类方法，其特征在于：步骤d-2)中β＝0.1，步骤d-4)中训练时生成器网络与鉴别器网络的学习率均设置为0.0002，批次大小均为128，迭代次数均为2400次，生成器网络与鉴别器网络的学习率每300次更新为原来的0.1倍。
CN202310430431.0A 2023-04-21 2023-04-21 基于复合型生成对抗网络的心电信号增强与分类方法 Active CN116458894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310430431.0A CN116458894B (zh) 2023-04-21 2023-04-21 基于复合型生成对抗网络的心电信号增强与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310430431.0A CN116458894B (zh) 2023-04-21 2023-04-21 基于复合型生成对抗网络的心电信号增强与分类方法

Publications (2)

Publication Number Publication Date
CN116458894A true CN116458894A (zh) 2023-07-21
CN116458894B CN116458894B (zh) 2024-01-26

Family

ID=87183856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310430431.0A Active CN116458894B (zh) 2023-04-21 2023-04-21 基于复合型生成对抗网络的心电信号增强与分类方法

Country Status (1)

Country Link
CN (1) CN116458894B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117257322A (zh) * 2023-09-21 2023-12-22 齐鲁工业大学(山东省科学院) 一种基于双分支网络的多标签心电信号分类方法
CN117481606A (zh) * 2023-11-13 2024-02-02 齐鲁工业大学(山东省科学院) 一种基于改进孪生网络的小样本心电信号分类方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109326302A (zh) * 2018-11-14 2019-02-12 桂林电子科技大学 一种基于声纹比对和生成对抗网络的语音增强方法
CN110136731A (zh) * 2019-05-13 2019-08-16 天津大学 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法
US20200117519A1 (en) * 2017-06-26 2020-04-16 Shanghai Cambricon Information Technology Co., Ltd Data sharing system and data sharing method therefor
CN112119408A (zh) * 2019-08-29 2020-12-22 深圳市大疆创新科技有限公司 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质
CN112204620A (zh) * 2018-04-26 2021-01-08 医科达有限公司 使用生成式对抗网络的图像增强
WO2021044153A1 (en) * 2019-09-04 2021-03-11 Oxford University Innovation Limited Enhancement of medical images
CN112529806A (zh) * 2020-12-15 2021-03-19 哈尔滨工程大学 基于生成对抗网络信息最大化的sar图像数据增强方法
CN113723171A (zh) * 2021-06-16 2021-11-30 陕西师范大学 基于残差生成对抗网络的脑电信号去噪方法
US20220188645A1 (en) * 2020-12-16 2022-06-16 Oracle International Corporation Using generative adversarial networks to construct realistic counterfactual explanations for machine learning models
CN115392319A (zh) * 2022-09-05 2022-11-25 广东技术师范大学 一种融合心脏动力学模型和对抗生成网络的心电异常分类方法
KR20220167061A (ko) * 2021-06-11 2022-12-20 중앙대학교 산학협력단 딥러닝 기반 병변 분류 방법 및 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200117519A1 (en) * 2017-06-26 2020-04-16 Shanghai Cambricon Information Technology Co., Ltd Data sharing system and data sharing method therefor
CN112204620A (zh) * 2018-04-26 2021-01-08 医科达有限公司 使用生成式对抗网络的图像增强
CN109326302A (zh) * 2018-11-14 2019-02-12 桂林电子科技大学 一种基于声纹比对和生成对抗网络的语音增强方法
CN110136731A (zh) * 2019-05-13 2019-08-16 天津大学 空洞因果卷积生成对抗网络端到端骨导语音盲增强方法
CN112119408A (zh) * 2019-08-29 2020-12-22 深圳市大疆创新科技有限公司 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质
WO2021044153A1 (en) * 2019-09-04 2021-03-11 Oxford University Innovation Limited Enhancement of medical images
CN112529806A (zh) * 2020-12-15 2021-03-19 哈尔滨工程大学 基于生成对抗网络信息最大化的sar图像数据增强方法
US20220188645A1 (en) * 2020-12-16 2022-06-16 Oracle International Corporation Using generative adversarial networks to construct realistic counterfactual explanations for machine learning models
KR20220167061A (ko) * 2021-06-11 2022-12-20 중앙대학교 산학협력단 딥러닝 기반 병변 분류 방법 및 장치
CN113723171A (zh) * 2021-06-16 2021-11-30 陕西师范大学 基于残差生成对抗网络的脑电信号去噪方法
CN115392319A (zh) * 2022-09-05 2022-11-25 广东技术师范大学 一种融合心脏动力学模型和对抗生成网络的心电异常分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姚哲维 等: "改进型循环生成对抗网络的血管内超声图像增强", 计算机科学, no. 05, pages 228 - 234 *
张凯 等: "生成对抗网络在医学小样本数据中的应用", 内江师范学院学报, no. 04, pages 62 - 65 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117257322A (zh) * 2023-09-21 2023-12-22 齐鲁工业大学(山东省科学院) 一种基于双分支网络的多标签心电信号分类方法
CN117257322B (zh) * 2023-09-21 2024-04-19 齐鲁工业大学(山东省科学院) 一种基于双分支网络的多标签心电信号分类方法
CN117481606A (zh) * 2023-11-13 2024-02-02 齐鲁工业大学(山东省科学院) 一种基于改进孪生网络的小样本心电信号分类方法
CN117481606B (zh) * 2023-11-13 2024-05-14 齐鲁工业大学(山东省科学院) 一种基于改进孪生网络的小样本心电信号分类方法

Also Published As

Publication number Publication date
CN116458894B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN116458894B (zh) 基于复合型生成对抗网络的心电信号增强与分类方法
Bielski et al. Emergence of object segmentation in perturbed generative models
CN111291696B (zh) 一种基于卷积神经网络的手写东巴文识别方法
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN111968193B (zh) 一种基于StackGAN网络的文本生成图像方法
CN114283287B (zh) 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法
CN111861906B (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN106650789A (zh) 一种基于深度lstm网络的图像描述生成方法
CN106650721A (zh) 一种基于卷积神经网络的工业字符识别方法
CN109800785B (zh) 一种基于自表达相关的数据分类方法和装置
CN112488241B (zh) 一种基于多粒度融合网络的零样本图片识别方法
CN107464217B (zh) 一种图像处理方法及装置
CN107578455B (zh) 基于卷积神经网络的任意尺寸样本纹理合成方法
CN114387365B (zh) 一种线稿上色方法及装置
CN107993200A (zh) 基于深度学习的图像噪声水平估计方法
CN107967497A (zh) 基于卷积神经网络和极限学习机的手写体识别方法
CN109920021A (zh) 一种基于正则化宽度学习网络的人脸素描合成方法
CN116612211B (zh) 一种基于gan和3d系数重建的人脸图像身份合成方法
CN116246022B (zh) 一种基于渐进式去噪引导的人脸图像身份合成方法
Luo et al. Research on data augmentation for object detection based on X-ray security inspection picture
CN110533066B (zh) 一种基于深度神经网络的图像数据集自动构建方法
CN111353583A (zh) 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN106557566A (zh) 一种文本训练方法及装置
CN117593600A (zh) 一种基于Mosaic融合的长尾学习数据增强方法
CN117332409A (zh) 一种针对图像分类模型的窃取攻击检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant