CN109740481A - 基于跳跃连接的cnn与lstm结合的房颤信号分类方法 - Google Patents

基于跳跃连接的cnn与lstm结合的房颤信号分类方法 Download PDF

Info

Publication number
CN109740481A
CN109740481A CN201811599241.7A CN201811599241A CN109740481A CN 109740481 A CN109740481 A CN 109740481A CN 201811599241 A CN201811599241 A CN 201811599241A CN 109740481 A CN109740481 A CN 109740481A
Authority
CN
China
Prior art keywords
data
lstm
cnn
formula
atrial fibrillation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811599241.7A
Other languages
English (en)
Other versions
CN109740481B (zh
Inventor
舒明雷
平永杰
朱清
王英龙
崔焕庆
许继勇
成曦
孙宗锟
燕婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Qilu Hospital of Shandong University
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong University of Science and Technology
Qilu Hospital of Shandong University
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology, Qilu Hospital of Shandong University, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong University of Science and Technology
Priority to CN201811599241.7A priority Critical patent/CN109740481B/zh
Publication of CN109740481A publication Critical patent/CN109740481A/zh
Application granted granted Critical
Publication of CN109740481B publication Critical patent/CN109740481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,通过将数据房颤信号数据加载到跳跃连接的CNN模型中,经过卷积、最大池化、激励、归一化、平均池化操作,进行特征提取,之后将特征提取完成的数据加载到LTSM模型中进行学习,最终达到对房颤信号分类的目的,分类的信号精确、高效。

Description

基于跳跃连接的CNN与LSTM结合的房颤信号分类方法
技术领域
本发明涉及信号处理技术领域,具体涉及一种基于跳跃连接的CNN与LSTM结合的房颤信号分类方法。
背景技术
心血管疾病是造成世界人口减少的主要原因之一,其中,房颤在心血管疾病是最为常见的。ECG信号对判断房颤是一种有效的手段,所以,越来越多的ECG信号自动检测技术被相继的提出。
传统的ECG信号分类方法有支持向量机(SVMs)、神经网络(NN)等等,但这些方法都存在着繁琐的数据处理工作这一缺点。
随着技术的发展,深度学习方法被慢慢拓展开来。它是基于传统方法之一的神经网络(NN)发展而来,目前最常见的深度学习模型主要有:CNN、RNN、LSTM等等。
CNN与许多神经网络相类似,是以前馈神经网络为基础的,它的人工神经元可以响应一部分覆盖范围内的周围单元,从而降低了网络的复杂度,进行特征提取有明显的效果。但由于深度学习模型需要的数据是巨大的,CNN的处理效率也变的尤为重要,为此,本发明对CNN进行添加跳跃连接的改进,在数据加载到CNN模型的时候,进行特征提取工作分为两条路线,这样会明显提高处理效率。
LSTM与常规神经网络相反,LSTM结构能够学习时间依赖性,当处理时间序列数据时有明显的优势,例如,ECG信号。
因此需要一种可以对房颤信号进行精准、高效分类的方法。
发明内容
本发明为了克服以上技术的不足,提供了一种可以对房颤信号进行精准、高效分类的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法。
本发明克服其技术问题所采用的技术方案是:
一种基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,包括如下步骤:
a)将房颤信号数据以频率MHz为标准进行切分,形成Ns一段的数据D,将数据D传入跳跃连接的CNN模型中;
b)将数据D加载到CNN模型的卷积层中,设置卷积核大小、通道数、步长对数据D进行卷积处理,卷积处理后形成数据D1;
c)将数据D加载到CNN模型的最大池化层中,设置池化核大小、步长对数据D进行池化处理,池化处理后产生数据D2;
d)将数据D1加载到CNN模型的激励层中,使用ReLU激励函数,通过公式将数据D1进行非线性变化,产生数据D3;
e)将数据D3加载到CNN模型的批量归一化层,通过公式计算均值uβ,式中m为输入的数据的总个数,通过公式计算标准差σβ 2,通过公式对数据D3进行归一化处理,产生数据D4,式中ε为常数;
f)将数据D4加载到CNN模型的平均池化层,设置平均池化层池化核大小、步长对数据D4进行平均池化处理,池化处理后产生数据D5;
g)将数据D5及数据D2汇集加载到LSTM模型中,设置LSTM模型的输出维度及dropout,根据公式ft=σ(wifat+bif+whfht-1+bhf)计算t时刻的Forget gate忘记的信息内容ft,式中σ为sigmoid激活函数,wif为输入层和忘记门的权值,at为t时刻输入数据,bif为输入层和忘记门的偏移,whf为隐藏层和忘记门的权值,ht-1为t-1时刻隐藏层数据,bhf为隐藏层和忘记门的偏移,通过公式it=(wiiat+bii+whiht-1+bhi)计算t时刻的Input gate保留的信息内容it,式中wii是输入层和输入门的权值,bii为输入层和输入门的偏移,whi为隐藏层和输入门的权值,bhi为隐藏层和输入门的偏移,通过公式gt=tanh(Wigat+big+whght-1+bhg)计算t时刻的的更新内容gt,式中Wig为输入层和保留信息门的权值,big为输入层和信息保留门的偏移,whg为输入层和保留信息门的权值,bhg为隐藏层和保留信息门的偏移,Forget gate忘记的信息内容ft与Input gate保留的信息内容it与更新内容gt组合产生数据D6;
h)将数据D6加载到LSTM模型的全连接层进行分类,使用softmax分类器,设置输入维度和输出维度,通过公式计算通过soft max激活函数计算的分类结果soft max(Zj),式中Zj为LSTM网络输出结果的第j个位置的数据,e为自然常数;
i)使用交叉熵损失函数计算分类结果soft max(Zj)的损失,如果损失小于阀值y则跳转至步骤k),如果损失大于阀值y则跳转至步骤j);
j)使用Adam优化算法优化CNN及LSTM模型参数,如果CNN及LSTM模型已经收敛则跳转至步骤k),如果CNN及LSTM模型没有收敛,则跳转至步骤a);
k)保存模型参数,运行结束。
优选的,步骤a)中M为300,房颤信号数据以频率300Hz为标准进行切分,形成5s一段的数据D。
优选的,步骤b)中卷积核大小为10,通道数为10,步长为2。
优选的,步骤c)中池化核大小为18,步长为4。
优选的,步骤b)与步骤c)并行进行。
优选的,步骤f)中池化核大小为2、步长为2。
优选的,步骤g)中数据D5及数据D2汇集后加载到Keras框架封装的LSTM模型中。
优选的,步骤g)中的LSTM模型的输出维度为100,dropout为0.1。
优选的,步骤h)输入维度为100、输出维度为4。
优选的,阀值y为0.1。
本发明的有益效果是:通过将数据房颤信号数据加载到跳跃连接的CNN模型中,经过卷积、最大池化、激励、归一化、平均池化操作,进行特征提取,之后将特征提取完成的数据加载到LTSM模型中进行学习,最终达到对房颤信号分类的目的,分类的信号精确、高效。
附图说明
图1为本发明的模型方法流程图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,包括如下步骤:
a)将房颤信号数据以频率MHz为标准进行切分,形成Ns一段的数据D,将数据D传入跳跃连接的CNN模型中;
b)将数据D加载到CNN模型的卷积层中,设置卷积核大小、通道数、步长对数据D进行卷积处理,卷积处理后形成数据D1;
c)将数据D加载到CNN模型的最大池化层中,设置池化核大小、步长对数据D进行池化处理,池化处理后产生数据D2;
d)将数据D1加载到CNN模型的激励层中,使用ReLU激励函数,通过公式将数据D1进行非线性变化,产生数据D3;
e)将数据D3加载到CNN模型的批量归一化层,通过公式计算均值uβ,式中m为输入的数据的总个数,通过公式计算标准差σβ 2,通过公式对数据D3进行归一化处理,产生数据D4,式中ε为常数;
f)将数据D4加载到CNN模型的平均池化层,设置平均池化层池化核大小、步长对数据D4进行平均池化处理,池化处理后产生数据D5;
g)将数据D5及数据D2汇集加载到LSTM模型中,设置LSTM模型的输出维度及dropout,根据公式ft=σ(wifat+bif+whfht-1+bhf)计算t时刻的Forget gate忘记的信息内容ft,式中σ为sigmoid激活函数,wif为输入层和忘记门的权值,at为t时刻输入数据,bif为输入层和忘记门的偏移,whf为隐藏层和忘记门的权值,ht-1为t-1时刻隐藏层数据,bhf为隐藏层和忘记门的偏移,通过公式it=(wiiat+bii+whiht-1+bhi)计算t时刻的Input gate保留的信息内容it,式中wii是输入层和输入门的权值,bii为输入层和输入门的偏移,whi为隐藏层和输入门的权值,bhi为隐藏层和输入门的偏移,通过公式gt=tanh(Wigat+big+whght-1+bhg)计算t时刻的的更新内容gt,式中Wig为输入层和保留信息门的权值,big为输入层和信息保留门的偏移,whg为输入层和保留信息门的权值,bhg为隐藏层和保留信息门的偏移,Forget gate忘记的信息内容ft与Input gate保留的信息内容it与更新内容gt组合产生数据D6;
h)将数据D6加载到LSTM模型的全连接层进行分类,使用soft max分类器,设置输入维度和输出维度,通过公式计算通过soft max激活函数计算的分类结果soft max(Zj),式中Zj为LSTM网络输出结果的第j个位置的数据,e为自然常数;
i)使用交叉熵损失函数计算分类结果soft max(Zj)的损失,如果损失小于阀值y则跳转至步骤k),如果损失大于阀值y则跳转至步骤j);
j)使用Adam优化算法优化CNN及LSTM模型参数,如果CNN及LSTM模型已经收敛则跳转至步骤k),如果CNN及LSTM模型没有收敛,则跳转至步骤a);
k)保存模型参数,运行结束。
通过将数据房颤信号数据加载到跳跃连接的CNN模型中,经过卷积、最大池化、激励、归一化、平均池化操作,进行特征提取,之后将特征提取完成的数据加载到LTSM模型中进行学习,最终达到对房颤信号分类的目的,分类的信号精确、高效。
实施例1:
进一步的,步骤a)中M为300,房颤信号数据以频率300Hz为标准进行切分,形成5s一段的数据D。
实施例2:
进一步的,步骤b)中卷积核大小为10,通道数为10,步长为2。
实施例3:
进一步的,步骤c)中池化核大小为18,步长为4。
实施例4:
进一步的,步骤b)与步骤c)并行进行。
实施例5:
进一步的,步骤f)中池化核大小为2、步长为2。
实施例6:
进一步的,步骤g)中数据D5及数据D2汇集后加载到Keras框架封装的LSTM模型中。
实施例7:
进一步的,步骤g)中的LSTM模型的输出维度为100,dropout为0.1。
实施例8:
进一步的,步骤h)输入维度为100、输出维度为4。
实施例9:
阀值y为0.1。

Claims (10)

1.一种基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于,包括如下步骤:
a)将房颤信号数据以频率MHz为标准进行切分,形成Ns一段的数据D,将数据D传入跳跃连接的CNN模型中;
b)将数据D加载到CNN模型的卷积层中,设置卷积核大小、通道数、步长对数据D进行卷积处理,卷积处理后形成数据D1;
c)将数据D加载到CNN模型的最大池化层中,设置池化核大小、步长对数据D进行池化处理,池化处理后产生数据D2;
d)将数据D1加载到CNN模型的激励层中,使用ReLU激励函数,通过公式将数据D1进行非线性变化,产生数据D3;
e)将数据D3加载到CNN模型的批量归一化层,通过公式计算均值uβ,式中m为输入的数据的总个数,通过公式计算标准差σβ 2,通过公式对数据D3进行归一化处理,产生数据D4,式中ε为常数;
f)将数据D4加载到CNN模型的平均池化层,设置平均池化层池化核大小、步长对数据D4进行平均池化处理,池化处理后产生数据D5;
g)将数据D5及数据D2汇集加载到LSTM模型中,设置LSTM模型的输出维度及dropout,根据公式ft=σ(wifat+bif+whfht-1+bhf)计算t时刻的Forget gate忘记的信息内容ft,式中σ为sigmoid激活函数,wif为输入层和忘记门的权值,at为t时刻输入数据,bif为输入层和忘记门的偏移,whf为隐藏层和忘记门的权值,ht-1为t-1时刻隐藏层数据,bhf为隐藏层和忘记门的偏移,通过公式it=(wiiat+bii+whiht-1+bhi)计算t时刻的Input gate保留的信息内容it,式中wii是输入层和输入门的权值,bii为输入层和输入门的偏移,whi为隐藏层和输入门的权值,bhi为隐藏层和输入门的偏移,通过公式gt=tanh(Wigat+big+whght-1+bhg)计算t时刻的的更新内容gt,式中Wig为输入层和保留信息门的权值,big为输入层和信息保留门的偏移,whg为输入层和保留信息门的权值,bhg为隐藏层和保留信息门的偏移,Forget gate忘记的信息内容ft与Input gate保留的信息内容it与更新内容gt组合产生数据D6;
h)将数据D6加载到LSTM模型的全连接层进行分类,使用softmax分类器,设置输入维度和输出维度,通过公式计算通过softmax激活函数计算的分类结果softmax(Zj),式中Zj为LSTM网络输出结果的第j个位置的数据,e为自然常数;
i)使用交叉熵损失函数计算分类结果softmax(Zj)的损失,如果损失小于阀值y则跳转至步骤k),如果损失大于阀值y则跳转至步骤j);
j)使用Adam优化算法优化CNN及LSTM模型参数,如果CNN及LSTM模型已经收敛则跳转至步骤k),如果CNN及LSTM模型没有收敛,则跳转至步骤a);
k)保存模型参数,运行结束。
2.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤a)中M为300,房颤信号数据以频率300Hz为标准进行切分,形成5s一段的数据D。
3.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤b)中卷积核大小为10,通道数为10,步长为2。
4.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤c)中池化核大小为18,步长为4。
5.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤b)与步骤c)并行进行。
6.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤f)中池化核大小为2、步长为2。
7.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤g)中数据D5及数据D2汇集后加载到Keras框架封装的LSTM模型中。
8.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤g)中的LSTM模型的输出维度为100,dropout为0.1。
9.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:步骤h)输入维度为100、输出维度为4。
10.根据权利要求1所述的基于跳跃连接的CNN与LSTM结合的房颤信号分类方法,其特征在于:阀值y为0.1。
CN201811599241.7A 2018-12-26 2018-12-26 基于跳跃连接的cnn与lstm结合的房颤信号分类系统 Active CN109740481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811599241.7A CN109740481B (zh) 2018-12-26 2018-12-26 基于跳跃连接的cnn与lstm结合的房颤信号分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811599241.7A CN109740481B (zh) 2018-12-26 2018-12-26 基于跳跃连接的cnn与lstm结合的房颤信号分类系统

Publications (2)

Publication Number Publication Date
CN109740481A true CN109740481A (zh) 2019-05-10
CN109740481B CN109740481B (zh) 2019-12-10

Family

ID=66359894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811599241.7A Active CN109740481B (zh) 2018-12-26 2018-12-26 基于跳跃连接的cnn与lstm结合的房颤信号分类系统

Country Status (1)

Country Link
CN (1) CN109740481B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082283A (zh) * 2019-05-23 2019-08-02 山东科技大学 一种大气颗粒物sem图像识别方法及系统
CN110322073A (zh) * 2019-07-09 2019-10-11 南方电网科学研究院有限责任公司 基于循环神经网络的电力负荷预测方法、装置及设备
CN111274445A (zh) * 2020-01-20 2020-06-12 山东建筑大学 基于三元组深度学习的相似视频内容检索方法及系统
CN111920405A (zh) * 2020-09-15 2020-11-13 齐鲁工业大学 一种房颤信号识别系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228634A1 (en) * 2016-02-05 2017-08-10 Fujitsu Limited Arithmetic processing circuit and information processing apparatus
WO2018098077A1 (en) * 2016-11-23 2018-05-31 General Electric Company Deep learning medical systems and methods for medical procedures
CN108182260A (zh) * 2018-01-03 2018-06-19 华南理工大学 一种基于语义选择的多变量时间序列分类方法
CN108186011A (zh) * 2017-12-13 2018-06-22 深圳竹信科技有限公司 房颤检测方法、装置及可读存储介质
US20180181838A1 (en) * 2016-12-22 2018-06-28 Samsung Electronics Co., Ltd. Convolutional neural network system and operation method thereof
CN108304920A (zh) * 2018-02-02 2018-07-20 湖北工业大学 一种基于MobileNets优化多尺度学习网络的方法
WO2018224838A1 (en) * 2017-06-09 2018-12-13 University Of Surrey Method and apparatus for processing retinal images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228634A1 (en) * 2016-02-05 2017-08-10 Fujitsu Limited Arithmetic processing circuit and information processing apparatus
WO2018098077A1 (en) * 2016-11-23 2018-05-31 General Electric Company Deep learning medical systems and methods for medical procedures
US20180181838A1 (en) * 2016-12-22 2018-06-28 Samsung Electronics Co., Ltd. Convolutional neural network system and operation method thereof
WO2018224838A1 (en) * 2017-06-09 2018-12-13 University Of Surrey Method and apparatus for processing retinal images
CN108186011A (zh) * 2017-12-13 2018-06-22 深圳竹信科技有限公司 房颤检测方法、装置及可读存储介质
CN108182260A (zh) * 2018-01-03 2018-06-19 华南理工大学 一种基于语义选择的多变量时间序列分类方法
CN108304920A (zh) * 2018-02-02 2018-07-20 湖北工业大学 一种基于MobileNets优化多尺度学习网络的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BO WU ET AL.: ""Robust ECG Biometrics Using Two-Stage Model"", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(ICPR)》 *
DHWAJ VERMA ET AL.: ""Cardiac Arrhythmia Detection from Single-lead ECG using CNN and LSTM assisted by Oversampling"", 《2018 INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTING,COMMUNICATIONS AND INFORMATIONS(ICACCI)》 *
JIE LIU ET AL.: ""Deep convolutional neural networks for pedestrian detection with skip pooling"", 《2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
LUDOVIC TROTTIER ET AL.: ""Convolutional Residual Network for Grasp Localization"", 《2017 14TH CONFERENCE ON COMPUTER AND ROBOT VISION (CRV)》 *
谯庆伟: ""融合双重时空网络流和attention机制的人体行为识别"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082283A (zh) * 2019-05-23 2019-08-02 山东科技大学 一种大气颗粒物sem图像识别方法及系统
CN110082283B (zh) * 2019-05-23 2021-12-14 山东科技大学 一种大气颗粒物sem图像识别方法及系统
CN110322073A (zh) * 2019-07-09 2019-10-11 南方电网科学研究院有限责任公司 基于循环神经网络的电力负荷预测方法、装置及设备
CN111274445A (zh) * 2020-01-20 2020-06-12 山东建筑大学 基于三元组深度学习的相似视频内容检索方法及系统
CN111274445B (zh) * 2020-01-20 2021-04-23 山东建筑大学 基于三元组深度学习的相似视频内容检索方法及系统
CN111920405A (zh) * 2020-09-15 2020-11-13 齐鲁工业大学 一种房颤信号识别系统及方法

Also Published As

Publication number Publication date
CN109740481B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN109740481A (zh) 基于跳跃连接的cnn与lstm结合的房颤信号分类方法
CN110020682B (zh) 一种基于小样本学习的注意力机制关系对比网络模型方法
Rao et al. Deep learning precision farming: grapes and mango leaf disease detection by transfer learning
Zhang et al. A convolutional neural network for leaves recognition using data augmentation
CN106485251B (zh) 基于深度学习的鸡蛋胚胎分类
CN110390275B (zh) 一种基于迁移学习的手势分类方法
CN110222634B (zh) 一种基于卷积神经网络的人体姿态识别方法
Lee et al. High efficiency disease detection for potato leaf with convolutional neural network
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN107392919B (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN110929848B (zh) 基于多挑战感知学习模型的训练、跟踪方法
CN109214353B (zh) 一种基于剪枝模型的人脸图像快速检测训练方法和装置
CN110544177A (zh) 基于电力指纹的负荷识别方法及计算机可读存储介质
CN104778448A (zh) 一种基于结构自适应卷积神经网络的人脸识别方法
CN110321862B (zh) 一种基于紧致三元损失的行人再识别方法
CN105512681A (zh) 一种目标类别图片的获取方法及系统
CN107330355A (zh) 一种基于正样本平衡约束的深度行人再标识方法
CN109815920A (zh) 基于卷积神经网络和对抗卷积神经网络的手势识别方法
CN110287985B (zh) 一种基于带变异粒子群算法的可变拓扑结构的深度神经网络图像识别方法
CN114565048A (zh) 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法
CN108549794A (zh) 一种蛋白质二级结构预测方法
CN109472352A (zh) 一种基于特征图统计特征的深度神经网络模型裁剪方法
CN113221913A (zh) 一种基于高斯概率决策级融合的农林病虫害细粒度识别方法及装置
CN113158754B (zh) 一种番茄病害图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant