CN109087298B - 一种阿尔兹海默病mri图像分类方法 - Google Patents

一种阿尔兹海默病mri图像分类方法 Download PDF

Info

Publication number
CN109087298B
CN109087298B CN201810941074.3A CN201810941074A CN109087298B CN 109087298 B CN109087298 B CN 109087298B CN 201810941074 A CN201810941074 A CN 201810941074A CN 109087298 B CN109087298 B CN 109087298B
Authority
CN
China
Prior art keywords
training
test
network
data
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810941074.3A
Other languages
English (en)
Other versions
CN109087298A (zh
Inventor
程建
周娇
苏炎洲
郭桦
林莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810941074.3A priority Critical patent/CN109087298B/zh
Publication of CN109087298A publication Critical patent/CN109087298A/zh
Application granted granted Critical
Publication of CN109087298B publication Critical patent/CN109087298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种阿尔兹海默病MRI图像的分类方法。发明使用度量学习的思想构造损失函数并用于训练一组卷积神经网络。一方面,对于每一个3D数据在Axial、Sagittal、coronal三个方向上得到多个2D形式切片,同时输入到一组卷积神经网络中,既在一定程度上保留了3D的数据信息,又避免了使用3D卷积神经网络难以找到合适的数据集进行预训练而过拟合严重的问题;另一方面,以度量学习的思想构造损失函数训练得到的深度学习模型提取出的特征更具有可分性。最终可以得到更好的分类结果。

Description

一种阿尔兹海默病MRI图像分类方法
技术领域
本发明涉及图像分类技术领域,具体涉及一种阿尔兹海默病MRI图像分类方法。
背景技术
医学图像处理作为图像处理和机器学习的一个发展方向,是关系人类生活最为密切的领域之一。随着人口老龄化的发展,阿尔兹海默病作为最常见的老年痴呆症之一,给人们的生活尤其是患者及其家人的生活带来了极大的影响。阿尔兹海默病(Alzheimer’sDisease,AD)的分类作为医学图像分类领域的一个重要分支,对AD的计算机辅助诊断具有重要意义,特别是对于病情的前期诊断及病情恶化的及时控制尤为重要。
本发明采用的影像数据为MRI(Magnetic Resonance Imaging)图像。MRI图像能够提供丰富的脑组织形态特征,特别是与阿尔兹海默病相关的海马体、颞叶、额叶等部位的特征,同时阿尔兹海默病患者脑部会出现大量的萎缩,在MRI图像中可以直观看出。
传统的阿尔茨海默病分类方法主要分为特征提取和分类两个部分:(1)首先通过各种人工或半人工的手段从采集的原始影像数据(MRI,PET等)中提取特征例如灰质体积、皮层厚度、海马体积等;(2)将(1)中提取到的特征送入传统的分类器——支持向量机(SVM)、随机森林(RF)等中进行分类,但该分类方法存在特征提取困难、分类精度低的缺点。
发明内容
针对现有技术中的上述不足,本发明提供的一种阿尔兹海默病MRI图像分类方法解决了现有分类方法特征提取困难、分类精度低的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种阿尔兹海默病MRI图像分类方法,包括以下步骤:
S1、采集足够数量的AD、MCI和NC三类人群的MRI图像;
S2、对MRI图像进行预处理,得到Axial、Sagittal和coronal三个方向上的多个2D形式的切片,并将图像数据集分为训练集和测试集;
S3、构建深度学习模型,并对深度学习模型中每个子网络进行预训练;所述深度学习模型中的每个子网络都是一个卷积神经网络,子网络个数与每个样本的切片数量相等;
S4、构建基于度量学习的损失函数,将训练集中的训练数据作为深度学习模型的输入,并通过反向传播及随机梯度下降法优化网络参数,得到测试模型;
S5、将测试集中的测试数据输入测试模型中,通过前向传播得到输出数据,将输出数据作为分类特征输入KNN分类器得到分类结果。
进一步地:所述步骤S3中的预训练具体为:在每个子网络的最后一层增加softmax层,通过ImageNet数据集对每个子网络单独进行预训练,预训练完成后,去除softmax层,并用各个子网络的参数预训练结果初始化此深度学习模型中的相应参数。
进一步地:所述步骤S4中的损失函数J具体为:
J=J1+α·J2+regularization
上式中,J1为第一损失函数,J2为第二损失函数,α为大于0的常数,regularization为网络参数的正则化项。
其中,第一损失函数为:
Figure BDA0001769086330000021
上式中,N为训练样本的个数,训练集D={X1,X2,…,Xn,…,XN};i,j=1,2,…,M,M为切片数量,即为子网络个数,
Figure BDA0001769086330000031
为深度学习模型第i个子网络的输出,其输入为
Figure BDA0001769086330000032
为样本Xn的第i个切片,d(x,y)为向量x,y之间的相似度度量;
第二损失函数为:
Figure BDA0001769086330000033
上式中,m=1,2,…,M,从训练集D得到两个样本对集P和N,即对于
Figure BDA0001769086330000034
若Xi,Xj属于同一个类别,则(Xi,Xj)∈P,否则(Xi,Xj)∈N;
Figure BDA0001769086330000035
为模型第m个子网络的输出,其输入为
Figure BDA0001769086330000036
为样本Xi的第m个切片;C为大于0的常数。
进一步地:步骤S5的具体步骤为:
S51、把训练数据集D={X1,X2,…,Xn,…,XN}的输出Z={Z1,Z2,…,Zn,…,ZN}作为KNN分类器的训练数据,并把Xn的标签作为Zn的标签,为KNN分类器设置K值;
S52、将测试数据Xtest输入到测试模型中输出Ztest,通过KNN分类器对Ztest进行分类,得到测试数据Xtest的类别;Ztest与训练数据Zn的距离计算公式为:
Figure BDA0001769086330000037
上式中,
Figure BDA0001769086330000038
为Ztest与训练数据集中第n个数据Xn的输出Zn的距离;
Figure BDA0001769086330000039
为深度学习模型第m个子网络的输出,ωm为第m个网络的权重。
本发明的有益效果为:本发明使用度量学习的思想构造损失函数并用于训练一组卷积神经网络。一方面,对于每一个3D数据在Axial、Sagittal、coronal三个方向上得到多个2D形式切片,同时输入到一组卷积神经网络中,既在一定程度上保留了3D的数据信息,又避免了使用3D卷积神经网络难以找到合适的数据集进行预训练而过拟合严重的问题;另一方面,以度量学习的思想构造损失函数训练得到的深度学习模型提取出的特征更具有可分性。最终可以得到更好的分类结果。
附图说明
图1为本发明流程图;
图2为本发明的模型结构图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,一种阿尔兹海默病MRI图像的分类方法,包括以下步骤:
S1、采集足够数量的AD(阿尔兹海默病)、MCI(轻度认知障碍)和NC(正常)三类人群的MRI(磁共振成像)图像。
S2、对MRI图像进行预处理,得到Axial(轴向)、Sagittal(径向)、coronal(冠状)三个方向上的多个2D形式的切片,并将图像数据集分为训练集和测试集。对3个方向上对每个MRI图像切片分别得到尺寸为79×95×1、95×79×1、79×95×1的3组2D图像,并把每个切片图像复制2个通道变成3个通道的图像,即79×95×3、95×79×3、79×95×3。
S3、构建深度学习模型,并对深度学习模型中每个子网络进行预训练;所述深度学习模型中的每个子网络都是一个卷积神经网络,子网络个数与每个样本的切片数量相等。在每个子网络的最后一层增加softmax层,通过ImageNet数据集对每个子网络单独进行预训练,预训练完成后,去除softmax层,并用各个子网络的参数预训练结果初始化此深度学习模型中的相应参数。
如图2所示,整个深度学习模型包含M个子网络,M为每个受试者的MRI图像在Axial(轴向)、Sagittal(径向)、coronal(冠状)三个方向上进行切片获得的2D图像数,即M=60。每个子网络的结构根据实际效果可以不同也可以相同,但需保证输出尺寸相同,其中输入数据为Axial方向上的切片的子网络的输入尺寸为79×95×3,输入数据为Sagittal方向上的切片的子网络的输入尺寸为79×79×3,输入数据为coronal方向上的切片的子网络的输入尺寸为95×79×3。
S4、构建基于度量学习的损失函数,将训练集中的训练数据作为深度学习模型的输入,并通过反向传播及随机梯度下降法优化网络参数,得到测试模型。在训练过程中,每次迭代从训练集中随机选取一个batch的数据输入到网络中,batch的大小设为N,所以每个batch共有N×M张2D图像,即X={X1,X2,…,Xn,…,XN},其中每个数据Xn包括M张图像,即
Figure BDA0001769086330000051
对于其中的每个子网络,一个batch包括N张2D图像,即第m个子网络输入的是一个batch中每个数据的第m张切片
Figure BDA0001769086330000052
每次迭代整个模型将会有N个输出,其中每个输出对应一个输入数据;则对于M个网络,Xn通过模型的输出包括M个列向量,即
Figure BDA0001769086330000053
计算基于度量学习的损失函数J:
J=J1+α·J2+regularization
上式中,J1为第一损失函数,J2为第二损失函数,α为大于0的常数,regularization为网络参数的正则化项,regularizatio=‖W‖;
其中,第一损失函数为:
Figure BDA0001769086330000061
上式中,N为训练样本的个数,训练集D={X1,X2,…,Xn,…,XN};i,j=1,2,…,M,M为切片数量,即为子网络个数,
Figure BDA0001769086330000068
为深度学习模型第i个子网络的输出,其输入为
Figure BDA0001769086330000069
Figure BDA00017690863300000610
为样本Xn的第i个切片,d(x,y)为向量x,y之间的相似度度量;
第二损失函数为:
Figure BDA0001769086330000062
上式中,m=1,2,…,M,从训练集D得到两个样本对集P和N,即对于
Figure BDA0001769086330000063
若Xi,Xj属于同一类别,则
Figure BDA0001769086330000064
尽可能小,若Xi,Xj属于不同类别,则
Figure BDA0001769086330000065
尽可能大,若Xi,Xj属于同一个类别,则(Xi,Xj)∈P,否则(Xi,Xj)∈N;
Figure BDA0001769086330000066
为模型第m个子网络的输出,其输入为
Figure BDA0001769086330000067
为样本Xi的第m个切片;C为大于0的常数。
S5、将测试集中的测试数据输入测试模型中,通过前向传播得到输出数据,将输出数据作为分类特征输入KNN分类器得到分类结果。具体步骤为:
S51、把训练数据集D={X1,X2,…,Xn,…,XN}的输出Z={Z1,Z2,…,Zn,…,ZN}作为KNN分类器的训练数据,并把Xn的标签作为Zn的标签,为KNN分类器设置K值;
S52、将测试数据Xtest输入到测试模型中输出Ztest,通过KNN分类器对Ztest进行分类,得到测试数据Xtest的类别;Ztest与训练数据Zn的距离计算公式为:
Figure BDA0001769086330000071
上式中,M为子网络个数;
Figure BDA0001769086330000072
为Ztest与训练数据集中第n个数据Xn的输出Zn的距离;
Figure BDA0001769086330000073
为深度学习模型第m个子网络的输出,ωm为第m个网络的权重。

Claims (2)

1.一种阿尔兹海默病MRI图像的分类方法,其特征在于,包括以下步骤:
S1、采集足够数量的AD、MCI和NC三类人群的MRI图像;
S2、对MRI图像进行预处理,得到Axial、Sagittal和coronal三个方向上的多个2D形式的切片,并将图像数据集分为训练集和测试集;
S3、构建深度学习模型,并对深度学习模型中每个子网络进行预训练;所述深度学习模型中的每个子网络都是一个卷积神经网络,子网络个数与每个样本的切片数量相等;
S4、将训练集中的训练数据作为深度学习模型的输入,构建基于度量学习的损失函数,并通过反向传播及随机梯度下降法优化网络参数,得到测试模型;
S5、将测试集中的测试数据输入测试模型中,通过前向传播得到输出数据,将输出数据作为分类特征输入KNN分类器得到分类结果;
所述步骤S4中的损失函数J具体为:
J=J1+α·J2+regularization
上式中,J1为第一损失函数,J2为第二损失函数,α为大于0的常数,regularization为网络参数的正则化项;
其中,第一损失函数为:
Figure FDA0002369357180000011
上式中,N为训练样本的个数,训练集D={X1,X2,…,Xn,…,XN};i,j=1,2,…,M,M为切片数量,即为子网络个数,
Figure FDA0002369357180000012
为深度学习模型第i个子网络的输出,其输入为
Figure FDA0002369357180000013
Figure FDA0002369357180000014
为样本Xn的第i个切片,d(x,y)为向量x,y之间的相似度度量;
第二损失函数为:
Figure FDA0002369357180000021
上式中,m=1,2,…,M,从训练集D得到两个样本对集P和N,即对于
Figure FDA0002369357180000022
若Xi,Xj属于同一个类别,则(Xi,Xj)∈P,否则(Xi,Xj)∈N;
Figure FDA0002369357180000023
为模型第m个子网络的输出,其输入为
Figure FDA0002369357180000024
Figure FDA0002369357180000025
为样本Xi的第m个切片,C为大于0的常数;
所述步骤S5的具体步骤为:
S51、把训练数据集D={X1,X2,…,Xn,…XN}的输出Z={Z1,Z2,…Zn,…ZN}作为KNN分类器的训练数据,并把Xn的标签作为Zn的标签,为KNN分类器设置K值;
S52、将测试数据Xtest输入到测试模型中输出Ztest,通过KNN分类器对Ztest进行分类,得到测试数据Xtest的类别;Ztest与训练数据Zn的距离计算公式为:
Figure FDA0002369357180000026
上式中,
Figure FDA0002369357180000027
为Ztest与训练数据集中第n个数据Xn的输出Zn的距离;
Figure FDA0002369357180000028
Figure FDA0002369357180000029
为深度学习模型第m个子网络的输出,ωm为第m个网络的权重。
2.根据权利要求1所述的阿尔兹海默病MRI图像的分类方法,其特征在于,所述步骤S3中的预训练具体为:在每个子网络的最后一层增加softmax层,通过ImageNet数据集对每个子网络单独进行预训练,预训练完成后,去除softmax层,并用各个子网络的参数预训练结果初始化此深度学习模型中的相应参数。
CN201810941074.3A 2018-08-17 2018-08-17 一种阿尔兹海默病mri图像分类方法 Active CN109087298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810941074.3A CN109087298B (zh) 2018-08-17 2018-08-17 一种阿尔兹海默病mri图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810941074.3A CN109087298B (zh) 2018-08-17 2018-08-17 一种阿尔兹海默病mri图像分类方法

Publications (2)

Publication Number Publication Date
CN109087298A CN109087298A (zh) 2018-12-25
CN109087298B true CN109087298B (zh) 2020-07-28

Family

ID=64793772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810941074.3A Active CN109087298B (zh) 2018-08-17 2018-08-17 一种阿尔兹海默病mri图像分类方法

Country Status (1)

Country Link
CN (1) CN109087298B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859839B (zh) * 2019-01-23 2022-05-03 桂林电子科技大学 一种基于分层集成学习的阿尔茨海默症分类方法
CN110188820B (zh) * 2019-05-30 2023-04-18 中山大学 基于深度学习子网络特征提取的视网膜oct图像分类方法
CN111932522B (zh) * 2020-08-14 2023-02-10 中国科学院心理研究所 一种基于脑成像大数据深度学习的阿尔兹海默症分类器
CN113558603B (zh) * 2021-06-11 2023-11-10 杭州电子科技大学 一种基于深度学习的多模态认知障碍识别方法
CN114418966B (zh) * 2021-12-29 2022-11-18 澄影科技(北京)有限公司 阿尔茨海默病风险评估方法和装置
CN116309250A (zh) * 2022-09-08 2023-06-23 深圳大学 一种基于肌肉超声的影像特征提取及分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法
CN107145727A (zh) * 2017-04-26 2017-09-08 中国人民解放军总医院 一种利用卷积神经网络的医学图像处理装置与方法
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748062B2 (en) * 2016-12-15 2020-08-18 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
US10902598B2 (en) * 2017-01-27 2021-01-26 Arterys Inc. Automated segmentation utilizing fully convolutional networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296699A (zh) * 2016-08-16 2017-01-04 电子科技大学 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
CN106803063A (zh) * 2016-12-21 2017-06-06 华中科技大学 一种行人重识别的度量学习方法
CN107145727A (zh) * 2017-04-26 2017-09-08 中国人民解放军总医院 一种利用卷积神经网络的医学图像处理装置与方法
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Alzheimer"s Disease Classification Based on Combination of Multi-model Convolutional Networks;Fan Li et al;《2017 IEEE International Conference on Imaging Systems and Techniques(IST)》;20180118;第1-5页 *
卷积神经网络诊断阿尔兹海默症的方法;林伟铭 等;《计算机应用》;20171231;第37卷(第12期);第3504-3508页 *

Also Published As

Publication number Publication date
CN109087298A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109087298B (zh) 一种阿尔兹海默病mri图像分类方法
CN109165667B (zh) 基于自注意力机制的脑疾病分类系统
Kumar et al. Breast cancer classification of image using convolutional neural network
CN110739070A (zh) 一种基于3d卷积神经网络的脑疾病诊断方法
CN109242860B (zh) 基于深度学习及权重空间集成的脑肿瘤图像分割方法
CN110992351B (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN110363760B (zh) 用于识别医学图像的计算机系统
CN108629785B (zh) 基于自步学习的三维磁共振胰腺图像分割方法
EP4080412A1 (en) Method based on image conditioning and preprocessing for human embryo classification
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
Lv et al. Automatic segmentation of temporal bone structures from clinical conventional CT using a CNN approach
CN110047075A (zh) 一种基于对抗网络的ct图像分割方法
KR20220129405A (ko) 전역 어텐션 기반 컨볼루션 네트워크를 이용한 이미지 분할 방법 및 장치
CN116468655A (zh) 基于胎儿磁共振成像的脑发育图谱与影像处理系统
Lu et al. Classification of Alzheimer’s disease in MobileNet
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN113705670A (zh) 基于磁共振成像和深度学习的脑部图像分类方法及设备
CN107330948B (zh) 一种基于流行学习算法的fMRI数据二维可视化方法
CN113255734A (zh) 一种基于自监督学习和迁移学习的抑郁症分类方法
CN116883432A (zh) 病灶图像的分割方法、装置、电子设备及可读存储介质
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备
CN116843036A (zh) 面向阿尔兹海默症辅助诊断的个性化联邦学习方法
Goutham et al. Brain tumor classification using Efficientnet-B0 model
Kondou et al. Artificial intelligence-based forensic sex determination of East Asian cadavers from skull morphology
CN115761216A (zh) 一种孤独症脑部核磁共振图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant