CN111652840A - 一种x光胸透图像肺部浑浊筛查分类装置 - Google Patents

一种x光胸透图像肺部浑浊筛查分类装置 Download PDF

Info

Publication number
CN111652840A
CN111652840A CN202010320509.XA CN202010320509A CN111652840A CN 111652840 A CN111652840 A CN 111652840A CN 202010320509 A CN202010320509 A CN 202010320509A CN 111652840 A CN111652840 A CN 111652840A
Authority
CN
China
Prior art keywords
layer
channel conversion
ray
conversion unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010320509.XA
Other languages
English (en)
Other versions
CN111652840B (zh
Inventor
屈晓磊
单光存
侍尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010320509.XA priority Critical patent/CN111652840B/zh
Publication of CN111652840A publication Critical patent/CN111652840A/zh
Application granted granted Critical
Publication of CN111652840B publication Critical patent/CN111652840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Abstract

本发明公开了一种X光胸透图像肺部浑浊筛查分类装置，基于通过对被检查体进行X光胸透而生成的体数据，生成并显示检查部位的图像数据，包括级联的图像增强模块、通道转换单元、稠密连接基础模块。通过本发明的技术方案，将神经网络应用到X光胸透图像的分类上，对胸透图像是否包含浑浊区域进行自动分类，可以得到比传统Densenet更高的分类精度精度。

Description

一种X光胸透图像肺部浑浊筛查分类装置
技术领域
本发明属于生物医学技术领域，尤其涉及一种X光胸透图像肺部浑浊筛查分类装置。
背景技术
肺炎已成为威胁人类健康的主要疾病之一。特别是2019年底开始，一种新型冠状病毒引发的传染性肺炎在我国和全世界爆发，截止至2020年3月15日，国内累计确诊已超过80000例，死亡人数超过3000人。国外累计确诊超过50000例，死亡近2000 人。源源不断的新增病例给医院和社会带来了巨大的压力。
目前对于肺炎的筛查，主要依靠X光CT进行，CT可以获得肺部3维图像，方便医生在多维度了解肺部的情况。为了节省医生的读图时间，提高读图的客观性，也出现了使用人工智能方法进行自动读图的技术，但是已有技术主要是针对3维的CT图像进行肺炎的筛查和诊断。对于筛查来说，X光CT的成像成本较高，同时X光曝光量也较高，这给医疗条件较差或者医疗费用较高地区的肺炎筛查带来了一定困难。
传统分类方法要手动进行特征提取工作，这一过程复杂且鲁棒性较差。对于传统方法的不足，基于深度学习的全卷积神经网络被提出，其通过自动学习提取样本特征，并且提高了分类精度和模型鲁棒性。
目前已有很多分类网络被提出。Densenet在Resnet的基础上，引入了密集连接，网络每一层输入是前面所有层输出，并将自己的特征映射传递给后面每一层，并在自然图像分类上取得了不错的效果。此外，一些网络为了降低参数量，会选择用分组卷积代替普通卷积。Shufflenet通过通道转化单元，解决了分组卷积带来的通道之间的信息不流通的问题，加强了特征图的特征信息融合，Shufflenet在Imagenet，COCO 等自然图像数据集上的分类精度进一步提升。
此外，也有基于检测任务的网络。现有技术中将Retinanet和SEnet进行结合改进，应用到了X光的肺炎病灶检测任务中。该模型利用了不同网络层的特征尺度不同的思想，结合注意力机制，分别对不同尺度的特征进行处理，能够更加精确地检测到不同尺寸下肺炎病灶的位置。而与基于检测任务的网络不同，分类任务关心的是图像的类别信息，并不包括具体感兴趣区域框，因此分类网络没有检测网络的预测框的回归分支，结构更加简单直接，轻量。
发明内容
为了解决上述已有技术存在的不足，本发明提出一种基于深度神经网络的X光胸透图像肺炎筛查分类装置，本发明的具体技术方案如下：
一种X光胸透图像肺部浑浊筛查分类装置，基于通过对被检查体进行X光胸透而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括级联的图像增强模块、通道转换单元、稠密连接基础模块，其中，
所述图像增强模块，通过图像增强扩充数据量，所述图像增强模块的输出作为所述通道转换单元的输入特征；
所述通道转换单元，包括第一分组卷积层、通道转换层、第二分组卷积层，所述第一分组卷积层将输入特征分组并分别卷积，然后所述通道转换层将每一组的每个特征平均分配到不同组，最后经所述第二分组卷积层提取输出特征；
所述稠密连接基础模块，包括依次连接的第三分组卷积层、通道转换单元、深度可分离卷积层、第四分组卷积层，最后加入Resnet的残差连接，即第三分组卷积层的输入特征与第四分组卷积层的输出特征相加；
将六个所述稠密连接基础模块通过Densenet稠密连接形成网络，对于网络的每一层，其前面所有层的输出特征作为本层的输入特征，本层的输出特征作为其后面每一层的输入特征，最后经激活层输出，激活函数采用Sigmoid，最终输出预测为阳性的概率值，即有浑浊的概率值，结果在[0,1]之间。
本发明的有益效果在于：
1.将神经网络应用到X光胸透图像的分类上，对胸透图像是否包含浑浊区域进行自动分类，能够得到比传统Densenet更高的分类精度精度。
2.相对于传统Densenet网络采用参数量较大的普通卷积，本发明采用参数量较小的分组卷积，从而降低参数量和计算量。
3.相对于传统Densenet网络，本发明采用了通道转换策略构成的通道转换单元，增强通道信息融合能力，提高了分类精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1(a)是X光胸透原图像；
图1(b)是原图像的随机旋转图；
图1(c)是原图像的垂直翻转图；
图1(d)是原图像的水平翻转图；
图1(e)是原图像的尺寸缩小图；
图1(f)是原图像的尺寸放大图；
图1(g)是原图像的竖直移动图；
图1(h)是原图像的水平移动图；
图2是本发明的通道转换单元结构图；
图3是本发明的稠密连接基础模块结构图；
图4是本发明的改进的全卷积神经网络最终结构图。
图5是Densenet和本发明网络的ROC曲线对比图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
在特征重用的指导思想下，为了进一步减少参数量，并提高分类精度，本发明主要通过将Densenet中的普通卷积用分组卷积替换，并引用了Shufflenet的思想，加入通道转换单元，加强分组卷积后的特征图通道之间信息的融合，基于人工智能的分类方法，对X光胸透图像自动分类，实现低成本和低辐射量的自动肺部浑浊筛查。本发明能够应用于医院提供的胸透图像，判断肺部是否有浑浊部位，对胸透图像进行自动分类，取得了比Densenet更高的精度。具体地，
一种X光胸透图像肺部浑浊筛查分类装置，基于通过对被检查体进行X光胸透而生成的体数据，生成并显示检查部位的图像数据，包括级联的图像增强模块、通道转换单元、稠密连接基础模块，其中，
图像增强模块，通过图像增强扩充数据量，图像增强模块的输出作为通道转换单元的输入特征；
通道转换单元，包括第一分组卷积层、通道转换层、第二分组卷积层，第一分组卷积层将输入特征分组并分别卷积，然后通道转换层将每一组的每个特征平均分配到不同组，最后经第二分组卷积层提取输出特征；
稠密连接基础模块，包括依次连接的第三分组卷积层、通道转换单元、深度可分离卷积层、第四分组卷积层，最后加入Resnet的残差连接，即第三分组卷积层的输入特征与第四分组卷积层的输出特征相加；
将六个稠密连接基础模块通过Densenet稠密连接形成网络，对于网络的每一层，其前面所有层的输出特征作为本层的输入特征，本层的输出特征作为其后面每一层的输入特征，最后经激活层输出，激活函数采用Sigmoid，最终输出预测为阳性的概率值，即有浑浊的概率值，结果在[0,1]之间。
为了方便理解本发明的上述技术方案，以下通过具体实施例对本发明的上述技术方案进行详细说明。
实施例1
图像增强模块对获取每张X光胸透图片样本进行随机的旋转，垂直翻转，水平翻转，尺寸缩小，尺寸放大，竖直移动和水平移动等，扩充数据集，增强模型拟合能力和鲁棒性。单张样本图像增强结果样例如图1所示。
通道转换单元，包括第一分组卷积层、通道转换层、第二分组卷积层，第一分组卷积层将步骤S1的结果分组并分别卷积，然后通道转换层将每一组的每个特征平均分配到不同组，最后经第二分组卷积层提取输出特征；
分组卷积相比于普通卷积降低了参数量，由于采用了分组卷积，造成了特征通道间信息的闭塞和丢失，鉴于恢复通道信息流通的能力，为了加强不同组间通道信息的融合能力，每一组的每个特征被平均分配到不同组，达到了特征融合的能力，如图2所示。
稠密连接基础模块，包括依次连接的第三分组卷积层、通道转换单元、深度可分离卷积层、第四分组卷积层，最后加入Resnet的残差连接，即第三分组卷积层的输入特征与第四分组卷积层的输出特征相加；
为了适配型，将经过第三分组卷积层后的特征图进行通道转化，并加入深度可分离卷积，能够减少参数量，减少计算量，最后加入Resnet的残差连接，第四分组卷积层将输出特征转换成与输入特征同样的形状，以便最后的相加操作，模块结构如图3所示。
将六个稠密连接基础模块通过Densenet稠密连接形成网络，对于网络的每一层，其前面所有层的输出特征作为本层的输入特征，本层的输出特征作为其后面每一层的输入特征，经激活层输出，激活函数采用Sigmoid，由于是二分类任务，最终输出预测为阳性的概率值，即预测为有浑浊的概率值，结果在[0,1]之间。
网络总结构图如下图4。Densenet的稠密连接方式缓解了梯度消失问题，加强了特征传播和重用，在一定程度上减少了计算量。
最后输入测试数据，一共2560张X光胸透图片，其中有浑浊样本565张，无浑浊样本1995张。将本发明得到的结果与基础网络Densenet结果进行对比，采取的评估指标包括灵敏度、特异度及ROC曲线。具体地，
对于实际有浑浊，预测有浑浊的样本，称为真阳性；实际无浑浊，预测有浑浊的样本，称为假阳性；实际有浑浊，预测无浑浊的测试样本，称为假阴性；实际无浑浊，预测无浑浊的测试样本，称之为真阴性。对于四种指标具体定义见表1。
表1.四种指标的定义
Figure BDA0002461234580000051
灵敏度(Sensitivity)又称真阳性率，即实际有浑浊中被正确预测为有浑浊的样本所占比例，计算公式为：
Figure BDA0002461234580000052
特异度(Specificity)又称真阴性率，即实际无浑浊中被正确预测为无浑浊的样本所占比例，计算公式为：
Figure BDA0002461234580000053
本发明的输出最终结果为属于阳性的概率值，范围是[0,1]，通过设定多个概率阈值，大于阈值视为阳性，小于阈值视为阴性，结果(假阳性率，真阳性率)绘制而成曲线称为ROC曲线，该曲线下包围面积越大，越偏移45°曲线，网络分类性能越好。其中，真阳性率即灵敏度，假阳性率在数值上等于1减去特异度。
基础模型Densenet和本发明装置的结果如表2，表3和图5所示。由表2和表3 可知，本发明在阈值不同情况下的灵敏度更高，即对实际浑浊样本的分类更加准确；特异度也显示本发明模型对实际无浑浊样本的分类也有较高的精度；由图5可知，本发明装置的ROC曲线包围的面积与Densenet相比，曲线下包围面积更大，更靠近坐标(0，1)点，说明分类精度更高。
表2 Densenet分类结果统计表
Figure BDA0002461234580000061
表3 Densenet+Shufflenet分类结果统计表
Figure BDA0002461234580000062
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种X光胸透图像肺部浑浊筛查分类装置，基于通过对被检查体进行X光胸透而生成的体数据，生成并显示检查部位的图像数据，其特征在于，包括级联的图像增强模块、通道转换单元、稠密连接基础模块，其中，
所述图像增强模块，通过图像增强扩充数据量，所述图像增强模块的输出作为所述通道转换单元的输入特征；
所述通道转换单元，包括第一分组卷积层、通道转换层、第二分组卷积层，所述第一分组卷积层将输入特征分组并分别卷积，然后所述通道转换层将每一组的每个特征平均分配到不同组，最后经所述第二分组卷积层提取输出特征；
所述稠密连接基础模块，包括依次连接的第三分组卷积层、通道转换单元、深度可分离卷积层、第四分组卷积层，最后加入Resnet的残差连接，即第三分组卷积层的输入特征与第四分组卷积层的输出特征相加；
将六个所述稠密连接基础模块通过Densenet稠密连接形成网络，对于网络的每一层，其前面所有层的输出特征作为本层的输入特征，本层的输出特征作为其后面每一层的输入特征，最后经激活层输出，激活函数采用Sigmoid，最终输出预测为阳性的概率值，即有浑浊的概率值，结果在[0,1]之间。
CN202010320509.XA 2020-04-22 2020-04-22 一种x光胸透图像肺部浑浊筛查分类装置 Active CN111652840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010320509.XA CN111652840B (zh) 2020-04-22 2020-04-22 一种x光胸透图像肺部浑浊筛查分类装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010320509.XA CN111652840B (zh) 2020-04-22 2020-04-22 一种x光胸透图像肺部浑浊筛查分类装置

Publications (2)

Publication Number Publication Date
CN111652840A true CN111652840A (zh) 2020-09-11
CN111652840B CN111652840B (zh) 2022-08-30

Family

ID=72349271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010320509.XA Active CN111652840B (zh) 2020-04-22 2020-04-22 一种x光胸透图像肺部浑浊筛查分类装置

Country Status (1)

Country Link
CN (1) CN111652840B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364925A (zh) * 2020-11-16 2021-02-12 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的滚动轴承甩油故障识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544510A (zh) * 2018-10-24 2019-03-29 广州大学 一种基于卷积神经网络的三维肺结节识别方法
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN110189308A (zh) * 2019-05-17 2019-08-30 山东财经大学 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544510A (zh) * 2018-10-24 2019-03-29 广州大学 一种基于卷积神经网络的三维肺结节识别方法
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN110189308A (zh) * 2019-05-17 2019-08-30 山东财经大学 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENPING GUO ET AL.: "Interstitial lung disease classification using improved DenseNet", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
杨婧 等: "基于DenseNet的低分辨CT影像肺腺癌组织学亚型分类", 《浙江大学学报(工学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364925A (zh) * 2020-11-16 2021-02-12 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的滚动轴承甩油故障识别方法
CN112364925B (zh) * 2020-11-16 2021-06-04 哈尔滨市科佳通用机电股份有限公司 一种基于深度学习的滚动轴承甩油故障识别方法

Also Published As

Publication number Publication date
CN111652840B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
JP6999812B2 (ja) 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法
TWI684997B (zh) 骨齡評估與身高預測模型之建立方法、骨齡評估與身高預測系統及骨齡評估與身高預測方法
CN111429407B (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
CN106940816A (zh) 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN110503630A (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN111951246B (zh) 一种基于深度学习的多方位x光胸片肺炎诊断方法
CN110503635B (zh) 一种基于异构数据融合网络的手骨x光片骨龄评估方法
CN111986177A (zh) 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法
JP2021531812A (ja) 染色体異常のテストモデル、そのテストシステム及び染色体異常のテスト方法
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN111402254A (zh) 一种ct图像肺结节高性能自动检测方法及装置
CN112464701A (zh) 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
Tang et al. CNN-based qualitative detection of bone mineral density via diagnostic CT slices for osteoporosis screening
CN113223005A (zh) 一种甲状腺结节自动分割及分级的智能系统
CN114708278A (zh) 一种基于cgan的新冠肺炎ct图像分割方法
CN110728666B (zh) 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统
CN111598868A (zh) 一种肺部超声图像识别方法和系统
CN111523617A (zh) 基于白质融合特征图和残差注意力网络的癫痫检测系统
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法
CN111652840B (zh) 一种x光胸透图像肺部浑浊筛查分类装置
Kadhim et al. Detection of COVID-19 in X-Rays by Convolutional Neural Networks
CN113763353A (zh) 一种肺部超声图像检测系统
CN113240654A (zh) 一种多维度特征融合的颅内动脉瘤检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant