CN111428066B - 一种基于卷积神经网络的病变图像的分类和分割方法 - Google Patents

一种基于卷积神经网络的病变图像的分类和分割方法 Download PDF

Info

Publication number
CN111428066B
CN111428066B CN202010336572.2A CN202010336572A CN111428066B CN 111428066 B CN111428066 B CN 111428066B CN 202010336572 A CN202010336572 A CN 202010336572A CN 111428066 B CN111428066 B CN 111428066B
Authority
CN
China
Prior art keywords
lesion
network
stream
classification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010336572.2A
Other languages
English (en)
Other versions
CN111428066A (zh
Inventor
汪彦刚
温敏立
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tuge Medical Technology Co ltd
Original Assignee
Nanjing Tuge Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tuge Medical Technology Co ltd filed Critical Nanjing Tuge Medical Technology Co ltd
Priority to CN202010336572.2A priority Critical patent/CN111428066B/zh
Publication of CN111428066A publication Critical patent/CN111428066A/zh
Application granted granted Critical
Publication of CN111428066B publication Critical patent/CN111428066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种基于卷积神经网络的病变图像的分类和分割方法，具体包括以下步骤：(1)采集病人的标准白光图像，将采集到的白光图像基于严格的组织学证据进行标注类别和分割标注并作为图像数据库；(2)构建病变分类网络Dual‑stream ELNet，得到病变分类模型；(3)构建病变U‑Net分割网络，得到病变分割网络模型；(4)将待测试的病变白光图像输入病变分类网络Dual‑stream ELNet中，得到病变所属类别；将所述类别的病变白光图像输入到指定的U‑Net分割网络模型中，得到病变分割结果。病变分类网络Dual‑stream ELNet基于Global Stream和Local Stream模型提取全局和局部特征，有效的提高了最终的分类结果。

Description

一种基于卷积神经网络的病变图像的分类和分割方法
技术领域
本发明涉及一种病变的分类和分割方法，具体涉及一种基于卷积神经网络的病变的分类和分割方法。
背景技术
近年来，随着科技的发展，内窥镜技术在临床上得到了广泛的应用，能够以最少的伤害，达成观察人体内部器官的目的。然而，每次内窥镜检查将产生大量的数据图像。为了检测病变图像，医生需要消耗大量时间在阅览图像工作，同时也会因为视觉疲劳产生漏检和误检。因此，研究出一套内窥镜病变图像自动检测的方法是当前急需解决的关键问题。目前在自动检测内窥镜病变图像研究领域中，众多研究者采用了传统的机器学习方法，而传统的机器学习方法往往需要人工提取特征，其方法比较繁琐，且很难达到预期理想的结果。深度学习与传统的机器学习相比，因其具有自动提取图像特征的优势而被广泛应用于众多图像处理领域中，在最后的处理结果中能够达到预期的理想效果，因此，本文基于深度学习思想，提出利用卷积神经网络方法(Convolutional Neural Network，CNN)对内窥镜图像常见病变的检测识别研究。
发明内容
本发明所要解决的技术问题是提供一种基于卷积神经网络的病变图像的分类和分割方法来解决现有技术中需要人工提取图像特征而造成步骤繁琐，达到的效果不理想的问题。
为解决以上技术问题，本发明的技术方案为：提供一种基于卷积神经网络的病变图像的分类和分割方法，其创新点在于：具体包括以下步骤：
(1)采集早期病变病人的标准白光图像，将采集到的白光图像基于严格的组织学证据进行标注类别和分割标注，将分类和标注好的图像作为图像数据库；
(2)构建病变分类网络Dual-stream ELNet，用训练样本集训练所述病变分类网络，确定网络参数，得到病变分类模型；
(3)构建病变U-Net分割网络，用训练样本集训练所述病变分割网络，得到病变分割网络模型；
(4)将待测试的病变白光图像输入病变分类网络Dual-stream ELNet中，得到病变所属类别；将所述类别的病变白光图像输入到指定的U-Net分割网络模型中，得到病变分割结果，完成病变图像的分类和分割。
进一步的，所述步骤(1)中采集的白光图像的标准是选择可采用常规白光内窥镜检查的图像，所述可采用常规白光内窥镜检查的图像包括由执照医师手动注释的像素级注释。
进一步的，所述步骤(1)中的图像数据库中的80％的图像为训练数据集，10％的图像为测试数据集，剩余的10％的图像为验证数据集。
进一步的，所述步骤(2)中构建的病变分类网络Dual-stream ELNet包括两个互补的网络，分别为Global Stream和Local Stream，所述Dual-stream ELNet模型包括多个卷积和池化层。
进一步的，使用训练样本集进行病变分类网络训练的方法为：将训练样本集的整体图像输入到Global Stream网络中，自动提取与病变大小和颜色对比度信息有关的全局特征，其中，通过采用21层网络层确定Global Stream网络参数，所述21层网络层包括16层卷积和5层池化自动优化权重参数。
通过Faster R-CNN获得病变类型的病变斑块，并且从正常类型的内窥镜图像中随机剪切出正常类型的斑块，将训练样本集的病变图像和正常图像的斑块输入到LocalStream网络中，Local Stream网络聚焦于与病变的纹理，形状和颜色有关的局部病变特征，其中，通过采用13层网络层确定Local Stream网络参数，所述13层网络层包括10卷积和3层池化层进行自动优化权重参数。
进一步的，在确定图像分类模型的基础上，对每个类别分别建立U-Net分割网络，得到病变的分割信息。
本发明和现有技术相比，产生的有益效果为：
(1)本发明公开的一种基于卷积神经网络的病变的分类和分割研究方法中的病变分类网络Dual-stream ELNet基于Global Stream和Local Stream模型提取全局和局部特征，有效的提高了最终的分类结果；
(2)对于病变分类网络，数据集分别采用整幅图像提取全局特征，采用Faster R-CNN框架提取的病变区域提取局部特征进行病变图像的早期分类，分类效率高，且分类效果好；
(3)在图像分类的基础上，对每个类别分别建立U-Net分割网络，得到病变的分割信息，有效减少了假阳率的出现。
附图说明
为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中四种类型中样本示例图。
图2为本发明中所提出的Dual-stream ELNet的结构示意图。
图3为本发明中所提出的分类网络与其自网络的ROC曲线表现。
图4为本发明中所提出的分割网络的可视化表现。
具体实施方式
下面将通过食管癌图像的分类和分割的具体实施方式对本发明的技术方案进行清楚、完整地描述。
食管癌是临床上常见的恶性肿瘤之一，在消化道癌肿中占居第一位。以我国北方地区发病率最高，男性多于女性，患者发病年龄多在40岁以上。食管慢性炎症也可是导致本病发生的原因。早期食管癌是指癌组织的浸润仅限于粘膜层内及粘膜下层内。对食管癌的早期诊断，早期手术治疗，生存率是较高的，是完全可以治疗的。食管癌是常见的消化系统恶性肿瘤，在世界范围内其发病率及死亡率在所有肿瘤中分别位居第8位、第6位，我国发病率和死亡率更高，在所有肿瘤中分别列为第5位、第4位。许多癌前病变及早期食管癌在白光内镜下特征不显著，漏诊率达40％；部分食管癌患者就诊或确诊时多已达中、晚期，而晚期食管癌患者5年生存率为10％～20％，预后较差。因此，改善食管癌患者预后的关键在于早发现、早诊断、早治疗。
本发明提供一种基于卷积神经网络的食管病变图像的分类和分割方法，具体包括以下步骤：
(1)采集早期食管病变病人的标准白光图像，将采集到的白光图像基于严格的组织学证据进行标注类别和分割标注，将分类和标注好的图像作为图像数据库，其中，采集的白光图像的标准是选择可采用常规白光内窥镜检查的图像，可采用常规白光内窥镜检查的图像包括由执照医师手动注释的像素级注释，图像数据库中的80％的图像为训练数据集，10％的图像为测试数据集，剩余的10％的图像为验证数据集。
(2)构建食管病变分类网络Dual-stream ELNet，构建的Dual-stream ELNet网络结构如表1所示，结构示意图如图2所示，用训练样本集训练所述食管病变分类网络，确定网络参数，得到食管病变分类模型，其中，构建的食管病变分类网络Dual-stream ELNet包括两个互补的网络，分别为Global Stream和Local Stream，所述Dual-stream ELNet模型包括多个卷积和池化层。
表1 Dual-stream ELNet网络结构
Figure BDA0002464864440000051
Figure BDA0002464864440000061
使用训练样本集进行食管病变分类网络训练的方法为：将训练样本集的整体食管图像输入到Global Stream网络中，自动提取与病变大小和颜色对比度信息有关的全局特征，其中，通过采用21层网络层确定Global Stream网络参数，所述21层网络层包括16层卷积和5层池化自动优化权重参数。
通过Faster R-CNN获得炎症、巴雷特和癌症三种类型的病变斑块，并且从正常类型的内窥镜图像中随机剪切出正常类型的斑块，将训练样本集的正常、炎症、巴雷特和癌症四种图像的斑块输入到Local Stream网络中，其中，四种类型中样本示例图如图1所示，Local Stream网络聚焦于与病变的纹理，形状和颜色有关的局部病变特征，其中，通过采用13层网络层确定Local Stream网络参数，所述13层网络层包括10卷积和3层池化层进行自动优化权重参数。
(3)构建食管病变U-Net分割网络，建立的U-Net分割网络如表2所示，用训练样本集训练所述食管病变分割网络，得到食管病变分割网络模型。
表2食管病变U-Net分割网络
Figure BDA0002464864440000071
Figure BDA0002464864440000081
(4)将待测试的食管病变白光图像输入食管病变分类网络Dual-stream ELNet中，得到食管病变所属类别；在确定食管图像分类模型的基础上，对每个类别分别建立U-Net分割网络，将所述类别的食管病变白光图像输入到指定的U-Net分割网络模型中，得到食管病变分割结果，如图4所示，完成食管病变图像的分类和分割。
本发明针对以上一种基于卷积神经网络的食管病变图像的分类和分割方法选择的数据库为876张白光内窥镜图像，为了进一步阐明评价指标，本发明使用灵敏度(SENS)，特异性(SPEC)，准确性(ACC)和接收者操作特征(ROC)作为评价指标来测量分类和分割性能：
True positive(TP):预测错误(算法预测出一个不存在的物体)；
True negative(TN):预测出了此处是背景，也就是说此处没有任何物体；
False positive(FP):预测正确(算法在物体规定范围内预测出了该物体)；
False negative(FN):没有预测到(算法没有在物体规定范围内预测出该物体)。
灵敏度(SENS)，特异性(SPEC)，准确性(ACC)由下式定义可得：
Figure BDA0002464864440000091
Figure BDA0002464864440000092
Figure BDA0002464864440000093
表3比较了本发明提出的方法以及子网络分类方法得到的结果：
表3
Figure BDA0002464864440000094
表3中是提出的方法以及子网络分类方法的结果，从该表中可以看出，所提出的Dual-stream ELNet在所有三个性能指标上都优于其子网，原因是Dual-stream ELNet网络融合了全局流和本地流的优点。其中，分类网络与其子网络的ROC曲线表现如图3所示。全局流在性能方面的性能不如局部流，这解释了全局流在利用四个类之间的类间差异方面的局限性。
表4比较了本文所采用的SNC策略与不分类直接进行分割的策略(SNNC，segmentation network with no classification)策略的分割结果。括号内为SNNC的分割结果。
表4
Figure BDA0002464864440000101
表4比较了SNC和SNNC策略的细分性能。SNC策略可以适应每种类型的食道病变，以减少假阴性和假阳性的数量。观察到的分割结果与专家的标记结果非常匹配。但是，对于SNNC策略，由于拟合不足，癌症和炎症类别的分割结果产生了相对较高的假阳性率。
上面所述的实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进均应落入本发明的保护范围，本发明的请求保护的技术内容，已经全部记载在技术要求书中。

Claims (4)

1.一种基于卷积神经网络的病变图像的分类和分割方法，其特征在于：具体包括以下步骤：
(1)采集早期病变病人的标准白光图像，将采集到的白光图像基于严格的组织学证据进行标注类别和分割标注，将分类和标注好的图像作为图像数据库；
(2)构建病变分类网络Dual-stream ELNet，用训练样本集训练所述病变分类网络，确定网络参数，得到病变分类模型；(3)构建病变U-Net分割网络，用训练样本集训练所述病变分割网络，得到病变分割网络模型；
(4)将待测试的病变白光图像输入病变分类网络Dual-stream ELNet中，得到病变所属类别；将所述类别的病变白光图像输入到指定的U-Net分割网络模型中，得到病变分割结果，完成病变图像的分类和分割；
所述步骤（2）中构建的病变分类网络Dual-stream ELNet包括两个互补的网络，分别为Global Stream和Local Stream，所述Dual-stream ELNet模型包括多个卷积和池化层；
使用训练样本集进行病变分类网络训练的方法为：
将训练样本集的整体图像输入到Global Stream网络中，自动提取与病变大小和颜色对比度信息有关的全局特征，其中，通过采用21层网络层确定Global Stream网络参数，所述21层网络层包括16层卷积和5层池化自动优化权重参数；
通过Faster R-CNN获得图像的病变斑块，并且从正常类型的内窥镜图像中随机剪切出正常类型的斑块，将训练样本集的图像斑块输入到Local Stream网络中，Local Stream网络聚焦于与病变的纹理，形状和颜色有关的局部病变特征，其中，通过采用13层网络层确定Local Stream网络参数，所述13层网络层包括10卷积和3层池化层进行自动优化权重参数。
2.根据权利要求1所述的一种基于卷积神经网络的病变图像的分类和分割方法，其特征在于：所述步骤(1)中采集的白光图像的标准是选择可采用常规白光内窥镜检查的图像，所述可采用常规白光内窥镜检查的图像包括由执照医师手动注释的像素级注释。
3.根据权利要求1所述的一种基于卷积神经网络的病变图像的分类和分割方法，其特征在于：所述步骤(1)中的图像数据库中的80％的图像为训练数据集，10％的图像为测试数据集，剩余的10％的图像为验证数据集。
4.根据权利要求1所述的一种基于卷积神经网络的病变图像的分类和分割方法，其特征在于：在确定图像分类模型的基础上，对每个类别分别建立U-Net分割网络，得到图像病变的分割信息。
CN202010336572.2A 2020-04-24 2020-04-24 一种基于卷积神经网络的病变图像的分类和分割方法 Active CN111428066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336572.2A CN111428066B (zh) 2020-04-24 2020-04-24 一种基于卷积神经网络的病变图像的分类和分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336572.2A CN111428066B (zh) 2020-04-24 2020-04-24 一种基于卷积神经网络的病变图像的分类和分割方法

Publications (2)

Publication Number Publication Date
CN111428066A CN111428066A (zh) 2020-07-17
CN111428066B true CN111428066B (zh) 2021-08-24

Family

ID=71556804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336572.2A Active CN111428066B (zh) 2020-04-24 2020-04-24 一种基于卷积神经网络的病变图像的分类和分割方法

Country Status (1)

Country Link
CN (1) CN111428066B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968091B (zh) * 2020-08-19 2022-04-01 南京图格医疗科技有限公司 一种临床图像中病变区域的检测和分类方法
CN112884777B (zh) * 2021-01-22 2022-04-12 复旦大学 基于自采样相似的多模态协作食管癌病变图像分割系统
CN112914477B (zh) * 2021-03-04 2023-03-14 广东工业大学 一种荧光分析的胶囊内窥镜系统及控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705463A (zh) * 2019-09-29 2020-01-17 山东大学 基于多模态双流3d网络的视频人体行为识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242266B2 (en) * 2016-03-02 2019-03-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos
CN106469314A (zh) * 2016-08-31 2017-03-01 深圳市唯特视科技有限公司 一种基于时空共生双流网络的视频图像分类方法
CN108596026B (zh) * 2018-03-16 2020-06-30 中国科学院自动化研究所 基于双流生成对抗网络的跨视角步态识别装置及训练方法
CN110059697B (zh) * 2019-04-29 2023-04-28 上海理工大学 一种基于深度学习的肺结节自动分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705463A (zh) * 2019-09-29 2020-01-17 山东大学 基于多模态双流3d网络的视频人体行为识别方法及系统

Also Published As

Publication number Publication date
CN111428066A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111428066B (zh) 一种基于卷积神经网络的病变图像的分类和分割方法
Ueyama et al. Application of artificial intelligence using a convolutional neural network for diagnosis of early gastric cancer based on magnifying endoscopy with narrow‐band imaging
Pang et al. Tongue image analysis for appendicitis diagnosis
CN111899229A (zh) 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
Wu et al. Automatic hookworm detection in wireless capsule endoscopy images
Shanmuga Sundaram et al. An enhancement of computer aided approach for colon cancer detection in WCE images using ROI based color histogram and SVM2
Bai et al. Automatic segmentation of cervical region in colposcopic images using K-means
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN111340128A (zh) 一种肺癌转移性淋巴结病理图像识别系统及方法
CN112071418B (zh) 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法
Liu Artificial intelligence-assisted endoscopic detection of esophageal neoplasia in early stage: The next step?
CN111476312B (zh) 一种基于卷积神经网络的病变图像的分类方法
Zhang et al. Differential diagnosis for esophageal protruded lesions using a deep convolution neural network in endoscopic images
KR101118211B1 (ko) 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법
Sharanyaa et al. DCNET: a novel implementation of gastric cancer detection system through deep learning convolution networks
Zhang et al. Developing a machine learning algorithm for identifying abnormal urothelial cells: a feasibility study
US20240062904A1 (en) Tumor diagnosis system and construction method thereof, terminal device and storage medium
Guidozzi et al. The role of artificial intelligence in the endoscopic diagnosis of esophageal cancer: a systematic review and meta-analysis
CN116630680B (zh) 一种x线摄影联合超声的双模态影像分类方法及系统
CN114764855A (zh) 基于深度学习的膀胱镜下肿瘤智能分割方法、装置及设备
CN110738649A (zh) 一种用于胃癌增强CT图像自动识别的Faster RCNN网络的训练方法
Cao et al. Deep learning based lesion detection for mammograms
Ko et al. A computer-aided grading system of breast carcinoma: scoring of tubule formation
Van Raad et al. Lesion margin analysis for automated classification of cervical cancer lesions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant