CN110472629A - 一种基于深度学习的病理图像自动识别系统及其训练方法 - Google Patents
一种基于深度学习的病理图像自动识别系统及其训练方法 Download PDFInfo
- Publication number
- CN110472629A CN110472629A CN201910749853.8A CN201910749853A CN110472629A CN 110472629 A CN110472629 A CN 110472629A CN 201910749853 A CN201910749853 A CN 201910749853A CN 110472629 A CN110472629 A CN 110472629A
- Authority
- CN
- China
- Prior art keywords
- interest
- image
- lymph node
- image group
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Abstract
本发明提出了一种基于深度学习的病理图像自动识别系统训练方法,其特征在于,包括以下步骤:步骤(a),图像分割;步骤(b),获取肿瘤感兴趣区域和淋巴结感兴趣区域;步骤(c),提取肿瘤感兴趣区域和淋巴结感兴趣区域中的影像组学特征;步骤(d),消除冗余的影像组学特征;步骤(e),确定肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征;步骤(f),以最优影像组学特征构建训练集,预测淋巴结转移;步骤(g),构建独立验证集对训练集进行验证;步骤(h),当训练集的预测有效性达到预设值,则训练结束;当训练集的预测有效性低于预设值,重新构建训练集进行训练。本发明的训练方法可以提高预测胃癌淋巴结转移的有效性。
Description
技术领域
本发明涉及图像识别领域,特别涉及一种基于深度学习的病理图像自动识别系统训练方法,以及通过该训练方法训练获得的病理图像自动识别系统。
背景技术
胃癌是全球常见的恶性肿瘤之一,预后差,严重威胁人类健康。根据GLOBOCAN的最新统计数据,2018年全球胃癌新发病例约103.3万例,死亡病例约78.3万例,分别位于恶性肿瘤发病率第5位、死亡率第2位。据我国最新癌症统计信息,每年胃癌新发病例约为67.9万例,死亡病例约为49.8万例,发病人数和死亡人数均居所有恶性肿瘤第2位。在胃癌中,淋巴结转移被认为是重要的预后因素。
全扫面切片技术可以实现病理切片数字化,随着全切片图像的采集、处理和分析方面技术的发展,数字病理在过去的十年内逐渐的应用到科研及临床中,但是目前,在日常病理切片诊断过程中,医生通常通过逐片阅读对整张切片中存在的转移性淋巴结进行检测并分类,筛选出最终确定转移性淋巴结的图像和位置,因此,医生的工作量非常大,而且效率低。
目前,人工智能已经取得飞速发展,深度学习算法在图像识别领域已取得较好成效,基于深度学习算法的智能识别系统在医学图像的识别领域已有应用,但对于胃癌转移性淋巴结识别的准确性较低,如何通过人工智能实现胃癌转移淋巴结自动识别并保证较高精度,是目前亟待解决的问题。
发明内容
本发明提出一种基于深度学习的病理图像自动识别系统训练方法,用于训练一种病理图像自动识别系统,提高胃癌转移淋巴结切片图像识别精度。本发明还提出一种基于深度学习的病理图像自动识别系统,该系统由上述训练方法训练获得。
根据本发明的第一方面,提出了一种基于深度学习的病理图像自动识别系统训练方法。
在一些实施例中,基于深度学习的病理图像自动识别系统训练方法包括以下步骤:
步骤(a),图像分割,标记肿瘤区域和淋巴结区域;
步骤(b),根据标记的肿瘤区域和淋巴结区域,获取肿瘤感兴趣区域和淋巴结感兴趣区域;
步骤(c),提取肿瘤感兴趣区域和淋巴结感兴趣区域中的影像组学特征;
步骤(d),利用Pearson相关矩阵推演成对的影像组学特征的相关性,具有最大绝对相关系数平均值的影像组学特征被认为是冗余的,消除冗余的影像组学特征;
步骤(e),通过序列浮动前向选择算法进一步确定肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征;
步骤(f),以肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征构建训练集,进行多变量Logistic回归分析以预测淋巴结转移;
步骤(g),构建独立验证集对训练集进行验证;
步骤(h),当训练集的预测有效性达到预设值,则训练结束;当训练集的预测有效性低于预设值,重新构建训练集进行训练。
可选地,所述步骤(c)中,肿瘤感兴趣区域的影像组包含原始图像以及在原始图像上通过内置的6个可选过滤器生成的衍生图像。
可选地,所述步骤(c)中,淋巴结感兴趣区域的影像组包含原始图像和小波图像。
可选地,所述影像组学特征均进行了z-Score标准化。
可选地,所述步骤(e),还包括:用影像组学特征指标ROC曲线下的面积AUC值作为序列浮动前向选择算法的评分标准,以获得肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征。
根据本发明的第二方面,提出了一种基于深度学习的病理图像自动识别系统,该系统由上述任一可选实施例所述的训练方法训练获得。
本发明的有益效果是:
以肿瘤感兴趣区域和淋巴结感兴趣区域的影像组学特征构建训练集,可以提高预测淋巴结转移的有效性,远高于仅肿瘤影像组学特征组或者仅淋巴结影像组学特征组构建训练集预测淋巴结转移的AUC值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度学习的病理图像自动识别系统训练方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中,医生通常通过逐片阅读对整张切片中存在的转移性淋巴结进行检测并分类,筛选出最终确定转移性淋巴结的图像和位置,因此,医生的工作量非常大,而且效率低。而现有的基于深度学习算法的智能识别系统在医学图像的识别领域虽然已有应用,但对于胃癌转移性淋巴结识别的准确性较低。
本发明提出了一种基于深度学习的病理图像自动识别系统训练方法,用于训练一种基于深度学习的病理图像自动识别系统,实现胃癌转移淋巴结自动识别,也可以用于其他癌症转移淋巴结自动识别。
如图1所示,本发明提出了一种基于深度学习的病理图像自动识别系统训练方法,包括:
步骤(a),图像分割,标记肿瘤区域和淋巴结区域;
步骤(b),根据标记的肿瘤区域和淋巴结区域,获取肿瘤感兴趣区域和淋巴结感兴趣区域;
步骤(c),提取肿瘤感兴趣区域和淋巴结感兴趣区域中的影像组学特征;
步骤(d),利用Pearson相关矩阵推演成对的影像组学特征的相关性,具有最大绝对相关系数平均值的影像组学特征被认为是冗余的,消除冗余的影像组学特征;
步骤(e),通过序列浮动前向选择算法进一步确定肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征;
步骤(f),以肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征构建训练集,进行多变量Logistic回归分析以预测淋巴结转移;
步骤(g),构建独立验证集对训练集进行验证;
步骤(h),当训练集的预测有效性达到预设值,则训练结束;当训练集的预测有效性低于预设值,重新构建训练集进行训练。
采用上述实施例,以肿瘤感兴趣区域和淋巴结感兴趣区域的影像组学特征构建训练集,可以提高预测淋巴结转移的有效性,进而获得一种基于深度学习的病理图像自动识别系统,用于对患者病理图像进行自动识别,实现胃癌转移淋巴结自动识别。当然,本发明的上述训练方法并不限于训练一种胃癌转移淋巴结图像自动识别系统,还可以训练其他病理图像的自动识别系统。
可选地,上述步骤(a)中,通过人工进行图像分割,标记肿瘤区域和淋巴结区域。
可选地,上述步骤(b)还包括:每一个肿瘤感兴趣区域或者淋巴结感兴趣区域被重新采样到各向异性数据中,体素间距为1×1×1mm3。
可选地,上述步骤(c)中,还包括:使用Pyradiomics包(一个开源python包)提取所有肿瘤感兴趣区域和淋巴结感兴趣区中的影像组学特征。
可选地,上述步骤(c)中,肿瘤感兴趣区域的影像组包含原始图像以及在原始图像上通过内置的6个可选过滤器生成的衍生图像。
可选地,上述步骤(c)中,淋巴结感兴趣区域的影像组包含原始图像和小波图像。
可选地,上述肿瘤感兴趣区域和淋巴结感兴趣区域的影像组学特征均进行了z-Score标准化。
可选地,上述步骤(e)中,还包括:用影像组学特征指标ROC曲线(接受者操作特性曲线)下的面积AUC值作为序列浮动前向选择算法的评分标准,以获得肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征。
可选地,上述步骤(h)中,还包括:训练集的预测有效性评估用ROC曲线下的面积AUC值进行量化。
下面给出通过本发明的上述训练方法进行病理图像自动识别系统训练的一个具体实施例。
采集了163例胃癌患者腹部增强CT图像,包含118例淋巴结转移患者和45例未转移患者。患者被随机分为训练集和验证集;109例患者(79例转移,30例无转移)被分配到训练集中,54例患者(39例转移,15例无转移)被分配到验证集中。首先,由高年资影像医师手动标记每位患者的肿瘤区域和淋巴结区域。根据影像医师的标记,获取肿瘤感兴趣区域和淋巴结感兴趣区域。每一例患者的CT图像中都提取了1561个肿瘤和833个淋巴结影像组学特征。利用Pearson相关矩阵推演成对的影像组学特征的相关性,设置高度相关特征对的阈值为0.85。然后,肿瘤和淋巴结影像组学特征都使用序列浮动前向选择算法(SFFS算法)进行排序,将分别纳入前10的肿瘤影像组学特征和前10的淋巴结影像组学特征作为最优影像组学特征。以肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征构建训练集,进行多变量Logistic回归分析以预测淋巴结转移,预测淋巴结转移的AUC值为0.9761±0.0149。构建独立验证集对训练集进行验证,预测淋巴结转移的AUC值为0.9593±0.0119。
本发明的训练方法以肿瘤感兴趣区域和淋巴结感兴趣区域的影像组学特征构建训练集,可以提高预测淋巴结转移的有效性,远高于仅肿瘤影像组学特征组或者仅淋巴结影像组学特征组构建训练集预测淋巴结转移的AUC值。
在另一些实施例中,本发明还提出了一种基于深度学习的病理图像自动识别系统,该系统由前文所述的训练方法训练获得。上述病理图像自动识别系统可以基于现有的深度学习模型实现。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于深度学习的病理图像自动识别系统训练方法,其特征在于,包括以下步骤:
步骤(a),图像分割,标记肿瘤区域和淋巴结区域;
步骤(b),根据标记的肿瘤区域和淋巴结区域,获取肿瘤感兴趣区域和淋巴结感兴趣区域;
步骤(c),提取肿瘤感兴趣区域和淋巴结感兴趣区域中的影像组学特征;
步骤(d),利用Pearson相关矩阵推演成对的影像组学特征的相关性,具有最大绝对相关系数平均值的影像组学特征被认为是冗余的,消除冗余的影像组学特征;
步骤(e),通过序列浮动前向选择算法进一步确定肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征;
步骤(f),以肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征构建训练集,进行多变量Logistic回归分析以预测淋巴结转移;
步骤(g),构建独立验证集对训练集进行验证;
步骤(h),当训练集的预测有效性达到预设值,则训练结束;当训练集的预测有效性低于预设值,重新构建训练集进行训练。
2.如权利要求1所述的一种基于深度学习的病理图像自动识别系统训练方法,其特征在于,
所述步骤(c)中,肿瘤感兴趣区域的影像组包含原始图像以及在原始图像上通过内置的6个可选过滤器生成的衍生图像。
3.如权利要求1所述的一种基于深度学习的病理图像自动识别系统训练方法,其特征在于,
所述步骤(c)中,淋巴结感兴趣区域的影像组包含原始图像和小波图像。
4.如权利要求1所述的一种基于深度学习的病理图像自动识别系统训练方法,其特征在于,所述影像组学特征均进行了z-Score标准化。
5.如权利要求1所述的一种基于深度学习的病理图像自动识别系统训练方法,其特征在于,所述步骤(e),还包括:用影像组学特征指标ROC曲线下的面积AUC值作为序列浮动前向选择算法的评分标准,以获得肿瘤感兴趣区域和淋巴结感兴趣区域中的最优影像组学特征。
6.一种基于深度学习的病理图像自动识别系统,其特征在于,该系统由权利要求1至5任一项所述的训练方法训练获得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910749853.8A CN110472629B (zh) | 2019-08-14 | 2019-08-14 | 一种基于深度学习的病理图像自动识别系统及其训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910749853.8A CN110472629B (zh) | 2019-08-14 | 2019-08-14 | 一种基于深度学习的病理图像自动识别系统及其训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110472629A true CN110472629A (zh) | 2019-11-19 |
CN110472629B CN110472629B (zh) | 2022-03-25 |
Family
ID=68510789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910749853.8A Active CN110472629B (zh) | 2019-08-14 | 2019-08-14 | 一种基于深度学习的病理图像自动识别系统及其训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110472629B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028223A (zh) * | 2019-12-11 | 2020-04-17 | 大连医科大学附属第一医院 | 一种微卫星不稳定肠癌能谱ct碘水图影像组学特征处理方法 |
CN111554381A (zh) * | 2020-04-23 | 2020-08-18 | 上海市第一人民医院 | 一种基于深度学习的肾透明细胞癌人工智能病理诊断方法及其诊断模型 |
CN111598859A (zh) * | 2020-05-13 | 2020-08-28 | 吉林大学第一医院 | 一种基于ct影像组学的胸部淋巴结标准摄取值的检测方法 |
CN111814868A (zh) * | 2020-07-03 | 2020-10-23 | 苏州动影信息科技有限公司 | 一种基于影像组学特征选择的模型、构建方法和应用 |
CN111932541A (zh) * | 2020-10-14 | 2020-11-13 | 北京信诺卫康科技有限公司 | 一种用于预测新冠肺炎预后的ct影像图像处理方法 |
CN112184658A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 用于非小细胞肺癌预后生存预测的方法、介质及电子设备 |
CN112949772A (zh) * | 2021-04-12 | 2021-06-11 | 中国科学院自动化研究所 | 基于影像组学的胃癌多维特征提取与分析系统 |
CN113436150A (zh) * | 2021-06-07 | 2021-09-24 | 华中科技大学同济医学院附属同济医院 | 用于淋巴结转移风险预测的超声影像组学模型的构建方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080298662A1 (en) * | 2007-06-04 | 2008-12-04 | Siemens Medical Solutions Usa, Inc. | Automatic Detection of Lymph Nodes |
CN109009110A (zh) * | 2018-06-26 | 2018-12-18 | 东北大学 | 基于mri影像的腋窝淋巴结转移预测系统 |
-
2019
- 2019-08-14 CN CN201910749853.8A patent/CN110472629B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080298662A1 (en) * | 2007-06-04 | 2008-12-04 | Siemens Medical Solutions Usa, Inc. | Automatic Detection of Lymph Nodes |
CN109009110A (zh) * | 2018-06-26 | 2018-12-18 | 东北大学 | 基于mri影像的腋窝淋巴结转移预测系统 |
Non-Patent Citations (3)
Title |
---|
刘博: "基于影像组学的稳定性特征选择方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
杨熠 等: "采用影像组学的肾肿瘤组织学亚型分类", 《浙江大学学报(工学版)》 * |
王超 等: "基于影像组学的非小细胞肺癌淋巴结转移预测", 《自动化学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028223A (zh) * | 2019-12-11 | 2020-04-17 | 大连医科大学附属第一医院 | 一种微卫星不稳定肠癌能谱ct碘水图影像组学特征处理方法 |
CN111028223B (zh) * | 2019-12-11 | 2023-11-07 | 大连医科大学附属第一医院 | 一种微卫星不稳定肠癌能谱ct碘水图影像组学特征处理方法 |
CN111554381A (zh) * | 2020-04-23 | 2020-08-18 | 上海市第一人民医院 | 一种基于深度学习的肾透明细胞癌人工智能病理诊断方法及其诊断模型 |
CN111598859A (zh) * | 2020-05-13 | 2020-08-28 | 吉林大学第一医院 | 一种基于ct影像组学的胸部淋巴结标准摄取值的检测方法 |
CN111814868A (zh) * | 2020-07-03 | 2020-10-23 | 苏州动影信息科技有限公司 | 一种基于影像组学特征选择的模型、构建方法和应用 |
CN112184658A (zh) * | 2020-09-24 | 2021-01-05 | 上海健康医学院 | 用于非小细胞肺癌预后生存预测的方法、介质及电子设备 |
CN112184658B (zh) * | 2020-09-24 | 2023-11-24 | 上海健康医学院 | 用于非小细胞肺癌预后生存预测的方法、介质及电子设备 |
CN111932541A (zh) * | 2020-10-14 | 2020-11-13 | 北京信诺卫康科技有限公司 | 一种用于预测新冠肺炎预后的ct影像图像处理方法 |
CN111932541B (zh) * | 2020-10-14 | 2021-02-02 | 北京信诺卫康科技有限公司 | 一种用于预测新冠肺炎预后的ct影像图像处理方法 |
CN112949772A (zh) * | 2021-04-12 | 2021-06-11 | 中国科学院自动化研究所 | 基于影像组学的胃癌多维特征提取与分析系统 |
CN113436150A (zh) * | 2021-06-07 | 2021-09-24 | 华中科技大学同济医学院附属同济医院 | 用于淋巴结转移风险预测的超声影像组学模型的构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110472629B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472629A (zh) | 一种基于深度学习的病理图像自动识别系统及其训练方法 | |
CN110223281B (zh) | 一种数据集中含有不确定数据时的肺结节图像分类方法 | |
Okur et al. | A survey on automated melanoma detection | |
CN110310281A (zh) | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 | |
Gong et al. | Computer-aided diagnosis of lung cancer: the effect of training data sets on classification accuracy of lung nodules | |
Peng et al. | Diagnosis of cervical precancerous lesions based on multimodal feature changes | |
CN110265141A (zh) | 一种肝脏肿瘤ct影像计算机辅助诊断方法 | |
US20180053297A1 (en) | Methods and Apparatuses for Detection of Abnormalities in Low-Contrast Images | |
CN101551854B (zh) | 不平衡医学影像处理系统及其处理方法 | |
CN106778829A (zh) | 一种主动学习的肝脏损伤类别的图像检测方法 | |
CN115019405A (zh) | 一种基于多模态融合的肿瘤分类方法及系统 | |
Wang et al. | Ai auxiliary labeling and classification of breast ultrasound images | |
CN111027548B (zh) | 基于影像组学的脑胶质瘤分子标记物无损预测方法、系统 | |
Li et al. | A novel radiogenomics framework for genomic and image feature correlation using deep learning | |
Leichter et al. | Improved mammographic interpretation of masses using computer-aided diagnosis | |
CN116363647A (zh) | 基于深度语义分割网络的肺癌病理组织分型系统 | |
CN116664932A (zh) | 一种基于主动学习的结直肠癌病理组织图像分类方法 | |
CN115330722A (zh) | 一种胃癌h&e染色图像智能预测pd-l1抑制剂疗效的方法 | |
CN103606142A (zh) | 一种基于超声弹性图像的弹性应变评估方法和系统 | |
Gonçalves et al. | Radiomics in head and neck cancer | |
Sarthi et al. | Human Brain Tumor Detection and Segmentation for MR Image. | |
CN110428396A (zh) | 一种基于ct影像的特征参数降维方法和系统 | |
CN110458186A (zh) | 基于局部参考相似性编码的乳腺超声图像分类方法及系统 | |
CN110930401B (zh) | 一种能谱ct增强碘水图影像组学术前预测肾透明细胞癌who/isup分级方法 | |
CN114155215B (zh) | 一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |