CN109528152A - 一种新型肺病智能辅助检测方法和系统 - Google Patents
一种新型肺病智能辅助检测方法和系统 Download PDFInfo
- Publication number
- CN109528152A CN109528152A CN201910059790.3A CN201910059790A CN109528152A CN 109528152 A CN109528152 A CN 109528152A CN 201910059790 A CN201910059790 A CN 201910059790A CN 109528152 A CN109528152 A CN 109528152A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network
- tuberculosis
- parameter
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Pulmonology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Otolaryngology (AREA)
- Physiology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种新型肺病智能辅助检测方法和系统,涉及肺癌智能辅助诊断领域,包括:首先获取支气管镜检查图像;然后采用预先训练的初始神经网络作为本次建模的神经网络;采用顺序微调法对上述步骤获取的所述神经网络按照网络结构的顺序,通过调整所述神经网络的网络参数,微调所述神经网络的各层网络,并利用加权交叉熵作为成本函数来更新所述网络参数,最后,获取肺病检测模型。本发明所通过基于迁移学习,在神经网络之上使用一种新颖的迁移学习方法:顺序微调法,以便构建的一种用于支气管镜的计算机辅助诊断系统,大大地提高支气管镜检查中肺病诊断准确性,帮助医生更加有选择性地进行活组织检查,并提供诊断意见供医生参考。
Description
技术领域
本发明主要涉及肺癌智能辅助诊断领域,特别是涉及一种新型肺病智能辅助检测方法和系统。
背景技术
肺癌也称为支气管肺癌,因为约95%的原发性肺癌源自支气管粘膜。肺癌是最致命的癌症,五年生存率为18.1%(基于2007-2013SEER数据库)。2014年,估计美国有527,228人患有支气管肺癌。在中国,肺癌是最常见的癌症,也是癌症死亡的主要原因,尤其是城市男性。气管、支气管和肺癌(肺结核L)死亡人数为546,259,约占2013年全球范围内1,639,646例死亡人数的三分之一。来自肺部的发展中国家的另一个严重健康问题是结核病(肺结核)。中国占全球结核病负担的10%以上。胸部X光是一种廉价且快速的成像设备,通常用于肺部疾病的诊断,包括肺炎,肺结核,肺气肿和癌症。它对紧急情况特别有用。通过非常小剂量的辐射,X射线产生胸部和肺部的2D投影图像。然而,由于其在3D中可视化肺的限制,它逐渐被提供3D成像的胸部CT取代。胸部CT广泛用于肺结节检测。胸部CT的缺点是其相对较高的辐射。然而,在发展中国家,胸部X射线仍被用作结核病筛查或诊断的主要工具。
支气管镜检查作为呼吸内科重要的检查方式,在肺病患者的诊断和治疗中起着关键作用。在进行支气管镜检查时,医生必须根据镜下图像的表征,立即决定是否要进行活检。由于活检可能导致肺组织无法控制甚至危及生命的出血,医生需要慎重选择活检。
发明内容
有鉴于现有技术的一部分缺陷,本发明所要解决的技术问题是提供一种新型肺病智能辅助检测方法和系统,旨在为了帮助医生更加有选择性地进行活组织检查并提供第二个诊断意见。
为实现上述目的,本发明提供了一种新型肺病智能辅助检测方法,所述方法包括:
步骤S1、获取疑似患有肺部疾病的患者的支气管镜检查图像;
步骤S2、采用预先训练的初始神经网络作为本次建模的神经网络;
步骤S3、采用顺序微调法对上述步骤获取的所述神经网络按照网络结构的顺序,通过调整所述神经网络的网络参数,微调所述神经网络的各层网络;所述网络参数包括训练阶段数n、神经网络层数m、执行步数x;所述神经网络包括m层,并采用n个训练阶段进行训练,每一步顺序微调包括x个执行步数;
步骤S4、通过使用加权交叉熵作为成本函数来更新所述网络参数,以便更新所述神经网络;
步骤S5、获取经上述步骤多次调整后的所述神经网络为所需的肺病检测模型。
在一具体实施方式中,所述步骤S1中,所述患者的年龄为18至70岁,在所述患者的肝测试、肾测试和/或血液测试中,中性粒细胞计数>2.0g/l,Hb>9g/l,血小板计数>100g/l,AST和ALT>0.5ULN,肺结核IL<1.5ULN,和Cr<1.0ULN。
在一具体实施方式中,在所述步骤S2中,所述神经网络为DenseNet构架;所述神经网络通过使用少于一半的参数和大约一半的每秒浮点运算。
在一具体实施方式中,在所述步骤S3中,所述顺序微调法将所述支气管镜检查图像数据拟合到更多子模型中,分别固定了不同的网络层来进行训练,每次固定对应了一个子模型,为所述支气管镜检查图像数据找到一个适合的所述肺病检测模型。
在本发明的另一方面还提供一种新型肺病智能辅助检测系统,所述系统包括:
图像采集模块:获取疑似患有肺部疾病的患者的支气管镜检查图像;
选取模型模块:采用预先训练的初始神经网络作为本次建模的神经网络;
顺序微调网络模块:采用顺序微调法对上述步骤获取的所述神经网络按照网络结构的顺序,通过调整所述神经网络的网络参数,微调所述神经网络的各层网络;所述网络参数包括训练阶段数n、神经网络层数m、执行步数x;所述神经网络包括m层,并采用n个训练阶段进行训练,每一步顺序微调包括x个执行步数;
更新参数模块:通过使用加权交叉熵作为成本函数来更新所述网络参数,以便更新所述神经网络;
获取模型模块:获取经上述步骤多次调整后的所述神经网络为所需的肺病检测模型。
更新参数模块:通过使用加权交叉熵作为成本函数来更新所述网络参数;
获取模型模块:获取所需的肺病检测模型。
本发明的有益效果是:通过基于迁移学习,在神经网络之上使用一种新颖的迁移学习方法:顺序微调法,以便构建的一种用于支气管镜的计算机辅助诊断系统,大大地提高支气管镜检查中肺病诊断准确性,帮助医生更加有选择性地进行活组织检查,并提供诊断意见供医生参考。
附图说明
图1是本发明一具体实施方式的一种新型肺病智能辅助检测方法的流程示意图;
图2是本发明一具体实施方式的一种新型肺病智能辅助检测系统的机构框图;
图3是本发明一具体实施方式中不同患病程度的支气管镜实际检查图;
图4是本发明一具体实施方式的一种新型肺病智能辅助检测方法的Densenet121的演示;
图5是本发明一具体实施方式的一种新型肺病智能辅助检测方法的混淆矩阵和归一化混淆矩阵;
图6是本发明一具体实施方式的一种新型肺病智能辅助检测方法的不同患病程度的二元分类的ROC曲线图;
图7是本发明一具体实施方式的一种新型肺病智能辅助检测方法的结核病例和癌症病例之间的二元分类的ROC曲线图;
图8是本发明一具体实施方式的一种新型肺病智能辅助检测方法的非癌症病例和癌症病例之间二元分类的ROC曲线图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
如图1-8所示,在本发明第一实例中,提供一种新型肺病智能辅助检测方法,所述方法包括:
步骤S1、获取疑似患有肺部疾病的患者的支气管镜检查图像;
步骤S2、采用预先训练的初始神经网络作为本次建模的神经网络;
值得一提的是,所述神经网络每个层以前馈方式在每个密集块内直接连接到每个其他层;对于每个图层,所有前面图层的要素图被视为单独的输入,而其自身的要素图作为输入传递给所有后续图层;
步骤S3、采用顺序微调法对上述步骤获取的所述神经网络按照网络结构的顺序,通过调整所述神经网络的网络参数,微调所述神经网络的各层网络;所述网络参数包括训练阶段数n、神经网络层数m、执行步数x;所述神经网络包括m层,并采用n个训练阶段进行训练,每一步顺序微调包括x个执行步数;
值得一提的是,所述顺序微调法,无需将数据拟合到神经网络的两个子模型(网络各层均不固定的模型和固定完全连接层的模型),就可以将数据拟合到更多子模型中,因为顺序微调法法中,分别固定了不同的网络层来进行训练,每次固定对应了一个子模型,通过这样做,会有更好的机会为数据找到一个适合的模型;
步骤S4、通过使用加权交叉熵作为成本函数来更新所述网络参数,以便更新所述神经网络;
值得一提的是,在训练期间,由于待分类类别的数据大小差异很大,为了消除不平衡数据的影响,通过使用所述加权交叉熵作为成本函数来更新所述网络参数;为了获得每个样本的最终标签或类,分配了标签或类,其中最后一层中的相应节点给出了最高似然值;对于训练,将epoch的数量限制为150并将x设置为5,将所有所述支气管镜检查图像的大小调整为224*224的大小以适合预训练的模型;
步骤S5、获取经上述步骤多次调整后的所述神经网络为所需的肺病检测模型;
值得一提的是,在收集的81例正常病例,76例肺结核病例和277例肺癌病例的临床数据集中,SFT法达到了82%的检测准确度,而其他传统TL方法的准确率在70%左右;这表明CAD系统具有提高支气管镜检查中肺病诊断准确性的潜力,并且可以用于对活组织检查更具选择性。
在本实施例中,所述步骤S1中,所述患者的年龄为18至70岁,在所述患者的肝测试、肾测试和/或血液测试中,中性粒细胞计数>2.0g/l,Hb>9g/l,血小板计数>100g/l,AST和ALT>0.5ULN,肺结核IL<1.5ULN,和Cr<1.0ULN。
在本实施例中,在所述步骤S2中,所述神经网络为DenseNet构架;所述神经网络通过使用少于一半的参数和大约一半的每秒浮点运算。
值得一提的是,图4显示了这项工作的架构,数字121对应于具有可训练权重的层数(不包括批量标准化层),另外5层包括初始7x7卷积层,3个过渡层和完全连接层。
在本实施例中,在所述步骤S3中,所述顺序微调法将所述支气管镜检查图像数据拟合到更多子模型中,分别固定了不同的网络层来进行训练,每次固定对应了一个子模型,为所述支气管镜检查图像数据找到一个适合的所述肺病检测模型。
在本发明的另一方面还提供一种新型肺病智能辅助检测系统,其特征在于,所述系统包括:
图像采集模块100:获取疑似患有肺部疾病的患者的支气管镜检查图像;
选取模型模块200:采用预先训练的初始神经网络作为本次建模的神经网络;
顺序微调网络模块300:采用顺序微调法对上述步骤获取的所述神经网络按照网络结构的顺序,通过调整所述神经网络的网络参数,微调所述神经网络的各层网络;所述网络参数包括训练阶段数n、神经网络层数m、执行步数x;所述神经网络包括m层,并采用n个训练阶段进行训练,每一步顺序微调包括x个执行步数;
更新参数模块400:通过使用加权交叉熵作为成本函数来更新所述网络参数,以便更新所述神经网络;
获取模型模块500:获取经上述步骤多次调整后的所述神经网络为所需的肺病检测模型。
值得一提的是,图3是不同患病程度的支气管镜实际检查图;其中图3(a)为正常支气管镜的支气管镜检查图像,图3(b)为肺结核支气管镜的支气管镜检查图像和图3(c)为癌症病例的支气管镜检查图像;图6是为异常(肺结核+癌症,阳性)和正常(阴性)二元分类的ROC曲线图,其中微调所有层,微调完全连接的层和顺序微调法的AUC分别为0.98、0.97和0.99;图7是结核病例和癌症病例之间的二元分类的ROC曲线图,其中微调所有层,微调完全连接的层和顺序微调法的AUC分别为0.73、0.68和0.77;图8是非癌症病例和癌症病例之间二元分类的ROC曲线图,其中微调所有层,微调完全连接的层和顺序微调法的AUC分别为0.85、0.83和0.87。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (5)
1.一种新型肺病智能辅助检测方法,其特征在于,所述方法包括:
步骤S1、获取疑似患有肺部疾病的患者的支气管镜检查图像;
步骤S2、采用预先训练的初始神经网络作为本次建模的神经网络;
步骤S3、采用顺序微调法对上述步骤获取的所述神经网络按照网络结构的顺序,通过调整所述神经网络的网络参数,微调所述神经网络的各层网络;所述网络参数包括训练阶段数n、神经网络层数m、执行步数x;所述神经网络包括m层,并采用n个训练阶段进行训练,每一步顺序微调包括x个执行步数;
步骤S4、通过使用加权交叉熵作为成本函数来更新所述网络参数,以便更新所述神经网络;
步骤S5、获取经上述步骤多次调整后的所述神经网络为所需的肺病检测模型。
2.如权利要求1所述的一种新型肺病智能辅助检测方法,其特征在于,所述步骤S1中,所述患者的年龄为18至70岁,在所述患者的肝测试、肾测试和/或血液测试中,中性粒细胞计数>2.0g/l,Hb>9g/l,血小板计数>100g/l,AST和ALT>0.5ULN,肺结核IL<1.5ULN,和Cr<1.0ULN。
3.如权利要求1所述的一种新型肺病智能辅助检测方法,其特征在于,在所述步骤S2中,所述神经网络为DenseNet构架;所述神经网络通过使用少于一半的参数和大约一半的每秒浮点运算。
4.如权利要求1所述的一种新型肺病智能辅助检测方法,其特征在于,在所述步骤S3中,所述顺序微调法将所述支气管镜检查图像数据拟合到更多子模型中,分别固定了不同的网络层来进行训练,每次固定对应了一个子模型,为所述支气管镜检查图像数据找到一个适合的所述肺病检测模型。
5.一种新型肺病智能辅助检测系统,其特征在于,所述系统包括:
图像采集模块:获取疑似患有肺部疾病的患者的支气管镜检查图像;
选取模型模块:采用预先训练的初始神经网络作为本次建模的神经网络;
顺序微调网络模块:采用顺序微调法对上述步骤获取的所述神经网络按照网络结构的顺序,通过调整所述神经网络的网络参数,微调所述神经网络的各层网络;所述网络参数包括训练阶段数n、神经网络层数m、执行步数x;所述神经网络包括m层,并采用n个训练阶段进行训练,每一步顺序微调包括x个执行步数;
更新参数模块:通过使用加权交叉熵作为成本函数来更新所述网络参数,以便更新所述神经网络;
获取模型模块:获取经上述步骤多次调整后的所述神经网络为所需的肺病检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910059790.3A CN109528152A (zh) | 2019-01-22 | 2019-01-22 | 一种新型肺病智能辅助检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910059790.3A CN109528152A (zh) | 2019-01-22 | 2019-01-22 | 一种新型肺病智能辅助检测方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109528152A true CN109528152A (zh) | 2019-03-29 |
Family
ID=65838064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910059790.3A Pending CN109528152A (zh) | 2019-01-22 | 2019-01-22 | 一种新型肺病智能辅助检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109528152A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111524579A (zh) * | 2020-04-27 | 2020-08-11 | 北京百度网讯科技有限公司 | 肺功能曲线检测方法、装置、设备以及存储介质 |
CN111815643A (zh) * | 2019-04-11 | 2020-10-23 | 西门子医疗有限公司 | 基于人工智能的copd评估 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301380A (zh) * | 2017-06-01 | 2017-10-27 | 华南理工大学 | 一种用于视频监控场景中行人重识别的方法 |
CN108095716A (zh) * | 2017-11-21 | 2018-06-01 | 郑州鼎创智能科技有限公司 | 一种基于置信规则库和深度神经网络的心电信号检测方法 |
CN108447052A (zh) * | 2018-03-15 | 2018-08-24 | 深圳市唯特视科技有限公司 | 一种基于神经网络的对称性脑肿瘤分割方法 |
CN108629764A (zh) * | 2018-04-17 | 2018-10-09 | 杭州依图医疗技术有限公司 | 一种确定肺结节良恶性的方法及装置 |
CN109035263A (zh) * | 2018-08-14 | 2018-12-18 | 电子科技大学 | 基于卷积神经网络的脑肿瘤图像自动分割方法 |
-
2019
- 2019-01-22 CN CN201910059790.3A patent/CN109528152A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301380A (zh) * | 2017-06-01 | 2017-10-27 | 华南理工大学 | 一种用于视频监控场景中行人重识别的方法 |
CN108095716A (zh) * | 2017-11-21 | 2018-06-01 | 郑州鼎创智能科技有限公司 | 一种基于置信规则库和深度神经网络的心电信号检测方法 |
CN108447052A (zh) * | 2018-03-15 | 2018-08-24 | 深圳市唯特视科技有限公司 | 一种基于神经网络的对称性脑肿瘤分割方法 |
CN108629764A (zh) * | 2018-04-17 | 2018-10-09 | 杭州依图医疗技术有限公司 | 一种确定肺结节良恶性的方法及装置 |
CN109035263A (zh) * | 2018-08-14 | 2018-12-18 | 电子科技大学 | 基于卷积神经网络的脑肿瘤图像自动分割方法 |
Non-Patent Citations (2)
Title |
---|
唐明轩等: "基于Dense Connected 深度卷积神经网络的", 《成都信息工程大学学报》 * |
戴垚均等.: "基于密集网络改进的肺结节良恶性分类模型", 《中国医学影像技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815643A (zh) * | 2019-04-11 | 2020-10-23 | 西门子医疗有限公司 | 基于人工智能的copd评估 |
CN111524579A (zh) * | 2020-04-27 | 2020-08-11 | 北京百度网讯科技有限公司 | 肺功能曲线检测方法、装置、设备以及存储介质 |
CN111524579B (zh) * | 2020-04-27 | 2023-08-29 | 北京百度网讯科技有限公司 | 肺功能曲线检测方法、装置、设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kant et al. | Towards automated tuberculosis detection using deep learning | |
Chetty et al. | Role of attributes selection in classification of Chronic Kidney Disease patients | |
JP2022553906A (ja) | 疾患検出モデルを開発するためのシステム、方法、プログラム | |
WO2021143780A1 (zh) | 一种基于多标签学习的体检后慢性疾病预后系统 | |
CN109528152A (zh) | 一种新型肺病智能辅助检测方法和系统 | |
Arsenos et al. | Data-driven covid-19 detection through medical imaging | |
CN114266729A (zh) | 一种基于机器学习的胸部肿瘤放疗后放射性肺炎预测方法和系统 | |
Iparraguirre-Villanueva et al. | Convolutional neural networks with transfer learning for pneumonia detection | |
CN107092809A (zh) | 一种强直性脊柱炎远程会诊共享平台及其使用方法 | |
Liu et al. | Multi-branch fusion auxiliary learning for the detection of pneumonia from chest X-ray images | |
CN114391827A (zh) | 一种基于卷积神经网络的院前肺气肿诊断装置 | |
CN108877925A (zh) | 一种肺炎病原的确定方法及装置 | |
Liu | Implementation of detection of skin lesions in monkeypox based on a deep learning model: using an improved bilinear pooling model | |
CN109087712B (zh) | 一种基于随机子空间集成学习的主动脉夹层筛查系统 | |
Prodhan et al. | Combination of the features of pre-trained Xception and VGG16 models to identify childhood pneumonia from chest X-Ray images | |
Uttam | Transfer Learning-Based Approach for Identification of COVID-19 | |
Gummadi et al. | A transfer learning based approach for detecting covid-19 with radiography images | |
Vidhya et al. | Automated Detection of False positives and false negatives in Cerebral Aneurysms from MR Angiography Images by Deep Learning Methods | |
Kabi et al. | Detection of pneumonia from X-ray images using eigen decomposition and machine learning techniques | |
Khan et al. | COVID-19 Classification from X-Ray Images using 2D CNN | |
Kermi et al. | A deep learning-based 3D CNN for automated Covid-19 lung lesions segmentation from 3D chest CT scans | |
Abdelhady | DEEP LEARNING (CNN) MODEL FOR COVID-19 DETECTION FROM CHEST X-RAY IMAGES | |
Ramadoss et al. | DenseNet201: A Deep Learning Method for Improving Pulmonary Emphysema Identification from Chest X-rays | |
Ghosh | Improved COVID-19 detection using data augmentation Deep Convolution GAN and classifier DenseNet. | |
Kulkarni et al. | Deep learning approaches for detection of COVID 19 from CT image: a review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190329 |