CN108038844A - 一种基于轻巧型cnn的肺结节良恶性预测方法 - Google Patents

一种基于轻巧型cnn的肺结节良恶性预测方法 Download PDF

Info

Publication number
CN108038844A
CN108038844A CN201711233699.6A CN201711233699A CN108038844A CN 108038844 A CN108038844 A CN 108038844A CN 201711233699 A CN201711233699 A CN 201711233699A CN 108038844 A CN108038844 A CN 108038844A
Authority
CN
China
Prior art keywords
lung neoplasm
image
image data
data set
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711233699.6A
Other languages
English (en)
Inventor
齐守良
刘力瑶
赵歆卓
杨帆
张馨元
钱唯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201711233699.6A priority Critical patent/CN108038844A/zh
Publication of CN108038844A publication Critical patent/CN108038844A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Abstract

本发明提出一种基于轻巧型CNN的肺结节良恶性预测方法，获取已知肺结节区域的具有标签的训练图像数据集、验证图像数据集和预测图像数据集；采用训练图像数据集和验证图像数据集训练轻巧型CNN的肺结节图像分类模型，根据预测图像预测集的预测结果的准确率，选取最优的训练参数，从而得到轻巧型CNN的肺结节图像分类模型的最终形式；获取待预测的肺结节图像，输入轻巧型CNN的肺结节图像分类模型的最终形式中，得到待预测肺结节图像的肺结节良恶性预测结果。本发明设计了新的网络结构模型，输入预处理后的肺结节图像就可以得到该肺结节图像的良恶性预测结果，可以支撑医生进行诊断和决策。

Description

一种基于轻巧型CNN的肺结节良恶性预测方法
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于轻巧型CNN的肺结节良恶性预测方法。
背景技术
肺部疾病在医学影像上的病灶通常表现是肺结节，根据模式识别等方法的不断研究，人们提出了利用计算机来辅助放射科医生来检测肺结节的技术，即计算机辅助诊断(Computer Aided Diagnosis，CAD)系统。在CAD中涉及到用一些常见的算法进行评估或分类，例如神经网络、k-means或支持向量机等算法。但是传统算法的主要缺点是提取的特征只是局部区域，对于常见的方差等特征不够稳健。基于数据集的差异性，一些细节的阈值都需要调整。近些年，深度学习算法已被应用到CAD系统中。卷积神经网络(ConvolutionalNeural Networks，CNN)是深度学习在图像处理领域的一个应用。CNN通过逐层的对原始图像的拓扑结构中展现的数据进行抽象，从而提取图像的隐式的图像数据特征，避免了传统分类方式基于统计特征的在分类前必须提取图像的某些具体的手动提取特征，使其能够直接处理灰度图像而不需要太多的预处理操作。此外，卷积神经网络内部的权值分布充分模拟了实际的生物神经系统原理，在同一个特征映射平面上的神经元的权值是彼此共享的，这使得网络可并行的进行学习，通过权值共享技术有效的降低了整个网络的计算复杂度，而且卷积神经网络把特征提取和分类过程统一在一起，避免了传统方式中把两个步驟分开进行的数据重建过程。所以卷积神经网络的这些特点使其很适合用于图像的分类问题，可以用来实现肺结节图像良恶性的分类任务。
卷积神经网络有着许多优点，但是目前也存在一些问题，实践中，具有类标号的数据较少，而不具有类标号的数据非常丰富，为每个数据人工设置类标号是非常费时和枯燥的。然而，为了使得监督卷积神经网络通过训练具有较高的泛化能力，需要大量的具有类标号的训练样本。在大数据集上对于一个大规模的卷积神经网络来说，每一个训练实例都会在图像到标签的映射上强加很多约束，因此过拟合问题是不可避免的。
本专利在已有卷积神经网络的基础上设计新的网络结构模型，用其训练并预测肺结节的良恶性，以达到一个高的预测准确率和较低的损失值，用来实现肺结节图像良恶性的分类任务。
发明内容
针对现有技术的不足，本发明提出一种基于改进轻巧型CNN的肺结节良恶性预测方法。
一种基于改进轻巧型CNN的肺结节良恶性预测方法，包括以下步骤：
步骤1：获取已知肺结节区域的具有标签的肺结节图像，对具有标签的肺结节图像进行预处理，得到训练图像数据集、验证图像数据集和预测图像数据集；
步骤1.1：获取已知肺结节区域的具有标签的肺结节图像，对具有标签的肺结节图像进行结节区域分割，并进行裁剪，得到裁剪后的肺结节图像；
步骤1.2：将裁剪后的肺结节图像进行划分得到训练图像数据集、验证图像数据集和预测图像数据集。
步骤1.3：将各数据集中的肺结节图像旋转至四个不同方向，获取各个肺结节图像的四个方向矢量上的图像，得到预处理后的训练图像数据集、验证图像数据集和预测图像数据集。
步骤2：建立轻巧型CNN的肺结节图像分类模型的结构；
所述轻巧型CNN的肺结节图像分类模型结构为：
第一层为卷积层C1、激活函数层ReLU1和局部响应归一化层LRN；第二层为池化层P1；第三层为卷积层C2、激活函数层ReLU2；第四层为池化层P2；第五层为全连接层F1、激活函数层ReLU3和Dropout层；第六层为全连接层F2。
步骤3：将训练图像数据集和验证图像数据集输入轻巧型CNN的肺结节图像分类模型，通过调节训练参数，训练轻巧型CNN的肺结节图像分类模型，再将预测图像数据集输入训练后的轻巧型CNN的肺结节图像分类模型中，得到预测图像预测集的预测结果，根据预测图像预测集的预测结果的准确率，选取最优的训练参数，从而得到轻巧型CNN的肺结节图像分类模型的最终形式；
所述轻巧型CNN的肺结节图像分类模型调节的训练参数包括：学习速率、卷积核尺寸、正则化约束、训练时的批量大小、权重初始化迭代器和偏置初始化迭代器。
步骤4：获取待预测的肺结节图像，对待预测肺结节图像进行预处理，得到预处理后的待预测的肺结节图像；
步骤5：将预处理后的待预测的肺结节图像输入轻巧型CNN的肺结节图像分类模型的最终形式中，得到待预测肺结节图像的肺结节良恶性预测结果。
本发明的有益效果：
本发明提出一种基于改进轻巧型CNN的肺结节良恶性预测方法，本发明设计了新的网络结构模型，输入预处理后的肺结节图像就可以得到该肺结节图像的良恶性预测结果，可以支撑医生进行诊断和决策，进而采取针对性的管理措施，减少受检者因漏诊断和过诊断导致的经济与健康损失。
附图说明
图1为本发明具体实施方式中基于轻巧型CNN的肺结节良恶性预测方法的流程图；
图2为本发明具体实施方式中轻巧型CNN的肺结节图像分类模型的结构示意图；
图3为本发明具体实施方式中预测图像预测集的预测结果ROC曲线；
图4为本发明具体实施方式中采用轻巧型CNN的肺结节图像分类模型、LeNet模型和AlexNet模型进行预测的三种预测结果准确率示意图。
具体实施方式
下面结合附图对本发明具体实施方式加以详细的说明。
一种基于轻巧型CNN的肺结节良恶性预测方法，如图1所示，包括以下步骤：
步骤1：获取已知肺结节区域的具有标签的肺结节图像，对具有标签的肺结节图像进行预处理，得到训练图像数据集、验证图像数据集和预测图像数据集。
步骤1.1：获取已知肺结节区域的具有标签的肺结节图像，对具有标签的肺结节图像进行结节区域分割，并进行裁剪，得到裁剪后的肺结节图像。
本实施方式中，在肺部图像数据库联盟(LIDC-IDRI)中获取已知肺结节区域的具有标签的肺结节图像700个。根据四名放射科医师的真实标签，对具有标签的肺结节图像进行结节区域分割，得到最小的边界矩形，将图像进行裁剪，裁剪成53×53的图像。
步骤1.2：将裁剪后的肺结节图像进行划分得到训练图像数据集、验证图像数据集和预测图像数据集。
本实施方式中，将裁剪后的肺结节图像平均分为十份，其比例是8：1：1，分别作为训练图像数据集、验证图像数据集和预测图像数据集。在此基础上做扩充不会造成数据泄露，这样会使结果的准确性更值得信赖。
步骤1.3：将各数据集中的肺结节图像旋转至四个不同方向，获取各个肺结节图像的四个方向矢量上的图像，得到预处理后的训练图像数据集、验证图像数据集和预测图像数据集。
本实施方式中，以各数据集中的肺结节图像为中心，将每个的肺结节图像旋转到四个不同的方向，获取各个样本图像的四个方向矢量上的图像，每个矢量代表一个方向上的一个感兴趣区域，向量中的所有像素值被下采样到8位。从这700个肺结节图像，生成了17441个样本图像。根据四名放射科医师提供的恶性肿瘤水平，计算四名放射科医师的平均评分，最后根据平均评分做出最终的真实标签。所有中间等级的病例(3级)都被消除，剩余11484个样本图像用于分类。其中具有良性标签的样本图像5500例，具有恶性标签的样本图像5984例。
步骤2：建立轻巧型CNN的肺结节图像分类模型的结构。
本实施方式中，建立轻巧型CNN的肺结节图像分类模型结构，如图2所示，第一层为卷积层C1、激活函数层ReLU1和局部响应归一化层LRN；第二层为池化层P1；第三层为卷积层C2、激活函数层ReLU2；第四层为池化层P2；第五层为全连接层F1、激活函数层ReLU3和Dropout层；第六层为全连接层F2。
步骤3：将训练图像数据集和验证图像数据集输入轻巧型CNN的肺结节图像分类模型，通过调节训练参数，训练轻巧型CNN的肺结节图像分类模型，再将预测图像数据集输入训练后的轻巧型CNN的肺结节图像分类模型中，得到预测图像预测集的预测结果，根据预测图像预测集的预测结果的准确率，选取最优的训练参数，从而得到轻巧型CNN的肺结节图像分类模型的最终形式。
本实施方式中，轻巧型CNN的肺结节图像分类模型调节的训练参数包括：学习速率、卷积核尺寸、正则化约束、训练时的批量大小、权重初始化迭代器和偏置初始化迭代器。
做了一系列的对照实验，实验总结如表1所示。
表1轻巧型CNN的肺结节图像分类模型的训练参数
根据表1中加粗体为最优设置。最终确定轻巧型CNN的肺结节图像分类模型的训练参数设定为：初始学习速率为0.0005，学习率下降策略为“step”均匀分步策略，平均下降5.5次学习速率；两层卷积层都使用7×7的卷积核尺寸，并且第一层卷积层有20个卷积核，第二层卷积层有50个卷积核；权重衰减系数为0.00005；训练集的批量大小为32；C1、C2、F1和F2的权重由高斯迭代器初始化，偏置由常量迭代器初始化，其中C1、C2、F1和F2的权重初始化系数设置为0.01、0.01、0.001和0.01，偏置初始化设为常数0、0.1、0.1和0。
本实施方式中，轻巧型CNN的肺结节图像分类模型是由LeNet和AlexNet混合而成的，结合了LeNet的层的设置和AlexNet的参数设置。简单地说，本发明基于“轻巧”型的轻巧型CNN的肺结节图像分类模型是将LeNet作为基本框架，即它的权值层一共有4层，其中包含2层卷积层和2层全连接层。另外与卷积层相连的各有2层池化层；还结合了AlexNet添加了3层激活函数层；1层局部响应归一化层；1层Dropout层，共同组成了新的网络结构。选用线性修正函数ReLU(Rectified Linear Unit，规整化线性单元)作为激活函数，在保持同样的训练效果的基础上，具有更快的收敛速度，而且能防止梯度消失。加入LRN层有利于增加泛化能力，做了平滑处理，识别率有所提高，当它与ReLU结合使用时，效果更明显。加入Dropout层，在每次训练的时候，让一部分特征检测器停过工作，这样可以阻止某些特征的协同作用，提高网络的泛化能力。而且在训练数据有限的情况下，也不容易出现过拟合的情况。
使用轻巧型CNN的肺结节图像分类模型的最终形式，绘制预测图像预测集的预测结果ROC曲线，如图3所示，AUC可达到85.16％。
本实施方式中，将预测图像数据集输入轻巧型CNN的肺结节图像分类模型的最终形式中，得到预测图像预测集的预测结果，与将预测图像数据集输入至LeNet模型和AlexNet模型得到的预测结果准确率对比，如图4所示。明显可见本模型得到了更好的分类效果。
步骤4：获取待预测的肺结节图像，对待预测肺结节图像进行预处理，得到预处理后的待预测的肺结节图像。
步骤5：将预处理后的待预测的肺结节图像输入轻巧型CNN的肺结节图像分类模型的最终形式中，得到待预测肺结节图像的肺结节良恶性预测结果。

Claims (4)

1.一种基于轻巧型CNN的肺结节良恶性预测方法，其特征在于，包括以下步骤：
步骤1：获取已知肺结节区域的具有标签的肺结节图像，对具有标签的肺结节图像进行预处理，得到训练图像数据集、验证图像数据集和预测图像数据集；
步骤2：建立轻巧型CNN的肺结节图像分类模型的结构；
步骤3：将训练图像数据集和验证图像数据集输入轻巧型CNN的肺结节图像分类模型，通过调节训练参数，训练轻巧型CNN的肺结节图像分类模型，再将预测图像数据集输入训练后的轻巧型CNN的肺结节图像分类模型中，得到预测图像预测集的预测结果，根据预测图像预测集的预测结果的准确率，选取最优的训练参数，从而得到轻巧型CNN的肺结节图像分类模型的最终形式；
步骤4：获取待预测的肺结节图像，对待预测肺结节图像进行预处理，得到预处理后的待预测的肺结节图像；
步骤5：将预处理后的待预测的肺结节图像输入改进CNN网络的肺结节图像分类模型的最终形式中，得到待预测肺结节图像的肺结节良恶性预测结果。
2.根据权利要求1所述的基于轻巧型CNN的肺结节良恶性预测方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1：获取已知肺结节区域的具有标签的肺结节图像，对具有标签的肺结节图像进行结节区域分割，并进行裁剪，得到裁剪后的肺结节图像；
步骤1.2：将裁剪后的肺结节图像进行划分得到训练图像数据集、验证图像数据集和预测图像数据集；
步骤1.3：将各数据集中的肺结节图像旋转至四个不同方向，获取各个肺结节图像的四个方向矢量上的图像，得到预处理后的训练图像数据集、验证图像数据集和预测图像数据集。
3.根据权利要求1所述的基于轻巧型CNN的肺结节良恶性预测方法，其特征在于，所述改进CNN网络的肺结节图像分类模型结构为：
第一层为卷积层C1、激活函数层ReLU1和局部响应归一化层LRN；第二层为池化层P1；第三层为卷积层C2、激活函数层ReLU2；第四层为池化层P2；第五层为全连接层F1、激活函数层ReLU3和Dropout层；第六层为全连接层F2。
4.根据权利要求1所述的基于轻巧型CNN的肺结节良恶性预测方法，其特征在于，所述轻巧型CNN的肺结节图像分类模型调节的训练参数包括：学习速率、卷积核尺寸、正则化约束、训练时的批量大小、权重初始化迭代器和偏置初始化迭代器。
CN201711233699.6A 2017-11-30 2017-11-30 一种基于轻巧型cnn的肺结节良恶性预测方法 Pending CN108038844A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711233699.6A CN108038844A (zh) 2017-11-30 2017-11-30 一种基于轻巧型cnn的肺结节良恶性预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711233699.6A CN108038844A (zh) 2017-11-30 2017-11-30 一种基于轻巧型cnn的肺结节良恶性预测方法

Publications (1)

Publication Number Publication Date
CN108038844A true CN108038844A (zh) 2018-05-15

Family

ID=62094357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711233699.6A Pending CN108038844A (zh) 2017-11-30 2017-11-30 一种基于轻巧型cnn的肺结节良恶性预测方法

Country Status (1)

Country Link
CN (1) CN108038844A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法
CN110148467A (zh) * 2019-05-16 2019-08-20 东北大学 一种基于改进cnn的肺结节计算机辅助诊断装置及方法
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备
CN111681210A (zh) * 2020-05-16 2020-09-18 浙江德尚韵兴医疗科技有限公司 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
WO2021023051A1 (zh) * 2019-08-02 2021-02-11 无锡海斯凯尔医学技术有限公司 组织评价方法、装置、设备及计算机可读存储介质
CN112598630A (zh) * 2020-12-16 2021-04-02 深圳前海微众银行股份有限公司 肺结节检测方法、设备、介质及计算机程序产品
CN112819043A (zh) * 2021-01-19 2021-05-18 东北大学 一种基于arm的深度学习轻量化肺结节分类方法
CN113012171A (zh) * 2021-04-01 2021-06-22 东北林业大学 一种基于协同优化网络的肺结节分割方法
CN113888519A (zh) * 2021-10-14 2022-01-04 四川大学华西医院 一种用于预测肺部实性结节恶性程度的预测系统
CN117542527A (zh) * 2024-01-09 2024-02-09 百洋智能科技集团股份有限公司 肺结节跟踪与变化趋势预测方法、装置、设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059697B (zh) * 2019-04-29 2023-04-28 上海理工大学 一种基于深度学习的肺结节自动分割方法
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法
CN110148467A (zh) * 2019-05-16 2019-08-20 东北大学 一种基于改进cnn的肺结节计算机辅助诊断装置及方法
CN110148467B (zh) * 2019-05-16 2023-05-23 东北大学 一种基于改进cnn的肺结节计算机辅助诊断装置及方法
WO2021023051A1 (zh) * 2019-08-02 2021-02-11 无锡海斯凯尔医学技术有限公司 组织评价方法、装置、设备及计算机可读存储介质
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备
CN111681210A (zh) * 2020-05-16 2020-09-18 浙江德尚韵兴医疗科技有限公司 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
CN112598630A (zh) * 2020-12-16 2021-04-02 深圳前海微众银行股份有限公司 肺结节检测方法、设备、介质及计算机程序产品
CN112819043A (zh) * 2021-01-19 2021-05-18 东北大学 一种基于arm的深度学习轻量化肺结节分类方法
CN112819043B (zh) * 2021-01-19 2023-10-10 东北大学 一种基于arm的深度学习轻量化肺结节分类方法
CN113012171A (zh) * 2021-04-01 2021-06-22 东北林业大学 一种基于协同优化网络的肺结节分割方法
CN113888519A (zh) * 2021-10-14 2022-01-04 四川大学华西医院 一种用于预测肺部实性结节恶性程度的预测系统
CN117542527A (zh) * 2024-01-09 2024-02-09 百洋智能科技集团股份有限公司 肺结节跟踪与变化趋势预测方法、装置、设备及存储介质
CN117542527B (zh) * 2024-01-09 2024-04-26 百洋智能科技集团股份有限公司 肺结节跟踪与变化趋势预测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108038844A (zh) 一种基于轻巧型cnn的肺结节良恶性预测方法
CN106408562B (zh) 基于深度学习的眼底图像视网膜血管分割方法及系统
Feng et al. CcNet: A cross-connected convolutional network for segmenting retinal vessels using multi-scale features
CN107316294B (zh) 一种基于改进的深度玻尔兹曼机肺结节特征提取方法
Li et al. Multi-step cascaded networks for brain tumor segmentation
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN107273845B (zh) 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN103996018B (zh) 基于4dlbp的人脸识别方法
CN108022647A (zh) 基于ResNet-Inception模型的肺结节良恶性预测方法
CN106408001A (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
Liu et al. Mtmr-net: Multi-task deep learning with margin ranking loss for lung nodule analysis
CN108549912A (zh) 一种基于机器学习的医学图像肺结节检测方法
CN110827260B (zh) 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN106780453A (zh) 一种基于深度信任网络实现对脑肿瘤分割的方法
CN109063719A (zh) 一种联合结构相似性和类信息的图像分类方法
CN107330883A (zh) 一种医学图像病变区域定位和分类方法
Zhang et al. Classification of digital pathological images of non‐Hodgkin's lymphoma subtypes based on the fusion of transfer learning and principal component analysis
CN107103334A (zh) 一种基于卷积神经网络和字典对学习的肺结节分类方法
Wang et al. Automated 3D ferrograph image analysis for similar particle identification with the knowledge-embedded double-CNN model
Li et al. Cervical histopathology image classification using ensembled transfer learning
CN111784713A (zh) 一种引入注意力机制的u形心脏分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180515