CN111709425A - 一种基于特征迁移的肺部ct图像分类方法 - Google Patents
一种基于特征迁移的肺部ct图像分类方法 Download PDFInfo
- Publication number
- CN111709425A CN111709425A CN202010457861.8A CN202010457861A CN111709425A CN 111709425 A CN111709425 A CN 111709425A CN 202010457861 A CN202010457861 A CN 202010457861A CN 111709425 A CN111709425 A CN 111709425A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- classification
- lung
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013508 migration Methods 0.000 title claims abstract description 16
- 230000005012 migration Effects 0.000 title claims abstract description 16
- 210000004072 lung Anatomy 0.000 title claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000007794 visualization technique Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 15
- 206010035664 Pneumonia Diseases 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 208000025721 COVID-19 Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种基于特征迁移的肺部CT图像分类方法。该技术方案通过对CT图像数据进行预处理、数据增强、特征可视化确定预训练GoogLeNet网络的深度和冻结层数,有效的提取图像内在信息,提高了模型的分类准确率和分类效率。本发明采用自适应CT图像滤波算法对实现不同设备采集的图像进行滤波;对CT图像进行对比度拉伸,丰富了图像信息,更好地提取图像特征;使用特征图可视化技术为模型的网络深度确定提供了一种选择,减少超参数调整。应用本发明,可解决无标签图像的特征提取问题,缓解高维图像数据分类面临的维数灾难问题,使图像分类的准确率得到显著提升。
Description
技术领域
本发明涉及机器学习领域,具体涉及一种基于特征迁移的肺部CT图像分类方法。
背景技术
冠状病毒是自然界广泛存在的一大类病毒,其中多种毒株对包括人在内的脊椎动物具有感染性。早发现、早确诊、早隔离是控制此类疾病传播的重要方法,由于核酸检测存在检测速度不够快,并存在核酸检测敏感度问题可能导致假阴性情况的出现。因此,利用计算机视觉对可能的新冠肺炎筛CT图像进行辅助诊断能够有效降低新冠肺炎的漏诊或者误诊率,缓解医疗资源的不足。
目前,基于深度学习框架的新冠肺炎检测及基于迁移学习的新冠肺炎检测方法一般采用对图像进行数据增强,接着使用深度学习框架对图像进行特征提取,最后使用训练完成模型进行计算机辅助诊断。然而,基于深度学习的方法需要大量带标记的图像数据来训练模型,这种方式对计算机硬件要求高。基于迁移学习的方法可以降低模型训练对训练数据规模的依赖,但现有的深度模型往往具有较高的网络深度,直接使用现有的模型难以适用于新型冠状肺炎的检测。
发明内容
本发明旨在针对现有技术的技术缺陷,提供一种基于特征迁移的肺部CT图像分类方法,以解决现有技术中,常规方法对模型分类的准确率和效率较低的技术问题。
为实现以上技术目的,本发明采用以下技术方案:
一种基于特征迁移的肺部CT图像分类方法,包括:
1)在图像预处理阶段采用自适应二维高斯噪声滤波方法对图像进行滤波;
2)图像滤波之后采用对比度拉伸进行处理;
3)对数据进行放缩、旋转、平移或镜像处理,并调整图像的大小;
4)调整网络输出以适应分类类别数;
5)采用可视化技术优化模型网络深度。
作为优选,步骤1)所述采用自适应二维高斯噪声滤波方法对图像进行滤波,是通过以下式1、式2实现的:
其中,η是图像A中每个像素的x×y局部邻域;
采用以上估计值创建像素级滤波器f如下:
式3中,v2是噪声方差。
作为优选,当没有给出噪声方差时,使用所有局部估计方差的平均值。
作为优选,所述采用对比度拉伸进行处理,是通过以下式4实现的:
作为优选,步骤3)中,调整图像的大小以适应GoogLeNet网络的输入。
作为优选,步骤5)中,使用CT图像输入网络,观察不同层的特征输出,确定网络深度。
本发明提供了一种基于特征迁移的肺部CT图像分类方法。该技术方案提出一种无监督图像特征提取融合及分类方法和系统,解决无标签图像的特征提取问题,缓解高维图像数据分类面临的“维数灾难”问题,从而提高图像的分类准确率。具体来看,本发明首先通过自适应二维高斯噪声滤波技术、对比度拉伸对图像进行预处理,而后进行数据增强、特征迁移、特征可视化确定网络深度,并采取了网络层冻结技术。
本发明是一种基于图像特征迁移的CT图像分类方法,通过对CT图像数据进行预处理、数据增强、特征可视化确定预训练GoogLeNet网络的深度,有效的提取图像内在信息,提高了模型的分类准确率和分类效率。
本发明的创新性特征集中体现在以下方面:
1、采用自适应CT图像滤波算法对实现不同设备采集的图像进行滤波。
2、对CT图像进行对比度拉伸,丰富了图像信息,更好地提取图像特征。
3、使用特征图可视化技术为模型的网络深度确定提供了一种选择,减少超参数调整。
附图说明
图1是本发明方法的原理图;
图2是本发明的算法流程图;
图3是本发明具体实施方式中,部分数据集CT图像;
图4是本发明具体实施方式中,图像预处理结果图;
图5是本发明具体实施方式中,图像增强结果图;
图6是本发明具体实施方式中,输入图像和第2、11、25层特征图;
图7是本发明具体实施方式中,输入图像和第39、54、68、82层特征图;
图8是本发明具体实施方式中,输入图像和第96、100、125、139层特征图;
图9是本发明具体实施方式中,冻结前39层网络训练过程图;
图10是本发明具体实施方式中,冻结前54层网络训练过程图;
图11是本发明具体实施方式中,冻结前110层网络训练过程图;
图12是本发明具体实施方式中,冻结前125层网络训练过程。
具体实施方式
以下将对本发明的具体实施方式进行详细描述。为了避免过多不必要的细节,在以下实施例中对属于公知的结构或功能将不进行详细描述。以下实施例中所使用的近似性语言可用于定量表述,表明在不改变基本功能的情况下可允许数量有一定的变动。除有定义外,以下实施例中所用的技术和科学术语具有与本发明所属领域技术人员普遍理解的相同含义。
为了不同设备生成的CT图像产生噪声及训练样本规模有限的问题,本发明提出了一种基于特征迁移的新冠肺炎计算机辅助诊断方法,进行新冠肺炎CT图像的分类学习。
1、为进一步减少不同CT设备生成CT图像具有不同的噪声系,图像预处理阶段引入了自适应二维高斯噪声滤波技术。
η是图像A中每个像素的x×y局部邻域。使用这些估计值创建像素级滤波器f如下:
式3中,v2是噪声方差。如果没有给出噪声方差,则使用所有局部估计方差的平均值。
2、图像滤波之后采用对比度拉伸进行处理,方法如下:
3、为了增加数据训练数据规模以及提高模型的泛化性能,对数据进行放缩、旋转、平移、镜像,并调整图像的大小以适应GoogLeNet网络的输入。
4、调整网络输出以适应分类类别数,因训练数据只有新冠肺炎和非新冠肺炎两类图像,因此调整模型输出使其使用对应的应用场景。
5、采用可视化技术优化模型网络深度。通过使用CT图像输入网络,观察不同层的特征输出,确定网络深度,有效减少网络训练时间及缓解模型过拟合。
本发明的原理如图1所示。
根据上述过程,伪代码如以下表1所示:
表1伪代码列表
本发明的算法流程如图2所示。
实施例
采用https://github.com/UCSD-AI4H/COVID-CT网站上公开的数据集来进行验证。该数据集是发布者从medRxiv1和bioRxiv2收集了760个关于COVID-19 的文章,并于1月19日至3月发布25日。这些文章中有许多报告了COVID-19 的病例,有些还显示了报告中有CT扫描,以及相关的临床表现的说明相关。使用PyMuPDF3来提取文章中PDF文件的底层结构信息,并定位所有嵌入的图形。图像的质量(包括分辨率、大小等)保存得很好。最后,获得275个CT扫描标记为COVID-19阳性。图3显示了COVID-19CT扫描的一些示例。
图像滤波及对比度拉伸结果图4所示,其中左侧为原始CT图像,中间为自适应噪声滤波后图像,右侧为对比度拉伸后图像:
网络批输入增强图像如图5,增强图像是原始图像上进行随机的像素平移,随机翻转、图像缩放处理。
为了方便显示,根据GoogLeNet网络整体性及层特点。取第2、11、25、39、 54、68、82、96、110、125、139网络层的前64通道的图像特征图如图6、图7、图8所示。
医学图像分类的关键是区分图像中细粒度的特征,根据该原则,依据上述特征图,确定网络总深度为130层,即GoogLeNet网络的前125层和以及改动的最后的5层(2个pool层、1个loss层、1个softmax层,1个output层)。取前125层原因是前125层之后的特征图大多数特征图显示为块状成片区域,无助于医学图像的细粒度特征识别。为加快网络训练,采用部分网络层冻结方法。并分别冻结前39层,前54层,前110层,125层。网络训练过程如图9、10、11、 12所示。
表2不同冻结层数的分类最高准确率
冻结层数 | 39 | 54 | 110 | 125 |
分类最高准确率 | 87.96% | 88.39% | 84.82% | 84.16% |
如表2所示,通过测试集去验证模型泛化性能之后可知,当冻结层前54层分类准确度最高,冻结层数越多,训练所用时间,但容易出现欠拟合,冻结层数越少,可能出现过拟合。最终模型冻结网络前54层,模型泛化性能最佳。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,并不用以限制本发明。凡在本发明的申请范围内所做的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于特征迁移的肺部CT图像分类方法,其特征在于,包括:
1)在图像预处理阶段采用自适应二维高斯噪声滤波方法对图像进行滤波;
2)图像滤波之后采用对比度拉伸进行处理;
3)对数据进行放缩、旋转、平移或镜像处理,并调整图像的大小;
4)调整网络输出以适应分类类别数;
5)采用可视化技术优化模型网络深度。
3.根据权利要求2所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,当没有给出噪声方差时,使用所有局部估计方差的平均值。
5.根据权利要求1所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,步骤3)中,调整图像的大小以适应GoogLeNet网络的输入。
6.根据权利要求1所述的一种基于特征迁移的肺部CT图像分类方法,其特征在于,步骤5)中,使用CT图像输入网络,观察不同层的特征输出,确定网络深度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010457861.8A CN111709425A (zh) | 2020-05-26 | 2020-05-26 | 一种基于特征迁移的肺部ct图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010457861.8A CN111709425A (zh) | 2020-05-26 | 2020-05-26 | 一种基于特征迁移的肺部ct图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111709425A true CN111709425A (zh) | 2020-09-25 |
Family
ID=72538285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010457861.8A Pending CN111709425A (zh) | 2020-05-26 | 2020-05-26 | 一种基于特征迁移的肺部ct图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709425A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113113132A (zh) * | 2021-03-25 | 2021-07-13 | 华南理工大学 | 一种基于深度卷积神经网络的先天性巨结肠及同源病的诊断方法 |
CN113255794A (zh) * | 2021-06-01 | 2021-08-13 | 闽南师范大学 | 一种基于GoogLeNet网络的医学图像分类方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108022647A (zh) * | 2017-11-30 | 2018-05-11 | 东北大学 | 基于ResNet-Inception模型的肺结节良恶性预测方法 |
CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
CN109740697A (zh) * | 2019-03-05 | 2019-05-10 | 重庆大学 | 基于深度学习的尿沉渣显微图像有形成分识别方法 |
CN110236533A (zh) * | 2019-05-10 | 2019-09-17 | 杭州电子科技大学 | 基于多深度神经网络迁移特征学习的癫痫发作预测方法 |
CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
CN110680326A (zh) * | 2019-10-11 | 2020-01-14 | 北京大学第三医院(北京大学第三临床医学院) | 基于深度卷积神经网络的尘肺病鉴别及分级判定方法 |
CN110852350A (zh) * | 2019-10-21 | 2020-02-28 | 北京航空航天大学 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 |
CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
-
2020
- 2020-05-26 CN CN202010457861.8A patent/CN111709425A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171232A (zh) * | 2017-11-15 | 2018-06-15 | 中山大学 | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 |
CN108022647A (zh) * | 2017-11-30 | 2018-05-11 | 东北大学 | 基于ResNet-Inception模型的肺结节良恶性预测方法 |
CN109740697A (zh) * | 2019-03-05 | 2019-05-10 | 重庆大学 | 基于深度学习的尿沉渣显微图像有形成分识别方法 |
CN110236533A (zh) * | 2019-05-10 | 2019-09-17 | 杭州电子科技大学 | 基于多深度神经网络迁移特征学习的癫痫发作预测方法 |
CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
CN110680326A (zh) * | 2019-10-11 | 2020-01-14 | 北京大学第三医院(北京大学第三临床医学院) | 基于深度卷积神经网络的尘肺病鉴别及分级判定方法 |
CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
CN110852350A (zh) * | 2019-10-21 | 2020-02-28 | 北京航空航天大学 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 |
Non-Patent Citations (5)
Title |
---|
CHRISTIAN SZEGEDY: "Going Deeper with Convolutions", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
VINICIUS PAVANELLI VIANNA: "Study and development of a Computer-Aided Diagnosis system for classification of chest x-ray images using convolutional neural networks pre-trained for ImageNet and data augmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
何新宇等: "基于深度神经网络的肺炎图像识别模型", 《计算机应用》 * |
张驰名等: "基于深度迁移学习的肺结节辅助诊断方法", 《计算机工程》 * |
黄盛等: "基于改进深度残差网络的计算断层扫描图像分类算法", 《光学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113113132A (zh) * | 2021-03-25 | 2021-07-13 | 华南理工大学 | 一种基于深度卷积神经网络的先天性巨结肠及同源病的诊断方法 |
CN113255794A (zh) * | 2021-06-01 | 2021-08-13 | 闽南师范大学 | 一种基于GoogLeNet网络的医学图像分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111080620B (zh) | 一种基于深度学习的道路病害检测方法 | |
CN107230202B (zh) | 路面病害图像的自动识别方法和系统 | |
Tang et al. | A multi-stage framework with context information fusion structure for skin lesion segmentation | |
CN114038037B (zh) | 基于可分离残差注意力网络的表情标签修正和识别方法 | |
Valliammal et al. | Hybrid image segmentation algorithm for leaf recognition and characterization | |
CN113192076B (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
CN108010013A (zh) | 一种肺ct图像肺结节检测方法 | |
CN101826209A (zh) | 一种基于Canny模型的三维医学图像分割方法 | |
Chen et al. | Cell nuclei detection and segmentation for computational pathology using deep learning | |
CN111709425A (zh) | 一种基于特征迁移的肺部ct图像分类方法 | |
CN110543906A (zh) | 基于数据增强和Mask R-CNN模型的肤质自动识别方法 | |
CN113628297A (zh) | 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 | |
CN116188786B (zh) | 一种肝胆管及胆道结石的图像分割系统 | |
CN115775226B (zh) | 基于Transformer的医学图像分类方法 | |
Zhang et al. | Robust segmentation method for noisy images based on an unsupervised denosing filter | |
CN111275732B (zh) | 一种基于深度卷积神经网络的前景对象图像分割方法 | |
CN113066054B (zh) | 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法 | |
CN113222903A (zh) | 一种全切片组织病理图像分析方法及系统 | |
CN117275048A (zh) | 一种基于全局特征和局部细节点特征融合的指纹识别方法 | |
CN111768420A (zh) | 一种细胞图像分割模型 | |
Asha et al. | Segmentation of Brain Tumors using traditional Multiscale bilateral Convolutional Neural Networks | |
CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
CN113139423B (zh) | 一种用于场景图检测的关系图学习方法 | |
CN114693698B (zh) | 一种基于神经网络的计算机辅助肺气道分割方法 | |
CN112101409B (zh) | 基于病理图像的肿瘤突变负荷(tmb)分类方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200925 |