CN112053351A - 基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法 - Google Patents

基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法 Download PDF

Info

Publication number
CN112053351A
CN112053351A CN202010932598.3A CN202010932598A CN112053351A CN 112053351 A CN112053351 A CN 112053351A CN 202010932598 A CN202010932598 A CN 202010932598A CN 112053351 A CN112053351 A CN 112053351A
Authority
CN
China
Prior art keywords
block
neural network
benign
network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010932598.3A
Other languages
English (en)
Inventor
张盛平
胡良校
郑顺源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN202010932598.3A priority Critical patent/CN112053351A/zh
Publication of CN112053351A publication Critical patent/CN112053351A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,包括以下步骤:在肺部CT数据中提取结节切片图像;设计具有搜索功能的block构建搜索网络;将提取的肺部结节切片图像划分成训练、验证、测试三组图像;搜索网络在输入的数据上搜索优化的block,并在优化block中添加注意力机制模块构建attention block;利用所保存的attention block构建一个最终搜索出来的神经网络;将数据重新整合,输入到最终搜索得到的神经网络中,训练出一个最好的肺部结节良恶性判别模型。本发明可以得到一个轻量级的且具有针对性的网络,通过注意力机制的改进,有效地解决了搜索出来的网络本身表达能力不足的缺点,从而得到更好的肺部结节良恶性判别结果。

Description

基于神经网络架构搜索和注意力机制的肺部结节良恶性判别 方法
技术领域
本发明涉及图像处理和医学影像技术领域,尤其是一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法。
背景技术
肺部结节良恶性判别是肺部计算机辅助诊断的一个重要组成部分,它涉及了计算机视觉、图像处理、医学影像等领域。目前,由于深度学习在图像处理领域的成功,基于深度学习的医学图像判别方法取得了较好的分类结果。一般获得的肺部图像数据是医院的CT图像,它是三维数据。针对这一特性,肺部结节良恶性判别方法可分为3D和2D方法,它们最直观的区别就是所使用的深度神经网络的卷积操作分别为3D和2D卷积。基于深度学习的肺部结节良恶性判别方法通过将3D或者2D图像数据输入到设计好的神经网络中,由神经网络预测输入图像数据的良恶性,最后根据输入图像数据的真实良恶性指导神经网络学习出一个能够判别肺部结节良恶性的模型。目前神经网络的设计依靠设计者丰富的专业知识和技巧,需要大量的时间。
发明内容
本发明的目的是提供一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,通过神经网络架构搜索方法自动搜索出一个针对肺部结节图像数据的神经网络,结合注意力机制来提高搜索出来的网络的特征表达能力,充分发挥出搜索出来的网络在肺结节良恶性分类中的作用。
为实现上述目的,本发明采用下述技术方案:
一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,包括以下步骤:
在肺部CT数据中提取具有人工标注良恶性等级评分的结节切片图像;
设计具有搜索功能的block,针对数据构建搜索网络;
将提取的肺部结节切片图像划分成训练、验证、测试三组图像,进而提供给搜索网络搜索;
搜索网络在输入的数据上搜索优化的block,保存效果最好的block,并在优化block中添加注意力机制模块构建attention block;
利用所保存的attention block构建一个最终搜索出来的神经网络;
将数据重新整合,输入到最终搜索得到的神经网络中,训练出一个最好的肺部结节良恶性判别模型。
进一步地,所述在肺部CT数据中提取具有人工标注良恶性等级评分的结节切片图像,包括:选取医生认为大于设定值的肺部结节CT数据,例如设定值为3毫米。从该数据中截取三张沿轴向的中心切片,并将这三张切片图像合成一张三通道的图像。医生对肺结节标注的良恶性评分等级为1-5,本发明将评分为1和2的结节视为良性,将评分为4和5的结节视为恶性。
进一步地,所述设计具有搜索功能的block,针对数据构建搜索网络,包括:
用来进行搜索的block是组成本发明所设计的神经网络的基本组成单元,它的结构是一个有向无环图,每个节点(node)代表着一个特征图,连接着两个节点的边(edge)代表着带着权重的八个操作。在搜索block中,每一个节点(node)都与排列在它前面的节点相连,本发明也定义了每条连接的权重,通过softmax归一化表示每条边的重要程度。根据神经网络的下采样需求,搜索block可分为normal block和reduction block。normal block的输出的尺寸和通道数和输入保持一致,reduction block的输出尺寸和通道数分别是输入的一半和两倍。搜索block通过输入的肺部图像数据学习出一组针对于此数据集的操作权重。本发明利用搜索block构建出搜索网络,在提取的数据集上训练权重参数得到优化后的网络结构。
进一步地,所述将提取的肺部结节切片图像划分成训练、验证、测试三组图像,进而提供给搜索网络搜索,包括:分别从肺部结节切片图像数据中的良性结节图像和恶性结节图像采样45%、45%和10%作为训练神经网络的训练集、验证集以及测试集。划分出来的三个数据集含有相同比例的良性结节图像和恶性结节图像。
进一步地,所述搜索网络在输入的数据上搜索优化的block,保存效果最好的block,并在优化block中添加注意力机制模块构建attention block,包括:搜索网络可训练的参数包括网络本身定义的操作参数,例如卷积层参数,BN层参数;还有控制着网络结构的权重参数,例如搜索block中的边(edge)上操作权重和连接权重。在每一次训练迭代中,先在训练集上训练搜索网络的操作参数,然后固定操作参数,在验证集上训练搜索网络的权重参数。这样交替训练50个epoch,选取在验证集上得到最高精度的权重参数。根据获得的权重参数保留每条边(edge)上权重最高的操作和每个节点上权重最高的两条连接,以得到优化的block。在优化block前端加上注意力机制模型,组成attention block来提升优化后block的特征表达能力。
进一步地,所述利用所保存的attention block构建一个最终搜索出来的神经网络,包括:最终的神经网络模型包括12个attention block,共包含9个normal attentionblock和3个reduction attention block。3个reduction attention block分别位于网络的第3、第6和第9的位置,其余位置即为normal attention block。
发明内容中提供的效果仅仅是实施例的效果,而不是发明所有的全部效果,上述技术方案中的一个技术方案具有如下优点或有益效果:
本发明提供一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,弥补了神经网络结构设计困难的缺点以及克服了基于神经网络架构搜索方法得到的神经网络结构表达能力不足的缺陷。通过神经网络架构搜索,本发明可以得到一个轻量级的且具有针对性的网络,通过注意力机制的改进,有效地解决了搜索出来的网络本身表达能力不足的缺点,从而得到更好的肺部结节良恶性判别结果。
附图说明
图1是本发明基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法流程图。
图2是本发明所设计的具有搜索功能的block以及添加了注意力模型的示意图。
图3是本发明中搜索block每条边的示意图。
具体实施方式
如图1所示,一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,包括以下步骤:
S1、在肺部CT数据中提取具有人工标注良恶性等级评分的结节切片图像;
S2、设计具有搜索功能的block,针对数据构建搜索网络;
S3、将提取的肺部结节切片图像划分成训练、验证、测试三组图像,进而提供给搜索网络搜索;
S4、搜索网络在输入的数据上搜索优化的block,保存效果最好的block,并在优化block中添加注意力机制模块构建attention block;
S5、利用所保存的attention block构建一个最终搜索出来的神经网络;
S6、将数据重新整合,输入到最终搜索得到的神经网络中,训练出一个最好的肺部结节良恶性判别模型。
步骤S1中,选取医生认为大于3毫米的肺部结节CT数据,从该数据中截取三张沿轴向的中心切片,并将这三张切片图像合成一张三通道的图像。医生对肺结节标注的良恶性评分等级为1-5,本发明将评分为1和2的结节视为良性,将评分为4和5的结节视为恶性。经过处理得到的数据中共包括1345个良性结节和649个恶性结节。其中每个肺部结节图像数据都resize到64×64的分辨率。
步骤S2中,所设计的搜索block的结构是一个有向无环图(如图2所示),每个节点(node)代表着一个特征图,连接着两个节点的边(edge)代表着带着权重的八个操作。其中每条边(edge)的操作定义为
Figure BDA0002670759380000041
xi表示节点i的特征图,o(·)表示作用在特征图上的操作,共包含了八个操作:3×3和5×5可分离卷积、3×3和5×5空洞卷积、3×3最大池化、3×3平均池化、skip-connect和零操作。
Figure BDA0002670759380000051
则表示作用在每个操作上的权重,通过softmax归一化来表示每个操作的重要程度。
如图3所示,在每条边(edge)上,本发明只从输入特征图中选取1/K通道数作为八个操作的输入。在最后输出时,随机打乱通道数作为输出。
在搜索block中,每一个节点(node)都与排列在它前面的节点相连,本发明也定义了每条连接的重要程度,定义为
Figure BDA0002670759380000052
其中f(i,j)(·)表示每条边(edge)作用在特征图xi上的函数,βi,j即为每条边的权重,通过softmax归一化表示每条边的重要程度。
根据神经网络的下采样需求,搜索block可分为normal block和reductionblock。normal block的输出的尺寸和通道数和输入保持一致,reduction block的输出尺寸和通道数分别是输入的一半和两倍。定义好搜索block之后,本发明利用搜索block构建了搜索网络。搜索网络包含了6个normal block和2个reduction block,并且2个reductionblock的位置是在第三个和第六个。搜索网络的最后是一个全局池化层和一个全连接层,预测最后的二分类结果。
步骤S4中,搜索网络可训练的参数包括网络本身定义的操作参数,例如卷积层参数,BN层参数;还有控制着网络结构的权重参数,例如搜索block中的边(edge)上操作权重和连接权重。
在每一次训练迭代中,先在训练集上训练搜索网络的操作参数,然后固定操作参数,在验证集上训练搜索网络的权重参数。这样交替训练50个epoch,选取在验证集上得到最高精度的权重参数。根据获得的权重参数保留每条边(edge)上权重最高的操作和每个节点上权重最高的两条连接,以得到优化的block。在优化block前端加上注意力机制模型,组成attention block来提升优化后block的特征表达能力。
注意力模型包括了空间注意力模型和通道注意力模型。空间注意力模型定义为sigmoid(ω(α(P)))·P,其中P表示N×W×H大小的特征图,α(·)表示channel-wise均值化操作,ω(·)表示卷积核为3的卷积操作。通道注意力模型定义为sigmoid(ω2(relu(ω1(v))))*V,其中V表示C×W×H大小的特征图,v是V经过全局自适应平均池化得到一个维度为C的向量,ω1(·)和ω2(·)是两个卷积核为1的卷积操作,*表示对应通道的乘积。
如图2所示,通道注意力模型和空间注意力模型顺序组合构建了注意力模型,本发明将注意力模型置于每个优化block的前端以提高优化block的特征表达能力。最后得到了normal attention block和attention reduction block。
步骤S5中,本发明使用9个normal attention block和3个reduction attentionblock构建了最终用来预测肺部结节良恶性的神经网络模型。3个reduction attentionblock分别位于网络的第3、第6和第9的位置,其余位置即为normal attention block。
步骤S6中,将训练集和验证集合成一个数据集作为新的训练集,将原先的测试集作为验证集,在最终优化得到的神经网络上训练出一个最优的肺部结节良恶性判别模型。

Claims (4)

1.基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,其特征是,包括以下步骤:
步骤一、在肺部CT数据中提取具有人工标注良恶性等级评分的结节切片图像;
步骤二、设计具有搜索功能的block,针对数据构建搜索网络;
步骤三、将提取的肺部结节切片图像划分成训练、验证、测试三组图像,进而提供给搜索网络搜索;
步骤四、搜索网络在输入的数据上搜索优化的block,保存效果最好的block,并在优化block中添加注意力机制模块构建attention block;
步骤五、利用所保存的attentionblock构建一个最终搜索出来的神经网络;
步骤六、将数据重新整合,输入到最终搜索得到的神经网络中,训练出一个最好的肺部结节良恶性判别模型。
2.如权利要求1所述的基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,其特征是,所述步骤一具体为:选取医生认为大于设定值的肺部结节CT数据,从该数据中截取三张沿轴向的中心切片,并将这三张切片图像合成一张三通道的图像;医生对肺结节标注的良恶性进行评分。
3.如权利要求1所述的一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,其特征是,所述步骤四具体为:搜索网络可训练的参数包括网络本身定义的操作参数和控制着网络结构的权重参数,根据获得的权重参数保留每条边上权重最高的操作和每个节点上权重最高的两条连接,以得到优化的block,在优化block前端加上注意力机制模型,组成attention block来提升优化后block的特征表达能力。
4.如权利要求1所述的一种基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法,其特征是,所述步骤五中的神经网络模型包括12个attentionblock,共包含9个normal attention block和3个reduction attention block。
CN202010932598.3A 2020-09-08 2020-09-08 基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法 Pending CN112053351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010932598.3A CN112053351A (zh) 2020-09-08 2020-09-08 基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010932598.3A CN112053351A (zh) 2020-09-08 2020-09-08 基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法

Publications (1)

Publication Number Publication Date
CN112053351A true CN112053351A (zh) 2020-12-08

Family

ID=73611669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010932598.3A Pending CN112053351A (zh) 2020-09-08 2020-09-08 基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法

Country Status (1)

Country Link
CN (1) CN112053351A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626506A (zh) * 2022-03-08 2022-06-14 中国科学院计算技术研究所 一种基于注意力机制的神经网络单元结构搜索方法及系统
CN114742199A (zh) * 2022-03-08 2022-07-12 中国科学院计算技术研究所 一种基于注意力机制的神经网络宏架构搜索方法及系统
WO2022222020A1 (zh) * 2021-04-20 2022-10-27 中国科学院深圳先进技术研究院 一种用于流量分类的神经网络架构自动搜索方法及装置
CN118917389A (zh) * 2024-10-11 2024-11-08 南京信息工程大学 一种基于注意力机制的扩散模型架构搜索方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986073A (zh) * 2018-06-04 2018-12-11 东南大学 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986073A (zh) * 2018-06-04 2018-12-11 东南大学 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SANGHYUN WOO, JONGCHAN PARK, JOON-YOUNG LEE, AND IN SO KWEON: "CBAM: Convolutional Block Attention Module", 《COMPUTER VISION-ECCV 2018》 *
陈雪地: "基于自动设计神经网络的医学图像分类方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222020A1 (zh) * 2021-04-20 2022-10-27 中国科学院深圳先进技术研究院 一种用于流量分类的神经网络架构自动搜索方法及装置
CN114626506A (zh) * 2022-03-08 2022-06-14 中国科学院计算技术研究所 一种基于注意力机制的神经网络单元结构搜索方法及系统
CN114742199A (zh) * 2022-03-08 2022-07-12 中国科学院计算技术研究所 一种基于注意力机制的神经网络宏架构搜索方法及系统
CN118917389A (zh) * 2024-10-11 2024-11-08 南京信息工程大学 一种基于注意力机制的扩散模型架构搜索方法和系统

Similar Documents

Publication Publication Date Title
Ren et al. Cgmvqa: A new classification and generative model for medical visual question answering
CN112053351A (zh) 基于神经网络架构搜索和注意力机制的肺部结节良恶性判别方法
Lanjewar et al. Lung cancer detection from CT scans using modified DenseNet with feature selection methods and ML classifiers
WO2021159742A1 (zh) 图像分割方法、装置和存储介质
Enokiya et al. Automatic liver segmentation using U-Net with Wasserstein GANs
Iqbal et al. An efficient deep learning-based framework for tuberculosis detection using chest X-ray images
CN113421652B (zh) 对医疗数据进行分析的方法、训练模型的方法及分析仪
CN111476292A (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN110533024B (zh) 基于多尺度roi特征的双二次池化细粒度图像分类方法
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN109360232A (zh) 基于条件生成对抗网络的室内场景布局估计方法和装置
WO2022205502A1 (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN111275118A (zh) 基于自我修正式标签生成网络的胸片多标签分类方法
Guo et al. 3D SAACNet with GBM for the classification of benign and malignant lung nodules
CN110021431A (zh) 人工智能辅助诊断系统、诊断方法
CN114708347B (zh) 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法
Ahmed et al. COPD classification in CT images using a 3D convolutional neural network
Yonekura et al. Improving the generalization of disease stage classification with deep CNN for glioma histopathological images
CN105023023B (zh) 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法
Huang et al. Graph-based pyramid global context reasoning with a saliency-aware projection for covid-19 lung infections segmentation
CN115222780A (zh) 基于语义掩膜的跨模态大形变图像配准方法
CN115423790A (zh) 一种基于视觉文本融合的前房角图像分级方法
Sudha et al. Automatic lung cancer detection using hybrid particle snake swarm optimization with optimized mask RCNN
CN106548178B (zh) 一种基于肺结节ct图像的语义特征自动打分方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201208