CN111340064A - 基于高低阶信息融合的高光谱图像分类方法 - Google Patents
基于高低阶信息融合的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN111340064A CN111340064A CN202010083796.7A CN202010083796A CN111340064A CN 111340064 A CN111340064 A CN 111340064A CN 202010083796 A CN202010083796 A CN 202010083796A CN 111340064 A CN111340064 A CN 111340064A
- Authority
- CN
- China
- Prior art keywords
- order
- features
- hyperspectral
- image
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 2
- 235000011613 Pinus brutia Nutrition 0.000 description 2
- 241000018646 Pinus brutia Species 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明涉及一种基于高低阶信息融合的高光谱图像分类方法,包括以下步骤:步骤1、对从高光谱图像提取的样本数据X={x1,x2,...,xn}进行编码,得到高阶语义特征其中,i=1、2、……n,f函数为编码函数,n为样本数目,同时,保存在编码过程中得到的低阶图像特征,步骤2、对高阶语义特征和低阶图像特征进行融合,解码得到高光谱特征,步骤3、基于所述高光谱特征,通过分类器生成所述高光谱图像的分类结果,其中,所述步骤1至3是基于卷积神经网络实现的,所述样本数据作为训练集或测试集。本发明将高低阶信息融合应用到高光谱图像分类中,并将联合损失函数应用到高光谱图像的地物分类中,辅助函数监督语义特征提取,提高了高光图像分类的准确率。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及机器学习和高光谱图像分类技术领域,更具体地,涉及一种基于高低阶信息融合的高光谱图像分类方法,其可用于高光谱图像的地物识别。
背景技术
高光谱图像是利用成像光谱仪对某一区域以纳米级的光谱分辨率进行紫外光谱段到红外光谱段的连续成像。高光谱图像具有丰富的光谱信息,为地物识别创造了良好条件,高光谱图像分类在大气监测、海洋遥感、城市规划等方面具有广泛应用。
近年来,基于深度学习的高光谱分类方法展示了巨大潜力。通过神经网络进行高光谱分类,大大提高了高光谱图像的分类精度。
Tong Li等人在论文“Classification of hyperspectral image based on deepbelief networks”提出将图像用PCA降维后取像元块,然后拉成向量再与原始像元向量进行拼接,将拼接结果作为深度置信网(DBN)的输入,最后用逻辑回归(LR)分类器进行分类。该方法存在以下不足:无法利用DBN提取空间信息进行分类。
北京航空航天大学在其专利申请“一种基于深度学习的高光谱图像分类方法”(CN106845418A)中提出了一种基于自编码网络的分类算法,采用每个中心像元领域内的数据作为输入,考虑了空间信息进行高光谱分类。该方法存在以下不足:在一系列的卷积操作中,只保留了高阶的语义信息,丢失了低阶的细节图像特征信息。
发明内容
本发明的目的是针对现有技术的不足,提供一种基于高低阶信息融合的高光谱图像分类方法,其中,建立端到端的编码模块和解码模块,融合高阶语义信息与低阶图像特征信息进行高光谱图像分类。编码模块通过一系列的卷尺池化操作提取低空间分辨率的高阶语义信息,解码模块通过反卷积与跳连接将在编码过程中获取的高空间分辨率的低阶图像特征融合进高阶语义信息,得到同时具有高阶语义信息与低阶空间信息的融合后的高光谱特征。最后,利用上述的融合后的特征进行高光谱图像分类。
根据本发明的实施例,提供了一种基于高低阶信息融合的高光谱图像分类方法,包括以下步骤:步骤1、对从高光谱图像提取的样本数据X={x1,x2,...,xn}进行编码,得到高阶语义特征其中,i=1、2、……n,f函数为编码函数,n为样本数目,同时,保存在编码过程中得到的低阶图像特征,步骤2、对高阶语义特征和低阶图像特征进行融合,解码得到高光谱特征,步骤3、基于所述高光谱特征,通过分类器生成所述高光谱图像的分类结果,其中,所述步骤1至3是基于卷积神经网络实现的,所述样本数据作为训练集或测试集。
由此,本发明的有益效果包括:
(1)将高低阶信息融合应用到高光谱图像分类中,提出了一种端到端的基于编码解码结构的高光谱分类架构,能够提取到既具有高阶语义信息又具有低阶空间信息的高光谱特征来进行分类;
(2)将联合损失函数应用到高光谱图像的地物分类中,辅助函数监督语义特征提取,提高了高光图像分类的准确率;
附图说明
图1为根据本发明的实施例的实现基于高低阶信息融合的高光谱图像分类方法的卷积神经网络(FGSCNN)的架构示意图;
图2为根据本发明的实施例的基于高低阶信息融合的高光谱图像分类方法的原理示意图;
图3为根据本发明的实施例的基于高低阶信息融合的高光谱图像分类方法的流程示意图;
图4为根据本发明的实施例的基于高低阶信息融合的高光谱图像分类方法的编码模块的原理示意图;
图5为根据本发明的实施例的基于高低阶信息融合的高光谱图像分类方法的解码模块的原理示意图。
具体实施方式
下面,结合附图对技术方案的实施作进一步的详细描述。
本领域的技术人员能够理解,尽管以下的说明涉及到有关本发明的实施例的很多技术细节,但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合,只要它们不背离本发明的原理和精神即可。
另外,为了避免使本说明书的描述限于冗繁,在本说明书中的描述中,可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理,这对于本领域的技术人员来说是可以理解的,并且这不会影响本说明书的公开充分性。
下面结合附图对具体实施方案进行详细描述。
图1为根据本发明的实施例的实现基于高低阶信息融合的高光谱图像分类方法的卷积神经网络(FGSCNN)的架构示意图;图2为根据本发明的实施例的基于高低阶信息融合的高光谱图像分类方法的原理示意图。如图1和2所示,基于高低阶信息融合的高光谱图像分类方法,其主要涉及四个功能部分:数据预处理部分、数据分割部分、模型训练部分和预测分类部分,其中,所述模型训练和预测分类部分是通过卷积神经网络(CNN)实现的,其包括编码模块(编码部分)、解码模块(解码部分)、分类模块。
其中,数据预处理部分用于对高光谱图像数据(包括样本集和测试集)进行预处理,包括图像的清洗和归一化,数据分割部分用于对预处理后的数据进行分割,以便满足编码模块的输入需要。
在训练阶段,从分割后的数据构建训练样本集,输入到编码模块进行处理后,得到高阶语义特征(high-level semantics features),并保留编码模块在处理过程中产生的细粒度低阶图像特征(FGS细节),解码模块通过反卷积与跳连接(skip connection)将高阶语义特征和细粒度低阶图像特征融合,作为高光谱特征(或称具有高阶语义的FGS特征,FGSfeatures with high-level semantics),之后,分类模块使用联合损失函数(后面将详述)得到高光谱像元分类结果。
在测试阶段,类似地,将分割后的数据作为测试样本集输入到编码模块进行处理后,得到高阶语义特征,并保留编码模块在处理过程中产生的细粒度低阶图像特征,解码模块通过反卷积与跳连接将高阶语义特征和细粒度低阶图像特征融合,作为高光谱特征,之后,分类模块使用主损失函数(后面将详述)得到高光谱像元分类结果。
其中,辅助损失函数只在训练过程中使用,保证编码模块提取有效的高层语义。主损失函数用来确保校正的像素标签。
具体地,如图3所示,根据本发明的实施例,基于高低阶信息融合的高光谱图像分类方法包括以下步骤:
步骤S100、对高光谱图像数据进行数据预处理,包括数据清洗和数据归一化,
其中,数据归一化用于将图像数据统一映射至[0,1]区间,并利用曲线性方法使数据符合正态分布;
步骤S200、利用固定窗口对图像进行分割,将所有像元分割为窗口大小为w×w的样本集(例如,取w为11,则样本集为11×11的图像块的集合),形成训练集或测试集,如下:
X={x1,x2,...,xn}∈Rw×w×B,
其中,R表示图像块,B为高光谱图像的谱带数目,n为样本数,即,具有标签的样本数,样本标签可为图像块的中心像元的标签。
其中,作为示例,训练集是从样本集中随机抽取的多个样本,测试集是从样本集中抽取训练集之后的剩余样本。
步骤S300、在训练阶段,对训练集进行编码,
类似地,在测试阶段,对测试集进行编码,
具体地,如图4所示,在编码过程中,经过三层卷积池化操作,每层池化后保存细粒度低阶图像特征,共提取到三种细粒度的低阶图像特征,{xi1,xi2,xi3},其中,i为样本序号,1、2、3组成三种程度的细粒度特征,最后一次池化后再经一层卷积网络得到高阶语义特征作为输出;也就是说,所述编码过程的输出包括高阶语义特征以及低阶图像特征{xi1,xi2,xi3}。
其中,所述低阶图像特征包括图像的视觉特征,如颜色、纹理、形状,高阶语义特征包括图像所表达的对象、行为、场景等特征。
对于本领域的技术人员来说,可采用当前公知和将来会出现的各类方法来提取图像的低阶特征和高阶特征,本公开对低阶特征和高阶特征的具体内容及其提取手段并无限制、且其并非关注重点,故为了简明起见,在此不再赘述。
步骤S400、通过反卷积与跳连接,对高阶语义特征和细粒度特征{xi1,xi2,xi3}进行融合,解码得到具有高阶语义信息与低阶空间信息的高光谱特征其中,g函数包括反卷积、卷积、跳连接、批归一化等操作。
具体地,如图5所示,首先向解码模块输入高阶语义特征之后通过反卷积与跳连接的方式,倒序输入三种程度细粒度特征{xi1,xi2,xi3},使得细粒度特征在高阶语义信息上得以保持,反卷积使得较高阶的特征尺寸与较低阶的特征尺寸相同,细粒度特征保持之后通过卷积层进行不同阶的特征融合,得到具有高阶语义信息与低阶空间信息的高光谱特征;
步骤S500、将所述高光谱特征馈送到全连接网络,所述全连接网络包括两个全连接层:第一层用于特征降维以提高计算效率,第二层用于通过Softmax分类器生成最终的分类结果。
其中,上述步骤S300至步骤S500通过卷积神经网络实现。在测试阶段,使用主损失函数,其采用交叉熵,定义如下:
其中,p={p1,p2,...,pm}是采用解码模块的输出(有特征融合)进行分类所得到的概率分布,pk是的类别k的概率,m是像素标签的种类的数目,是像素地面真值(groundtruth)的独热编码表示。
在训练阶段,使用联合损失函数,定义如下:
L=(1-ω)Lm+ω·La
其中,ω是平衡参数,La为辅助损失函数,定义如下:
其中,可利用随机梯度下降法优化平衡参数ω,重复进行步骤S300到步骤S500。
为验证本方法,以IndianPines高光谱数据集为例进行分类和测试。IndianPines高光谱数据集是由美国机载可视红外光谱仪成像(AVIRIS),采集于印第安纳州西北部。该数据集空间尺寸为145x145,包含200个光谱波段且波长范围为0.4-2.5μm。原始数据集共有16个类,我们删除样本较少的类,保留了8个样本较多的类进行实验。每种类别的训练样本数,测试样本数以及总样本数见表1。
表1—IndianPines数据集训练、测试样本数量
在上述样本条件下,将本发明的方法(FGSCNN)与CNN、CNN-PPF、SS-CNN、DRCNN四种方法进行对比实验,并记录平均分类精度(AA),总体分类精度(OA)和Kappa系数。实验结果如表2所示。
表2—分类性能对比
在表2中,CNN为传统卷积神经网络高光谱分类方法,CNN-PPF是基于CNN的利用像素对进行高光谱分类的方法,SS-CNN基于空谱信息进行分类,DRCNN基于多尺度区域的高光谱分类方法。
由表2可以得出,本发明提出的方法具有较好的分类结果,分类效果有不同程度的提升,总体精度与平均精度都优于对比方法。
综上所述,本发明的基于高低阶信息融合的高光谱图像分类方法,通过编码-解码的方式提取高光谱数据特征信息,利用反卷积与跳连接来进行高低阶信息融合,生成具有高阶语义信息与低阶空间信息的高光谱特征,避免了分类时对低阶特征信息利用不足的问题,增加了高光谱地物分类的准确性。
最后,本领域的技术人员能够理解,对本发明的上述实施例能够做出各种修改、变型、以及替换,其均落入如所附权利要求限定的本发明的保护范围。
Claims (8)
2.根据权利要求1所述的方法,其中,在步骤1之前还包括以下步骤:
步骤0-1、对所述高光谱图像数据进行数据预处理,包括数据清洗和数据归一化,
其中,数据归一化用于将所述高光谱图像数据统一映射至[0,1]区间,并利用曲线性方法使所述高光谱图像数据符合正态分布;
步骤0-2、利用固定窗口对步骤0-1得到的图像数据进行分割,将所有像元分割为窗口大小为w×w的图像块作为样本数据,如下:
X={x1,x2,...,xn}∈Rw×w×B,
其中,R表示图像块,B为所述高光谱图像的谱带数目。
5.根据权利要求1所述的方法,其中,在步骤3中,所述高光谱特征被送入全连接网络,所述全连接网络包括用于特征降维的第一全连接层、以及用于通过Softmax分类器生成最终的分类结果的第二全连接层。
8.根据权利要求7所述的方法,其中,利用随机梯度下降法优化平衡参数ω,并重复进行步骤1至3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010083796.7A CN111340064A (zh) | 2020-02-10 | 2020-02-10 | 基于高低阶信息融合的高光谱图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010083796.7A CN111340064A (zh) | 2020-02-10 | 2020-02-10 | 基于高低阶信息融合的高光谱图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111340064A true CN111340064A (zh) | 2020-06-26 |
Family
ID=71185977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010083796.7A Pending CN111340064A (zh) | 2020-02-10 | 2020-02-10 | 基于高低阶信息融合的高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340064A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255698A (zh) * | 2021-06-03 | 2021-08-13 | 青岛星科瑞升信息科技有限公司 | 用于高光谱影像空间特征提取的超像素级自适应ssa方法 |
CN113344121A (zh) * | 2021-06-29 | 2021-09-03 | 北京百度网讯科技有限公司 | 训练招牌分类模型和招牌分类的方法 |
CN113807438A (zh) * | 2021-09-17 | 2021-12-17 | 中国石油大学(华东) | 基于语义保留的对抗混合半监督高光谱图像分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108346145A (zh) * | 2018-01-31 | 2018-07-31 | 浙江大学 | 一种病理切片中非常规细胞的识别方法 |
CN109740608A (zh) * | 2018-12-28 | 2019-05-10 | 北京工业大学 | 一种基于深度学习的图像分割方法 |
US20190205758A1 (en) * | 2016-12-30 | 2019-07-04 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
CN110532900A (zh) * | 2019-08-09 | 2019-12-03 | 西安电子科技大学 | 基于U-Net和LS-CNN的人脸表情识别方法 |
-
2020
- 2020-02-10 CN CN202010083796.7A patent/CN111340064A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190205758A1 (en) * | 2016-12-30 | 2019-07-04 | Konica Minolta Laboratory U.S.A., Inc. | Gland segmentation with deeply-supervised multi-level deconvolution networks |
CN108346145A (zh) * | 2018-01-31 | 2018-07-31 | 浙江大学 | 一种病理切片中非常规细胞的识别方法 |
CN109740608A (zh) * | 2018-12-28 | 2019-05-10 | 北京工业大学 | 一种基于深度学习的图像分割方法 |
CN110532900A (zh) * | 2019-08-09 | 2019-12-03 | 西安电子科技大学 | 基于U-Net和LS-CNN的人脸表情识别方法 |
Non-Patent Citations (3)
Title |
---|
孙晓敏 等: "基于U-net的"高分五号"卫星高光谱图像土地类型分类", 《航天返回与遥感》 * |
束磊: "基于深度学习的OCT心血管易损斑块识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
赵扬 等: "基于改进的三维卷积神经网络的高光谱遥感影像分类技术研究", 《信息技术与网络安全》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255698A (zh) * | 2021-06-03 | 2021-08-13 | 青岛星科瑞升信息科技有限公司 | 用于高光谱影像空间特征提取的超像素级自适应ssa方法 |
CN113344121A (zh) * | 2021-06-29 | 2021-09-03 | 北京百度网讯科技有限公司 | 训练招牌分类模型和招牌分类的方法 |
CN113344121B (zh) * | 2021-06-29 | 2023-10-27 | 北京百度网讯科技有限公司 | 训练招牌分类模型和招牌分类的方法 |
CN113807438A (zh) * | 2021-09-17 | 2021-12-17 | 中国石油大学(华东) | 基于语义保留的对抗混合半监督高光谱图像分类方法 |
CN113807438B (zh) * | 2021-09-17 | 2023-08-29 | 中国石油大学(华东) | 基于语义保留的对抗混合半监督高光谱图像分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022073452A1 (zh) | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 | |
Hong et al. | Multimodal GANs: Toward crossmodal hyperspectral–multispectral image segmentation | |
Li et al. | Multispectral pedestrian detection via simultaneous detection and segmentation | |
Song et al. | Hyperspectral image classification with deep feature fusion network | |
CN112541503B (zh) | 基于上下文注意力机制和信息融合的实时语义分割方法 | |
CN111274869B (zh) | 基于并行注意力机制残差网进行高光谱图像分类的方法 | |
CN111340064A (zh) | 基于高低阶信息融合的高光谱图像分类方法 | |
CN113221641B (zh) | 基于生成对抗网络和注意力机制的视频行人重识别方法 | |
CN111652236A (zh) | 弱监督场景下跨层特征交互的轻量级细粒度图像识别方法 | |
CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
CN112200090B (zh) | 基于交叉分组空谱特征增强网络的高光谱图像分类方法 | |
Üzen et al. | Swin-MFINet: Swin transformer based multi-feature integration network for detection of pixel-level surface defects | |
WO2023030182A1 (zh) | 图像生成方法及装置 | |
CN111860683A (zh) | 一种基于特征融合的目标检测方法 | |
CN110929099A (zh) | 一种基于多任务学习的短视频帧语义提取方法及系统 | |
CN115565071A (zh) | 高光谱图像Transformer网络训练及分类方法 | |
CN107545281B (zh) | 一种基于深度学习的单一有害气体红外图像分类识别方法 | |
CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
CN113762265B (zh) | 肺炎的分类分割方法及系统 | |
CN114037893A (zh) | 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法 | |
Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
Bressan et al. | Semantic segmentation with labeling uncertainty and class imbalance | |
CN116543432A (zh) | 一种基于辅助网络的高效人脸检测方法 | |
CN115100509B (zh) | 基于多分支块级注意力增强网络的图像识别方法及系统 | |
Li et al. | An encoder–decoder convolution network with fine-grained spatial information for hyperspectral images classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200626 |