CN108985301A - 一种多特征类子字典学习的高光谱图像分类方法 - Google Patents

一种多特征类子字典学习的高光谱图像分类方法 Download PDF

Info

Publication number
CN108985301A
CN108985301A CN201810723158.XA CN201810723158A CN108985301A CN 108985301 A CN108985301 A CN 108985301A CN 201810723158 A CN201810723158 A CN 201810723158A CN 108985301 A CN108985301 A CN 108985301A
Authority
CN
China
Prior art keywords
dictionary
class
feature
sub
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810723158.XA
Other languages
English (en)
Inventor
杨明
张会敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN201810723158.XA priority Critical patent/CN108985301A/zh
Publication of CN108985301A publication Critical patent/CN108985301A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多特征类子字典学习的高光谱图像分类方法，步骤为：提取高光谱图像的多种互补特征数据；对每类训练样本利用MFKCSDL模型学习得到相应的类子字典；利用基于分水岭的图像分割方法将高光谱图像划分成若干空间组；将学习得到的类子字典组合应用到MFKJSR模型，获得每个空间组像素点的多特征表示系数；通过空间组中所有像素点的多特征重构误差最小，预测空间组中像素点的类别标签。本发明能够有效提升字典的判别能力，进而提高高光谱图像的分类精度。

Description

一种多特征类子字典学习的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，特别涉及了一种多特征类子字典学习的高光谱图像分类方法。
背景技术
高光谱图像数据维度高、训练样本少及光谱波段间相似度高等问题给它的分类任务带来了诸多挑战。仅利用单个像素点光谱特征的分类模型易受“同物异谱，同谱异物”等因素的影响，分类精度较低。随着研究的不断深入，研究人员发现高光谱图像中刻画近邻间关系的空间信息有助于进一步提高分类精度，进而提出了大量光谱信息与空间信息同时使用的分类模型。该分类模型底层特征的利用以光谱特征为主，综合考虑了图像的纹理、形状及像素邻域等空间信息。但这些简单人工特征的表达能力有限且易受高光谱图像中噪声点的干扰。从有噪声的图像中获得鲁棒特征表示的稀疏表示和字典学习模型在高光谱图像分类领域得到广泛关注。
但目前大多稀疏表示和字典学习方法在利用空间邻域信息的基础上仅考虑了高光谱图像的光谱特征。一种特征仅能从一个角度来刻画图像，而不同类型的特征具有不同的判别力，可提供互补且相关的信息辅助分类。因此，如何有效地利用多种特征信息以提高编码系数的可区分性在高光谱图像分类领域仍需要进一步探索。并且，高光谱图像中还存在特征编码具有相似性的问题，这给高光谱图像的分类带来了挑战。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供一种多特征类子字典学习的高光谱图像分类方法，解决高光谱图像中存在的同物异谱、同谱异物等问题，提高高光谱图像分类精度。
为了实现上述技术目的，本发明的技术方案为：
一种多特征类子字典学习的高光谱图像分类方法，包括以下步骤：
(1)提取高光谱图像的多种互补特征数据；
(2)对每类训练样本利用MFKCSDL模型学习得到相应的类子字典；
(3)利用基于分水岭的图像分割方法将高光谱图像划分成若干空间组；
(4)将步骤(2)学习得到的类子字典组合应用到MFKJSR模型，获得每个空间组像素点的多特征表示系数；
(5)通过空间组中所有像素点的多特征重构误差最小，预测空间组中像素点的类别标签。
进一步地，在步骤(1)中，所述多种互补特征数据包括光谱、梯度、纹理和形状特征。
进一步地，在步骤(2)中，所述MFKCSDL模型通过以下步骤得到：
(a)设高光谱图像中第k类特征数据表示的第c类训练样本矩阵为其中，k＝1,2,…,K，K为特征总数，nc为第c类训练样本的个数，bk为第k种特征的维度；对应在核空间中的表示为同一特征空间中的像素点能够由其他像素点进行线性表示，表示模型为： 为第k种特征数据字典在核空间中的表示，为对应的编码系数矩阵；
(b)同类训练样本数据属于相同的地物，能够由相同的字典原子来表示，因此，设同类训练样本数据得到的相应编码系数矩阵中非零元素所在的行是相同的，即相应的编码系数矩阵具有行稀疏性，而非零元素值的大小有所不同；由于是对应于同类训练样本不同特征对应的像素点矩阵，设不同特征对应的稀疏系数共享相同的稀疏模式；
(c)结合步骤(a)和(b)，得到MFKCSDL模型：
其中， 为字典的第i个原子，λ为正则化参数，下标“row,0”表示行稀疏。
进一步地，在步骤(2)中，根据表示理论，字典能够调整为训练样本的表示：其中，为变换矩阵，Nc为第c类子字典的原子个数，令将MFKCSDL模型转变成以下等价形式：
进一步地，步骤(2)的具体步骤如下：
(21)初始化图像矩阵Y，矩阵
(22)固定每类样本数据上的矩阵Vc，每类训练样本数据的稀疏表示系数矩阵Ψc通过下式求解：
其中，为核函数；
(23)固定第c类训练样本数据的多特征稀疏系数矩阵Ψc，该类数据的每种特征相应的变换矩阵都能够独立求解：
令该目标函数的梯度等于零，则可直接计算获得；
(24)重复步骤(22)-(23)，直至满足迭代终止条件，输出矩阵
进一步地，在步骤(3)中，首先获取高光谱图像的梯度图像，然后基于梯度图像利用分水岭分割算法进行高光谱图像分割，获得高光谱图像的分割图，将其划分成若干个空间组{g1,g2,…,gi,…gG}，G表示空间组总数。
进一步地，在步骤(4)中，设高光谱图像中第k种特征数据表示的空间组gi中像素点集合表示为其中，|gi|表示空间组gi中像素点个数；将学习得到的所有类别的类子字典进行组合，构成该对应总字典 C表示高光谱图像中包含的样本种类总数；将Φ(Dk)应用于以下MFKJSR模型中，获得每个空间组像素点的多特征稀疏表示系数
其中，γgi为第i个空间组gi的正则化参数。
进一步地，在步骤(5)中，步骤(4)求得的多特征稀疏表示系数包含了与未知样本类别相关的信息，利用残差将空间组gi中所有像素点划分到残差最小对应的类别当中，确定空间组中测试像素点的类别标签：
其中，表示中与第c类字典原子相关的稀疏表示系数，rc(Ygi)表示用第c类子字典对Ygi进行重构的残差，
采用上述技术方案带来的有益效果：
首先，本发明通过对高光谱图像划分空间组，结合空间信息辅助分类，较好地利用了高光谱图像的空间信息，以此提高高光谱图像的分类效果。
其次，本发明通过融合多种特征信息，有效利用了多种特征信息的相关性和互补性，提升分类正确率，增强分类鲁棒性。
再者，本发明利用多种特征信息学习更有判别能力的类子字典，进而提升稀疏编码的判别能力，利用稀疏编码间接获得待分类样本的类别标签，提高了高光谱图像的分类精度。同时，通过核方法提高数据的线性可分性，有效解决了高光谱图像中存在的同物异谱、同谱异物问题，因此具有较高的使用价值。
附图说明
图1是本发明的整体流程图；
图2是本发明运用MFKCSDL学习得到字典和稀疏编码的流程图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
如图1所示，本发明提供一种多特征类子字典学习的高光谱图像分类方法，包括如下步骤：
步骤1，提取待分类高光谱图像的光谱、梯度、纹理、形状多种特征数据：利用现有技术提取高光谱的多种特征信息，得到不同特征空间的样本数据，为步骤3做铺垫。多种特征信息具有相关性和互补性，为高光谱图像的正确分类提供更多有效的信息，进一步提升分类精度。
步骤2，运用MFKCSDL(Multifeature Kernel Class Sub-dictionary Learning)模型为每类样本数据学习得到相应的类子字典：迭代更新字典和稀疏编码，直到满足迭代终止条件，输出学习得到具有判别能力的类子字典。
步骤3，利用分水岭分割方法对待分类高光谱图像进行分割，划分成若干个空间近邻组：首先利用现有技术提取高光谱图像的梯度图像，然后利用分水岭分割算法对梯度图像进行分割，获得高光谱图像的分割图，将其划分成若干个空间组。组内空间信息具有一致性，对分类帮助较大。
步骤4，将每学习得到的类子字典组合都成每种特征下的总字典，然后将总字典应用到MFKJSR(Multifeature kernel joint sparse representation)模型中，为每个空间组中所有像素点学习得到相应的多特征表示系数。
步骤5，利用空间组中所有像素点的多特征重构误差最小，预测每个空间组中所有测试像素点的类别标签。对所有空间组像素点按此方法进行分类，得到最终的高光谱图像分类结果。
需要说明的是，本发明的核心步骤在于运用MFKCSDL模型学习得到字典和稀疏编码，因此，具体实施方式的描述主要侧重于步骤2。
在步骤2中，MFKCSDL模型可通过如下步骤得到：
(a)设高光谱图像中第k类特征数据表示的第c类训练样本矩阵为其中，k＝1,2,…,K，K为特征总数，nc为第c类训练样本的个数，bk为第k种特征的维度；对应在核空间中的表示为同一特征空间中的像素点能够由其他像素点进行线性表示，表示模型为： 为第k种特征数据字典在核空间中的表示，为对应的编码系数矩阵；
(b)同类训练样本数据属于相同的地物，能够由相同的字典原子来表示，因此，设同类训练样本数据得到的相应编码系数矩阵中非零元素所在的行是相同的，即相应的编码系数矩阵具有行稀疏性，而非零元素值的大小有所不同；由于是对应于同类训练样本不同特征对应的像素点矩阵，设不同特征对应的稀疏系数共享相同的稀疏模式；
(c)结合步骤(a)和(b)，得到MFKCSDL模型：
其中， 为字典的第i个原子，λ为正则化参数，下标“row,0”表示行稀疏。
如图2所示，运用MFKCSDL模型学习得到类子字典的具体内容是：
根据表示理论，字典可调整为训练样本的表示，即其中Nc为第c类子字典的原子个数。令将模型转变成以下等价形式：
这里，定义核函数其中ai与bj分别为矩阵A和B的第i列和第j列，则所述步骤2的具体步骤如下：
步骤21，初始化图像矩阵Y，矩阵
步骤322，固定每类样本数据上的矩阵Vc，每类训练样本数据的稀疏表示系数矩阵Ψc可以通过下式求解：
步骤23,固定第c类训练样本数据的多特征稀疏系数矩阵Ψc，该类数据的每种特征相应的矩阵都可以独立求解：
该公式是在上的二次方程，令该目标函数的梯度等于零，则可直接计算获得。
步骤24，重复步骤22-23，直至满足迭代终止条件，输出学习得到的矩阵进而得到相应的字典表示
综合上述，本发明一种多特征类子字典学习的高光谱图像分类方法，采用MFKCSDL(Multifeature Kernel Class Sub-dictionary Learning)字典学习模型，通过对每类训练样本的多种特征施加联合稀疏约束lrow，0并嵌入多特征的系数重构误差来有效融合多种特征的互补相关信息，为每类样本的每种特征学习得到有较高判别力的字典，由此提出一种新的高光谱图像分类方法。该方法仅利用每类训练样本学习对应的子字典，训练阶段运行时间较短，并且在主观视觉以及客观评价指标上都达到了提升分类精度的目的。另外，利用核方法扩展线性模型，有效缓解高光谱图像中的同物异谱、同谱异物现象，因此具有较高的使用价值。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (8)

1.一种多特征类子字典学习的高光谱图像分类方法，其特征在于，包括以下步骤：
(1)提取高光谱图像的多种互补特征数据；
(2)对每类训练样本利用MFKCSDL模型学习得到相应的类子字典；
(3)利用基于分水岭的图像分割方法将高光谱图像划分成若干空间组；
(4)将步骤(2)学习得到的类子字典组合应用到MFKJSR模型，获得每个空间组像素点的多特征表示系数；
(5)通过空间组中所有像素点的多特征重构误差最小，预测空间组中像素点的类别标签。
2.根据权利要求1所述多特征类子字典学习的高光谱图像分类方法，其特征在于，在步骤(1)中，所述多种互补特征数据包括光谱、梯度、纹理和形状特征。
3.根据权利要求1所述多特征类子字典学习的高光谱图像分类方法，其特征在于，在步骤(2)中，所述MFKCSDL模型通过以下步骤得到：
(a)设高光谱图像中第k类特征数据表示的第c类训练样本矩阵为其中，k＝1,2,…,K，K为特征总数，nc为第c类训练样本的个数，bk为第k种特征的维度；对应在核空间中的表示为同一特征空间中的像素点能够由其他像素点进行线性表示，表示模型为： 为第k种特征数据字典在核空间中的表示，为对应的编码系数矩阵；
(b)同类训练样本数据属于相同的地物，能够由相同的字典原子来表示，因此，设同类训练样本数据得到的相应编码系数矩阵中非零元素所在的行是相同的，即相应的编码系数矩阵具有行稀疏性，而非零元素值的大小有所不同；由于是对应于同类训练样本不同特征对应的像素点矩阵，设不同特征对应的稀疏系数共享相同的稀疏模式；
(c)结合步骤(a)和(b)，得到MFKCSDL模型：
其中， 为字典的第i个原子，λ为正则化参数，下标“row,0”表示行稀疏。
4.根据权利要求1所述多特征类子字典学习的高光谱图像分类方法，其特征在于，在步骤(2)中，根据表示理论，字典能够调整为训练样本的表示：其中，为变换矩阵，Nc为第c类子字典的原子个数，令将MFKCSDL模型转变成以下等价形式：
5.根据权利要求4所述多特征类子字典学习的高光谱图像分类方法，其特征在于，步骤(2)的具体步骤如下：
(21)初始化图像矩阵Y，矩阵
(22)固定每类样本数据上的矩阵Vc，每类训练样本数据的稀疏表示系数矩阵Ψc通过下式求解：
其中，为核函数；
(23)固定第c类训练样本数据的多特征稀疏系数矩阵Ψc，该类数据的每种特征相应的变换矩阵都能够独立求解：
令该目标函数的梯度等于零，则可直接计算获得；
(24)重复步骤(22)-(23)，直至满足迭代终止条件，输出矩阵
6.根据权利要求3-4中任意一项所述多特征类子字典学习的高光谱图像分类方法，其特征在于，在步骤(3)中，首先获取高光谱图像的梯度图像，然后基于梯度图像利用分水岭分割算法进行高光谱图像分割，获得高光谱图像的分割图，将其划分成若干个空间组{g1,g2,…,gi,…gG}，G表示空间组总数。
7.根据权利要求6所述多特征类子字典学习的高光谱图像分类方法，其特征在于，在步骤(4)中，设高光谱图像中第k种特征数据表示的空间组gi中像素点集合表示为其中，|gi|表示空间组gi中像素点个数；将学习得到的所有类别的类子字典进行组合，构成该对应总字典 C表示高光谱图像中包含的样本种类总数；将Φ(Dk)应用于以下MFKJSR模型中，获得每个空间组像素点的多特征稀疏表示系数
其中，γgi为第i个空间组gi的正则化参数。
8.根据权利要求7所述多特征类子字典学习的高光谱图像分类方法，其特征在于，在步骤(5)中，步骤(4)求得的多特征稀疏表示系数包含了与未知样本类别相关的信息，利用残差将空间组gi中所有像素点划分到残差最小对应的类别当中，确定空间组中测试像素点的类别标签：
其中，表示中与第c类字典原子相关的稀疏表示系数，表示用第c类子字典对Ygi进行重构的残差，
CN201810723158.XA 2018-07-04 2018-07-04 一种多特征类子字典学习的高光谱图像分类方法 Pending CN108985301A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810723158.XA CN108985301A (zh) 2018-07-04 2018-07-04 一种多特征类子字典学习的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810723158.XA CN108985301A (zh) 2018-07-04 2018-07-04 一种多特征类子字典学习的高光谱图像分类方法

Publications (1)

Publication Number Publication Date
CN108985301A true CN108985301A (zh) 2018-12-11

Family

ID=64536074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810723158.XA Pending CN108985301A (zh) 2018-07-04 2018-07-04 一种多特征类子字典学习的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN108985301A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948462A (zh) * 2019-02-27 2019-06-28 南京理工大学 基于多gpu协同交互数据流组织的高光谱图像快速分类法
CN110688890A (zh) * 2019-08-13 2020-01-14 南京航空航天大学 一种基于自适应核稀疏表示及多特征的高光谱图像分类方法
CN112132229A (zh) * 2020-09-30 2020-12-25 北京理工大学 一种采用编码智能学习框架的高光谱成像分类方法
CN112241768A (zh) * 2020-11-25 2021-01-19 广东技术师范大学 一种基于深度分解字典学习的精细图像分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014152919A1 (en) * 2013-03-14 2014-09-25 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona For And On Behalf Of Arizona State University Kernel sparse models for automated tumor segmentation
CN104281855A (zh) * 2014-09-30 2015-01-14 西安电子科技大学 基于多任务低秩的高光谱图像分类方法
CN108229551A (zh) * 2017-12-28 2018-06-29 湘潭大学 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014152919A1 (en) * 2013-03-14 2014-09-25 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona For And On Behalf Of Arizona State University Kernel sparse models for automated tumor segmentation
CN104281855A (zh) * 2014-09-30 2015-01-14 西安电子科技大学 基于多任务低秩的高光谱图像分类方法
CN108229551A (zh) * 2017-12-28 2018-06-29 湘潭大学 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUIMIN ZHANG ET AL: "Spatial-aware hyperspectral image classification via multifeature kernel dictionary learning", 《INTERNATIONAL JOURNAL OF DATA SCIENCE AND ANALYTICS》 *
张会敏 等: "基于自适应核联合稀疏表示的多特征高光谱图像分类", 《中国科学技术大学学报》 *
舒速 杨明: "基于分水岭分割和稀疏表示的高光谱图像分类方法", 《计算机科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948462A (zh) * 2019-02-27 2019-06-28 南京理工大学 基于多gpu协同交互数据流组织的高光谱图像快速分类法
CN110688890A (zh) * 2019-08-13 2020-01-14 南京航空航天大学 一种基于自适应核稀疏表示及多特征的高光谱图像分类方法
CN112132229A (zh) * 2020-09-30 2020-12-25 北京理工大学 一种采用编码智能学习框架的高光谱成像分类方法
CN112132229B (zh) * 2020-09-30 2022-11-29 北京理工大学 一种采用编码智能学习框架的高光谱成像分类方法
CN112241768A (zh) * 2020-11-25 2021-01-19 广东技术师范大学 一种基于深度分解字典学习的精细图像分类方法
CN112241768B (zh) * 2020-11-25 2024-04-26 广东技术师范大学 一种基于深度分解字典学习的精细图像分类方法

Similar Documents

Publication Publication Date Title
CN108985301A (zh) 一种多特征类子字典学习的高光谱图像分类方法
CN108460400B (zh) 一种结合多种特征信息的高光谱图像分类方法
CN107590515B (zh) 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN107145836B (zh) 基于栈式边界辨别自编码器的高光谱图像分类方法
CN108171122A (zh) 基于全卷积网络的高光谱遥感图像的分类方法
CN108734199B (zh) 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN104809471B (zh) 一种基于空间光谱信息的高光谱图像残差融合分类方法
CN110490799A (zh) 基于自融合卷积神经网络的高光谱遥感影像超分辨率方法
Chen et al. Semisupervised spectral degradation constrained network for spectral super-resolution
CN110111276A (zh) 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法
CN112215267A (zh) 一种面向高光谱图像的深度空谱子空间聚类方法
CN104820841A (zh) 基于低阶互信息和光谱上下文波段选择的高光谱分类方法
CN115984110A (zh) 一种基于Swin-Transformer的二阶光谱注意力高光谱图像超分辨率方法
CN113256494A (zh) 一种文本图像超分辨率方法
CN109886315B (zh) 一种基于核保持的图像相似性度量方法
CN113850216B (zh) 一种面向大场景遥感图像分类的类指定多模联合表示方法
CN113208641B (zh) 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
CN105931184B (zh) 基于联合优化的sar图像超分辨率方法
CN106558020B (zh) 一种基于网络图像块检索的图像重建方法及系统
CN114529769A (zh) 一种面向大场景遥感图像分类的可分离多模联合表示方法
CN107944474B (zh) 基于局部自适应字典的多尺度协作表达高光谱分类方法
CN116778339A (zh) 局部视图辅助判别高光谱波段选择方法及系统
CN111047525A (zh) Sar遥感图像到光学遥感图像的翻译方法
CN116935224A (zh) 基于结构保持的判别性分布自适应多模态遥感图像协同分类方法
CN109325515B (zh) 基于局部学习正则化的深度矩阵分解方法及图像聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211