CN114049567A - 自适应软标签生成方法以及在高光谱图像分类中的应用 - Google Patents
自适应软标签生成方法以及在高光谱图像分类中的应用 Download PDFInfo
- Publication number
- CN114049567A CN114049567A CN202111387562.2A CN202111387562A CN114049567A CN 114049567 A CN114049567 A CN 114049567A CN 202111387562 A CN202111387562 A CN 202111387562A CN 114049567 A CN114049567 A CN 114049567A
- Authority
- CN
- China
- Prior art keywords
- formula
- training
- network
- data
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 99
- 238000012360 testing method Methods 0.000 claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 claims abstract description 28
- 241000488988 Monotropa Species 0.000 claims abstract description 8
- 230000003595 spectral effect Effects 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 37
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 238000001228 spectrum Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 229910052739 hydrogen Inorganic materials 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 241000287196 Asthenes Species 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 229910052805 deuterium Inorganic materials 0.000 claims description 3
- 229910052731 fluorine Inorganic materials 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 102100021523 BPI fold-containing family A member 1 Human genes 0.000 description 3
- 101100165584 Homo sapiens BPIFA1 gene Proteins 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自适应软标签生成方法以及在高光谱图像分类中的应用。本发明自适应软标签生成方法，包括以下步骤：1）下载Indian Pines（IP）、University of Pavia（UP）、Kennedy Space Center（KSC）这三个数据集；2）用loadmat函数分别加载高光谱图像和地面标签数据，加载后的高光谱图像和地面标签数据分别用自定义变量img、gt进行存储；3）将地面标签数据文件(gt)分别提取出标记样本和未标记样本；然后对地面标签数据文件(gt)划分训练集（train_gt）和测试集（test_gt）；4）利用未标记样本生成自适应软标签。
Description
技术领域
本发明涉及遥感技术领域，具体涉及一种面向高光谱图像分类的自适应软标签生成方法及应用。
背景技术
高光谱图像(HSI)是由数百个光谱通道构成的三维立体数据，包含着丰富的光谱和空间信息。这些信息是通过成像光谱仪发出的数百个窄波段经过实体反射获取，由于不同材料对于光谱的吸收和反射效果不同，根据不同材料在光谱上的不同特性进行逐像素分类，可以得到不同的光谱曲线。目前，高光谱图像(HSI)分类在农业勘测、生态防治、环境科学、海洋勘探等领域有着广泛的应用。
近年来，深度学习算法的发展推动了高光谱图像(HSI)分类的进步，具体来说就是通过深度神经网络可以分层自动地提取有价值的特征，对输入数据进行高层次的抽象。
目前，基于深度学习的高光谱图像(HSI)分类主要面临的一个问题就是深度学习的参数量巨大，往往需要尽量多地训练样本，而高光谱数据的标签获取主要是通过人工标注的方式，成本高、耗时大，导致现有标记样本较少，而有限的标记样本又限制了软标签的精准度，而软标签的精准度不足直接又对深度神经网络应用于高光谱分类的精度产生了不利影响。为此，本申请特地提供了一种新的能够有效利用未标记样本数据的自适应软标签生成方法，此外，为了能够将未标记样本数据应用于提高高光谱图像分类的精度，本申请又提供了一种自适应软标签在高光谱图像分类中的应用。
发明内容
为了弥补现有技术的不足，本发明提供了一种自适应软标签生成方法以及在高光谱图像分类中的应用。
本发明的技术方案为：
一种自适应软标签生成方法，包括以下步骤：
1)下载Indian Pines(IP)、University of Pavia(UP)、Kennedy Space Center(KSC)这三个数据集；
2)用loadmat函数分别加载高光谱图像和地面标签数据，加载后的高光谱图像和地面标签数据分别用自定义变量img、gt进行存储；
3)将地面标签数据文件(gt)分别提取出标记样本和未标记样本；然后对地面标签数据文件(gt)划分训练集(train_gt)和测试集(test_gt)，训练集(train_gt)和测试集(test_gt)的划分方式为：从地面标签数据文件(gt)中随机选取5个训练样本HSI H作为训练集，其余样本作为测试集；
4)对未标记样本生成自适应软标签；
其中，步骤4)中，所述对未标记样本生成自适应软标签的生成步骤具体为：
4.1)将随机选取的5个训练样本HSI H作为标记样本，将测试集中样本作为未标记样本，且标记样本和未标记样本分别定义为L和U，然后，计算标记样本L和未标记样本U之间的空间距离SPAD，计算公式如式(1)所示：
式(1)中，(xi,yi),(xj,yj)分别是标记样本L和未标记样本U在高光谱图像HSI上二维空间坐标值；
4.2)定义标记样本L和未标记样本U之间的光谱距离为SPED，计算公式如式(2)所示:
SPED＝entropy(l,u)+entropy(u,l) (2)
式(2)中，entropy是用来求两个光谱的熵，l和u分别为标记和未标记光谱向量。
4.3)结合空间距离SPAD和光谱距离SPED，定义标记样本L和未标记样本U之间空间光谱的总距离为LUD，LUD计算公式如式(3)所示:
4.4)加入自适应对比判断，选择最优数据生成自适应软标签。
优选地，步骤1)中，每个数据集都由高光谱图像和地面标签数据文件组成。
优选地，步骤4.4)加入自适应对比判断，选择最优数据生成自适应软标签的具体步骤如下：
4.4.1)利用定义标记样本L和未标记样本U之间空间光谱的总距离LUD求出属于同一类别的最小距离，计算公式如式(4)所示：
LUD＝[d1,d2,...ds]
MIND＝min(LUD) (4)
式(4)中，s表示选择的标记样本数量，min函数取出当前类别LUD中的最小值。
4.4.2)将步骤4.4.1)中得到所有类别最小值后的MIND，利用式(5)进行表示：
MIND＝[d1',d2',...dc']
式(5)中，c为HSI类别数目。
4.4.3)对于步骤4.4.2)中得到的MIND，使用如式(6)所示的smin函数取其次小值SMIND，同时，利用式(7)加入类别判断：
SMIND＝smin(MIND) (6)
式(7)中，设定阈值α和β。式(7)利用最小距离值小于最优参数α以及最小值和次小值的比率小于最优参数β这两个次判断条件，将混淆数据进行清除。
4.4.4)利用标记样本和未标记样本之间空间光谱的总距离LUD对未标记样本和类别之间的距离定义为UCD，UCD的计算公式如式(8)所示；而后将生成的UCD值送入softmax函数，生成未标记样本U属于每个类的概率P，生成的P向量即构成了自适应软标签(pseudo_labels3)。
P＝softmax(UCD) (9)
式(8)中，n是LUD中数据从小到大排序后的索引值。
优选地，步骤4.4.3)中，α和β根据经验值分别设定为0.15和0.5。
上述自适应软标签在高光谱图像分类中的应用，包括以下步骤：
a)训练数据和标签信息的获取
对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行旋转和翻转操作；
b)全连接神经网络结构模型的创建：通过在光谱和空间域的几何变换扩展HSI数据，更好地提取利用HSI中的特征信息，利用连续dropout策略和Relu激活对全连接神经网络进行训练，而后利用spectral包的save_rgb函数对全连接神经网络进行测试，得到全连接神经网络结构模型；
c)将自适应软标签加入到网络训练中，从中提取自监督知识；
d)训练测试。
优选地，步骤a)中，对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行旋转和翻转操作的具体步骤如下：对高光谱图像img这个三维立方体进行旋转和翻转操作，旋转和翻转操作具体按照如下方式进行：先将高光谱图像img这个三维立方体旋转4个角度(分别为0°,90°,180°,270°)，然后再分别镜像翻转，而后进行光谱域翻转，如图3所示，就得到了最后要的8个训练样本的训练数据和标签信息；而后，对训练集(train_gt)以及软标签进行与高光谱同样的变换操作。
优选地，步骤b)中，创建全连接神经网络结构模型的具体步骤包括：
b-1)通过在光谱和空间域的几何变换扩展HSI数据，获取网络训练数据T；
b-2)网络训练：为了更好的训练HSI数据，本发明使用全连接神经网络模型，该全连接网络模型的特点是每次层的输出都要作为下一层的输入，通过递进的图像特征累加，卷积层可以有效地学习多尺度特征信息。
优选地，步骤b-1)中获取网络训练数据T的具体步骤为：在空间域，对HSI图像(即训练样本HSI H的图像数据)水平旋转4个角度(0°，90°，180°，270°)之后生成的4个图像分别进行镜像翻转操作，从而得到8个变换之后的图像数据；在光谱域，对于HSI图像进行光谱域反转操作，指定任务为预测光谱序列顺序，通过此任务学习图像光谱域相关信息；通过空间和光谱变换操作，最后得到训练数据T。为了后面预测，本发明对地面真实地图做同样的旋转操作。
优选地，步骤b-2)中，网络训练具体过程如下：
b-2-1)，通过如下方式使输出矩阵可以和输入矩阵连接；具体来说就是：先从训练集中选出训练样本HSI H＝(w,h,d)；然后，对输入矩阵进行padding操作；然后使用D个[3*3,d]fileters对训练样本HSI H进行卷积操作，生成特征向量F＝(w,h,d)，将F和H联合作为下一层的输入，该上述步骤公式描述如式(10)所示：
式(10)中，Fn代表第n层的输出,Conv代指每层的卷积操作。通过此结构网络可以有效提取HSI多尺度特征；
b-2-2)，在网络的每一层卷积操作之后加入Relu激活函数来提高网络的学习能力；
b-2-3)，在每层网络中还要添加dropout策略，目的是为了防止过拟合和提高网络的鲁棒性。每一层网络的卷积操作之后都要加入Relu激活函数以及添加dropout策略如此才完成每一层的卷积层操作；
b-2-4)，多层信息融合。
优选地，步骤b-2-4)中，所述多层信息融合具体步骤如下：首先对每个卷积层引入全连接层FC，然后使用softmax函数生成类别预测结果b，然后，对步骤a)中经过变换操作得到的8个输入训练样本的输出类别预测结果b取平均值a；然后，对所有层采用该上述相同策略得到所有n层的输出结果为
然后，对每一层的类别预测结果平均值a进行融合平均，然后，利用argmax函数生成有最大logit值的像素级分类标记。其中，融合平均按照式(11)所示公式进行：
式(11)中，
是网络的最终预测输出，n是网络层数。
优选地，步骤c)中提取自监督知识的具体步骤为：通过引入与教师网络相关的软目标(soft-target)作为总体损失的一部分，来指导学生网络的训练，实现知识迁移(knowledge transfer)；为了利用HSI自监督知识，本发明将软标签加入网络训练中，本发明中整个全连接神经网络损失Loss由三个部分组成，分别是：网络输出预测和样本真实标签之间的Lh；网络输出预测和软标签之间的Ls以及光谱序列翻转前后之间的Lq，本发明对Lh、Ls、Lq分别用pytorch自带CrossEntropyLoss()函数进行计算求和得到全连接神经网络损失Loss；全连接神经网络损失Loss如式(12)所示：
其中，式(12)中，网络的层数定义为R。
优选地，步骤d)中训练测试的具体步骤如下：将步骤a)中经过变换操作得到的8个输入训练样本的训练数据送入公式(10)所示网络结构，开始训练，根据公式(11)和公式(12)计算全连接神经网络损失Loss，使用pytorch包自带函数loss.backward()进行反向传播，找到最优参数，得到最优参数模型。测试阶段，首先加载之前拥有的最优参数模型，对测试集进行与训练集相同预处理工作，将处理后的数据放入网络模型，将网络预测输出与测试样本真实标签进行比较，得到精度结果，利用spectral包的save_rgb函数，传入参数为预测数据结果b，并利用自带颜色库spectral.spy_colors将每一类的预测结果b用不同颜色标记出来，得到结果。
与现有技术相比，本发明的有益效果如下：
本发明自适应软标签生成方法引入了最近邻次近邻概念，提高了未标记样本的利用率，对比原方法在软标签生成方面有很大的提升；而本发明自适应软标签在高光谱图像分类中的应用技术，则是利用自适应软标签生成方法生成的软标签和网络生成结果之间进行度量，以促使网络学习到更多的特征信息，从而提高高光谱图像分类的精度。
附图说明
图1是全连接神经网络结构模型，参数：kernel size(卷积核尺寸)3*3，padding＝1,stride(步长)＝1，网络层数设置为3，学习率和权重衰减分别设置为10-4和10-5；每1000次迭代，学习率降低0.1；
图2为利用未标记样本生成自适应软标签的原理图；
图3对高光谱图像(img)、对地面标签划分后的训练集(train_gt)、软标签(pseudo_labels3)，这三个进行变换操作。首先要高光谱图像(img)是一个三维立方体，对他们进行旋转和翻转操作；如图所示，旋转4个角度，再镜像翻转，同时光谱域翻转。
图4(a)、4(b)、4(c)、4(d)、4(e)为UP数据集分别利用SVM分类方法、2DCNN分类方法、3DCNN分类方法、SSAD分类方法以及本发明所述方法(即NASG)进行高光谱图像分类的分类结果图，图4(f)为UP数据集对应的地面真实图；
图5为UP数据集分别利用SVM分类方法、2DCNN分类方法、3DCNN分类方法、SSAD分类方法以及本发明所述方法进行高光谱图像分类的分类准确率；图5中NASG代表本发明所述方法。
具体实施方式
术语解释
1、HSI，即高光谱图像，是由数百个光谱通道构成的三维立体数据，包含着丰富的光谱和空间信息，这些信息是通过成像光谱仪发出的数百个窄波段经过实体反射获取，由于不同材料对于光谱的吸收和反射效果不同，可以得到不同的光谱曲线。
2、1DCNN，一维卷积神经网络，常用在序列模型、自然语言处理领域。
3、2DCNN，二维卷积神经网络，常用在计算机视觉、图像处理领域。
4、3DCNN，三维卷积神经网络，在神经网络的输入中增加时间这个维度(连续帧)，神经网络就可以同时提取时间和空间特征。
5、SSL，自监督学习，可以利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。
6、NASG，本发明所述的自适应软标签生成方法，通过引入最近邻次近邻概念，能够提高未标记样本的利用率。
7、SVM，支持向量机，是一种传统的用于高光谱图像的分类方法，支持向量机利用核方法将非线性数据映射到线性可分的高维特征空间，标准的支持向量机方法只考虑光谱信息，忽略了空间信息。
8、SSAD，该方法是《Self-Supervised Learning With Adaptive Distill ationfor Hyperspectral Image Classification》论文中公开的现有技术，该方法提出了一种软标签生成方法，并首次将软标签结合自监督学习，另外提出了一种三维变换的自监督学习策略，提高了未标记样本利用率，在小样本高光谱分类问题上目前有较好的表现。
实施例：
一种自适应软标签生成方法，包括以下步骤：
1)从网站上下载Indian Pines(IP)、University of Pavia(UP)、Kennedy SpaceCenter(KSC)这三个数据集，其中，每个数据集都由高光谱图像和地面标签数据文件组成；
2)用loadmat函数分别加载高光谱图像和地面标签数据，加载后的高光谱图像和地面标签数据分别用自定义变量img、gt进行存储；
3)将地面标签数据文件(gt)分别提取出标记样本和未标记样本；然后对地面标签数据文件(gt)划分训练集(train_gt)和测试集(test_gt)，训练集(train_gt)和测试集(test_gt)的划分方式为：从地面标签数据文件(gt)中随机选取5个训练样本HSI H作为训练集，其余样本作为测试集；
4)利用未标记样本生成自适应软标签，如图2所示；其中，步骤4)中利用未标记样本生成自适应软标签的具体步骤如下：
4.1)将随机选取的5个训练样本HSI H作为标记样本，将测试集中样本作为未标记样本，且标记样本和未标记样本分别定义为L和U，然后，计算标记样本L和未标记样本U之间的空间距离SPAD，计算公式如式(1)所示：
式(1)中，(xi,yi),(xj,yj)分别是标记样本L和未标记样本U在高光谱图像HSI上二维空间坐标值；
4.2)定义标记样本L和未标记样本U之间的光谱距离为SPED，计算公式如式(2)所示:
SPED＝entropy(l,u)+entropy(u,l) (2)
式(2)中，entropy是用来求两个光谱的熵，l和u分别为标记和未标记光谱向量。
4.3)结合空间距离SPAD和光谱距离SPED，定义标记样本L和未标记样本U之间空间光谱的总距离为LUD，LUD计算公式如式(3)所示:
4.4)加入自适应对比判断，选择最优数据生成自适应软标签，具体步骤如下：
4.4.1)利用定义标记样本L和未标记样本U之间空间光谱的总距离LUD求出属于同一类别的最小距离，计算公式如式(4)所示：
LUD＝[d1,d2,...ds]
MIND＝min(LUD) (4)
式(4)中，s表示选择的标记样本数量，min函数取出当前类别LUD中的最小值。
4.4.2)将步骤4.4.1)中得到所有类别最小值后的MIND，利用式(5)进行表示：
MIND＝[d1',d2',...dc']
式(5)中，c为HSI类别数目。
4.4.3)对于步骤4.4.2)中得到的MIND，使用如式(6)所示的smin函数取其次小值SMIND，同时，利用式(7)加入类别判断：
SMIND＝smin(MIND) (6)
式(7)中，设定阈值α和β，α和β根据经验值分别设定为0.15和0.5。式(7)利用最小距离值小于最优参数α以及最小值和次小值的比率小于最优参数β这两个次判断条件，将混淆数据进行清除。
4.4.4)利用标记样本和未标记样本之间空间光谱的总距离LUD对未标记样本和类别之间的距离定义为UCD，UCD的计算公式如式(8)所示；而后将生成的UCD值送入softmax函数，生成未标记样本U属于每个类的概率P，生成的P向量即构成了自适应软标签(pseudo_labels3)。
P＝softmax(UCD) (9)
式(8)中，n是LUD中数据从小到大排序后的索引值。
上述自适应软标签在高光谱图像分类中的应用，包括以下步骤：
a)训练数据和标签信息的获取
对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行旋转和翻转操作；
b)全连接神经网络结构模型的创建，如图1所示：通过在光谱和空间域的几何变换扩展HSI数据，更好地提取利用HSI中的特征信息，利用连续dropout策略和Relu激活对全连接神经网络进行训练，而后利用spectral包的save_rgb函数对全连接神经网络进行测试，得到全连接神经网络结构模型；
c)将自适应软标签加入到网络训练中，从中提取自监督知识；
d)训练测试。
其中，步骤a)中，获取训练数据和标签信息的具体步骤如下：
对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行变换操作，具体来说，就是对高光谱图像img这个三维立方体进行旋转和翻转操作，旋转和翻转操作具体按照如下方式进行：先将高光谱图像img这个三维立方体旋转4个角度(分别为0°,90°,180°,270°)，然后再分别镜像翻转，而后进行光谱域翻转，如图3所示，就得到了最后要的8个训练样本的训练数据和标签信息；而后，对训练集(train_gt)以及软标签进行与高光谱同样的变换操作。
步骤b)中，创建全连接神经网络结构模型通过在光谱和空间域的几何变换扩展HSI数据，更好地提取利用HSI中的特征信息，利用连续dropout策略和Relu激活对全连接神经网络进行训练，而后利用spectral包的save_rgb函数对全连接神经网络进行测试，得到全连接神经网络结构模型；创建全连接神经网络结构模型的具体步骤如下：
b-1)通过在光谱和空间域的几何变换扩展HSI数据，获取网络训练数据T；具体步骤为：在空间域，对HSI图像(即训练样本HSI H的图像数据)水平旋转4个角度(0°，90°，180°，270°)之后生成的4个图像分别进行镜像翻转操作，从而得到8个变换之后的图像数据；在光谱域，对于HSI图像进行光谱域反转操作，指定任务为预测光谱序列顺序，通过此任务学习图像光谱域相关信息；通过空间和光谱变换操作，最后得到训练数据T。为了后面预测，本发明对地面真实地图做同样的旋转操作。
b-2)网络训练：为了更好的训练HSI数据，本发明使用全连接神经网络模型，该全连接网络模型的特点是每次层的输出都要作为下一层的输入，通过递进的图像特征累加，卷积层可以有效地学习多尺度特征信息。具体网络训练的过程如下：
b-2-1)，通过如下方式使输出矩阵可以和输入矩阵连接；具体来说就是：先从训练集中选出训练样本HSI H＝(w,h,d)；然后，对输入矩阵进行padding操作；然后使用D个[3*3,d]fileters对训练样本HSI H进行卷积操作，生成特征向量F＝(w,h,d)，将F和H联合作为下一层的输入，该上述步骤公式描述如式(10)所示：
式(10)中，Fn代表第n层的输出,Conv代指每层的卷积操作。通过此结构网络可以有效提取HSI多尺度特征。
b-2-2)，在网络的每一层卷积操作之后加入Relu激活函数来提高网络的学习能力。
b-2-3)，在每层网络中还要添加dropout策略，dropout值设置为0.5，目的是为了防止过拟合和提高网络的鲁棒性。每一层网络的卷积操作之后都要加入Relu激活函数以及添加dropout策略如此才完成每一层的卷积层操作。
b-2-4)，多层信息融合；具体步骤如下：首先对每个卷积层引入全连接层FC，然后使用softmax函数生成类别预测结果b，然后，对步骤a)中经过变换操作得到的8个训练样本的输出类别预测结果b取平均值a；然后，对所有层采用该上述相同策略得到所有n层的输出结果为
然后，对每一层的类别预测结果平均值a进行融合平均，然后，利用argmax函数生成有最大logit值的像素级分类标记。其中，融合平均按照式(11)所示公式进行：
式(11)中，
是网络的最终预测输出，n是网络层数。
另外，步骤c)中，将自适应软标签加入到网络训练中，从中提取自监督知识的具体步骤为：通过引入与教师网络相关的软目标(soft-target)作为总体损失的一部分，来指导学生网络的训练，实现知识迁移(knowledge transfer)。为了利用HSI自监督知识，本发明将软标签加入网络训练中，本发明中整个全连接神经网络损失Loss由三个部分组成，分别是：网络输出预测和样本真实标签之间的Lh；网络输出预测和软标签之间的Ls以及光谱序列翻转前后之间的Lq，本发明对Lh、Ls、Lq分别用pytorch自带CrossEntropyLoss()函数进行计算求和得到全连接神经网络损失Loss。全连接神经网络损失Loss如式(12)所示：
其中，式(12)中，网络的层数定义为R。
步骤d)中，训练测试的具体步骤为：将步骤a)中经过变换操作得到的8个训练样本的训练数据输入公式(10)所示网络结构，开始训练，根据公式(11)和公式(12)计算全连接神经网络损失Loss，使用pytorch包自带函数loss.backward()进行反向传播，找到最优参数，得到最优参数模型。测试阶段，首先加载之前拥有的最优参数模型，对测试集进行与训练集相同预处理工作，将处理后的数据放入网络模型，将网络预测输出与测试样本真实标签进行比较，得到精度结果，利用spectral包的save_rgb函数，传入参数为预测数据结果b，并利用自带颜色库spectral.spy_colors将每一类的预测结果b用不同颜色标记出来，得到结果如图4(e)所示。
评估指标
使用3个广泛用于HSI分类的评价指标，分别是总体准确率(OA)、平均准确率(AA)和Kappa系数。OA代表测试集中正确分类的样本数占总样本数的比例，AA为测试集中每个类别准确率的平均值，Kappa系数是样本一致程度的鲁棒性度量。
为了验证本发明所述方法在小样本情况下的可行性，本发明对数据集取样本数分别是5，并与一些传统和最新方法进行对比，具体来说，这些传统和最新方法分别为现有的SVM分类方法、2D-CNN分类方法、3D-CNN分类方法、SSAD分类方法。其中，SVM分类方法、2D-CNN分类方法、3D-CNN分类方法、SSAD分类方法以及本发明所述方法的总体准确率(OA)、平均准确率(AA)和Kappa系数测试结果，如图5所示。
从图4(a)至图4(f)中可以看出，采用本发明所述方法对UP数据集进行高光谱图像分类的分类结果图相较于利用SVM分类方法、2DCNN分类方法、3DCNN分类方法、SSAD分类方法等进行高光谱图像分类的分类结果图，具有如下优点：采用本发明所述方法得到的SVM分类结果图噪点少，在标记样本比较少的情况下也能得到较好的分类效果，与地面真实图最为相似。
从图5可以看出，从总体准确率(OA)、平均准确率(AA)和Kappa系数这三个评价指标来看，采用本发明所述方法得到的高光谱图像分类结果都优于SVM分类方法、2DCNN分类方法、3DCNN分类方法、SSAD分类方法等，这主要是由于本发明通过利用软标签信息和自监督学习更好得提取到了图像得光谱和空间信息，故此，获得了优异的分类结果。相较于本申请，SVM分类方法只考虑了目标像素得光谱特征，而没有考虑周围环境得空间信息，因此产生了较多的噪声，所以分类结果差；而2DCNN分类方法、3DCNN分类方法未利用未标记样本信息，在样本数量较少的情况下难以提取有效特征，因此分类精度表现也较差；另外，由于本发明相较于SSAD分类方法由于算法得到改进，软标签中包含了更多有用的信息，因此，本发明所述方法相较于SSAD分类方法也取得了更好的分类效果。
Claims (10)
1.一种自适应软标签生成方法，其特征在于：包括以下步骤：
1)下载Indian Pines(IP)、University of Pavia(UP)、Kennedy Space Center(KSC)这三个数据集；
2)用loadmat函数分别加载高光谱图像和地面标签数据，加载后的高光谱图像和地面标签数据分别用自定义变量img、gt进行存储；
3)将地面标签数据文件(gt)分别提取出标记样本和未标记样本；然后对地面标签数据文件(gt)划分训练集(train_gt)和测试集(test_gt)，训练集(train_gt)和测试集(test_gt)的划分方式为：从地面标签数据文件(gt)中随机选取5个训练样本HSI H作为训练集，其余样本作为测试集；
4)利用未标记样本生成自适应软标签；
其中，步骤4)中，所述利用未标记样本生成自适应软标签的具体步骤为：
4.1)将随机选取的5个训练样本HSI H作为标记样本，将测试集中样本作为未标记样本，且标记样本和未标记样本分别定义为L和U，然后，计算标记样本L和未标记样本U之间的空间距离SPAD，计算公式如式(1)所示：
式(1)中，(xi,yi),(xj,yj)分别是标记样本L和未标记样本U在高光谱图像HSI上二维空间坐标值；
4.2)定义标记样本L和未标记样本U之间的光谱距离为SPED，计算公式如式(2)所示:
SPED＝entropy(l,u)+entropy(u,l) (2)
式(2)中，entropy是用来求两个光谱的熵，l和u分别为标记和未标记光谱向量；
4.3)结合空间距离SPAD和光谱距离SPED，定义标记样本L和未标记样本U之间空间光谱的总距离为LUD，LUD计算公式如式(3)所示:
4.4)加入自适应对比判断，选择最优数据生成自适应软标签。
2.根据权利要求1所述的自适应软标签生成方法，其特征在于：所述步骤4.4)中，加入自适应对比判断，选择最优数据生成自适应软标签的具体步骤如下：
4.4.1)利用定义标记样本L和未标记样本U之间空间光谱的总距离LUD求出属于同一类别的最小距离，计算公式如式(4)所示：
LUD＝[d1,d2,...ds]
MIND＝min(LUD) (4)
式(4)中，s表示选择的标记样本数量，min函数取出当前类别LUD中的最小值；
4.4.2)将步骤4.4.1)中得到所有类别最小值后的MIND，利用式(5)进行表示：
MIND＝[d1',d2',...dc']
式(5)中，c为HSI类别数目；
4.4.3)对于步骤4.4.2)中得到的MIND，使用如式(6)所示的smin函数取其次小值SMIND，同时，利用式(7)加入类别判断：
SMIND＝smin(MIND) (6)
式(7)中，设定阈值α和β；式(7)利用最小距离值小于最优参数α以及最小值和次小值的比率小于最优参数β这两个次判断条件，将混淆数据进行清除；
4.4.4)利用标记样本和未标记样本之间空间光谱的总距离LUD对未标记样本和类别之间的距离定义为UCD，UCD的计算公式如式(8)所示；而后将生成的UCD值送入softmax函数，生成未标记样本U属于每个类的概率P，生成的P向量即构成了自适应软标签(pseudo_labels3)；
P＝softmax(UCD) (9)
式(8)中，n是LUD中数据从小到大排序后的索引值。
3.一种如权利要求1所述的自适应软标签在高光谱图像分类中的应用，其特征在于：包括以下步骤：
a)获取训练数据和标签信息：对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行旋转和翻转操作；
b)全连接神经网络结构模型的创建：通过在光谱和空间域的几何变换扩展HSI数据，更好地提取利用HSI中的特征信息，利用连续dropout策略和Relu激活对全连接神经网络进行训练，而后利用spectral包的save_rgb函数对全连接神经网络进行测试，得到全连接神经网络结构模型；
c)将自适应软标签加入到网络训练中，提取自监督知识；
d)训练测试。
4.根据利要求3所述的自适应软标签在高光谱图像分类中的应用，其特征在于：步骤a)中，对高光谱图像(img)、对地面标签划分后的训练集(train_gt)以及软标签进行旋转和翻转操作的具体步骤如下：对高光谱图像img这个三维立方体进行旋转和翻转操作，旋转和翻转操作具体按照如下方式进行：先将高光谱图像img这个三维立方体旋转4个角度(分别为0°,90°,180°,270°)，然后再分别镜像翻转，而后进行光谱域翻转，如图3所示，就得到了最后要的8个训练样本的训练数据和标签信息；而后，对训练集(train_gt)以及软标签进行与高光谱同样的变换操作。
5.根据利要求3所述的自适应软标签在高光谱图像分类中的应用，其特征在于：步骤b)创建全连接神经网络结构模型的具体步骤包括：
b-1)通过在光谱和空间域的几何变换扩展HSI数据，获取网络训练数据T；
b-2)网络训练：为了更好的训练HSI数据，本发明使用全连接神经网络模型，该全连接网络模型的特点是每次层的输出都要作为下一层的输入，通过递进的图像特征累加，卷积层可以有效地学习多尺度特征信息。
6.根据利要求5所述的自适应软标签在高光谱图像分类中的应用，其特征在于：步骤b-1)中，获取网络训练数据T的具体步骤为：在空间域，对HSI图像(即训练样本HSIH的图像数据)水平旋转4个角度(0°，90°，180°，270°)之后生成的4个图像分别进行镜像翻转操作，从而得到8个变换之后的图像数据；在光谱域，对于HSI图像进行光谱域反转操作，指定任务为预测光谱序列顺序，通过此任务学习图像光谱域相关信息；通过空间和光谱变换操作，最后得到训练数据T。
7.根据利要求5所述的自适应软标签在高光谱图像分类中的应用，其特征在于：所述步骤b-2)中，网络训练具体过程如下：
b-2-1)，通过如下方式使输出矩阵可以和输入矩阵连接；具体来说就是：先从训练集中选出训练样本HSIH＝(w,h,d)；然后，对输入矩阵进行padding操作；然后使用D个[3*3,d]fileters对训练样本HSI H进行卷积操作，生成特征向量F＝(w,h,d)，将F和H联合作为下一层的输入，该上述步骤公式描述如式(10)所示：
式(10)中，Fn代表第n层的输出,Conv代指每层的卷积操作；通过此结构网络可以有效提取HSI多尺度特征；
b-2-2)，在网络的每一层卷积操作之后加入Relu激活函数来提高网络的学习能力；
b-2-3)，在每层网络中还要添加dropout策略，目的是为了防止过拟合和提高网络的鲁棒性；每一层网络的卷积操作之后都要加入Relu激活函数以及添加dropout策略如此才完成每一层的卷积层操作；
b-2-4)，多层信息融合。
8.根据利要求7所述的自适应软标签在高光谱图像分类中的应用，其特征在于：所述步骤b-2-4)中，所述多层信息融合具体步骤如下：首先对每个卷积层引入全连接层FC，然后使用softmax函数生成类别预测结果b，然后，对步骤a)中经过变换操作得到的8个训练样本的输出类别预测结果b取平均值a；然后，对所有层采用该上述相同策略得到所有n层的输出结果为
然后，对每一层的类别预测结果平均值a进行融合平均，然后，利用argmax函数生成有最大logit值的像素级分类标记；其中，融合平均按照式(11)所示公式进行：
式(11)中，
是网络的最终预测输出，n是网络层数。
9.根据利要求3所述的自适应软标签在高光谱图像分类中的应用，其特征在于：所述步骤c)中提取自监督知识的具体步骤为：通过引入与教师网络相关的软目标(soft-target)作为总体损失的一部分，来指导学生网络的训练，实现知识迁移(knowledge transfer)；为了利用HSI自监督知识，本发明将软标签加入网络训练中，本发明中整个全连接神经网络损失Loss由三个部分组成，分别是：网络输出预测和样本真实标签之间的Lh；网络输出预测和软标签之间的Ls以及光谱序列翻转前后之间的Lq，本发明对Lh、Ls、Lq分别用pytorch自带CrossEntropyLoss()函数进行计算求和得到全连接神经网络损失Loss；全连接神经网络损失Loss如式(12)所示：
其中，式(12)中，网络的层数定义为R。
10.根据利要求3所述的自适应软标签在高光谱图像分类中的应用，其特征在于：所述步骤d)中训练测试的具体步骤如下：将步骤a)中经过变换操作得到的8个训练样本的训练数据输入公式(10)所示网络结构，开始训练，根据公式(11)和公式(12)计算全连接神经网络损失Loss，使用pytorch包自带函数loss.backward()进行反向传播，找到最优参数，得到最优参数模型；测试阶段，首先加载之前拥有的最优参数模型，对测试集进行与训练集相同预处理工作，将处理后的数据放入网络模型，将网络预测输出与测试样本真实标签进行比较，得到精度结果，利用spectral包的save_rgb函数，传入参数为预测数据结果b，并利用自带颜色库spectral.spy_colors将每一类的预测结果b用不同颜色标记出来，得到结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111387562.2A CN114049567B (zh) | 2021-11-22 | 2021-11-22 | 自适应软标签生成方法以及在高光谱图像分类中的应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111387562.2A CN114049567B (zh) | 2021-11-22 | 2021-11-22 | 自适应软标签生成方法以及在高光谱图像分类中的应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114049567A true CN114049567A (zh) | 2022-02-15 |
| CN114049567B CN114049567B (zh) | 2024-02-23 |
Family
ID=80210282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111387562.2A Active CN114049567B (zh) | 2021-11-22 | 2021-11-22 | 自适应软标签生成方法以及在高光谱图像分类中的应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049567B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821198A (zh) * | 2022-06-24 | 2022-07-29 | 齐鲁工业大学 | 基于自监督和小样本学习的跨域高光谱图像分类方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335756A (zh) * | 2015-10-30 | 2016-02-17 | 苏州大学 | 一种鲁棒学习模型与图像分类系统 |
| CN105825512A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 基于稳健背景回归的高光谱遥感影像异常目标探测方法 |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| US20190205748A1 (en) * | 2018-01-02 | 2019-07-04 | International Business Machines Corporation | Soft label generation for knowledge distillation |
| CN110298396A (zh) * | 2019-06-25 | 2019-10-01 | 北京工业大学 | 基于深度学习多特征融合的高光谱图像分类方法 |
| CN111695467A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 |
| WO2020233207A1 (zh) * | 2019-05-20 | 2020-11-26 | 广东省智能制造研究所 | 一种基于半监督学习策略的高光谱数据分析方法 |
| US20210216825A1 (en) * | 2020-01-09 | 2021-07-15 | International Business Machines Corporation | Uncertainty guided semi-supervised neural network training for image classification |
| CN113408605A (zh) * | 2021-06-16 | 2021-09-17 | 西安电子科技大学 | 基于小样本学习的高光谱图像半监督分类方法 |
| CN113449821A (zh) * | 2021-08-31 | 2021-09-28 | 浙江宇视科技有限公司 | 融合语义和图像特征的智能训练方法、装置、设备及介质 |
-
2021
- 2021-11-22 CN CN202111387562.2A patent/CN114049567B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335756A (zh) * | 2015-10-30 | 2016-02-17 | 苏州大学 | 一种鲁棒学习模型与图像分类系统 |
| CN105825512A (zh) * | 2016-03-18 | 2016-08-03 | 武汉大学 | 基于稳健背景回归的高光谱遥感影像异常目标探测方法 |
| US20190205748A1 (en) * | 2018-01-02 | 2019-07-04 | International Business Machines Corporation | Soft label generation for knowledge distillation |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| WO2020233207A1 (zh) * | 2019-05-20 | 2020-11-26 | 广东省智能制造研究所 | 一种基于半监督学习策略的高光谱数据分析方法 |
| CN110298396A (zh) * | 2019-06-25 | 2019-10-01 | 北京工业大学 | 基于深度学习多特征融合的高光谱图像分类方法 |
| US20210216825A1 (en) * | 2020-01-09 | 2021-07-15 | International Business Machines Corporation | Uncertainty guided semi-supervised neural network training for image classification |
| CN111695467A (zh) * | 2020-06-01 | 2020-09-22 | 西安电子科技大学 | 基于超像素样本扩充的空谱全卷积高光谱图像分类方法 |
| CN113408605A (zh) * | 2021-06-16 | 2021-09-17 | 西安电子科技大学 | 基于小样本学习的高光谱图像半监督分类方法 |
| CN113449821A (zh) * | 2021-08-31 | 2021-09-28 | 浙江宇视科技有限公司 | 融合语义和图像特征的智能训练方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| 李绣心;凌志刚;邹文;: "基于卷积神经网络的半监督高光谱图像分类", 电子测量与仪器学报, no. 10, 15 October 2018 (2018-10-15), pages 100 - 107 * |
| 王立国;商卉;石瑶;: "结合主动学习与标签传递算法的高光谱图像分类", 哈尔滨工程大学学报, no. 05, 30 November 2020 (2020-11-30), pages 117 - 123 * |
| 赵文仓;袁立镇;徐长凯;: "基于鉴别模型和对抗损失的无监督域自适应方法", 高技术通讯, no. 07, 15 July 2020 (2020-07-15), pages 48 - 56 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821198A (zh) * | 2022-06-24 | 2022-07-29 | 齐鲁工业大学 | 基于自监督和小样本学习的跨域高光谱图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114049567B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596248B (zh) | 一种基于改进深度卷积神经网络的遥感影像分类方法 | |
| Li et al. | Classification of high-spatial-resolution remote sensing scenes method using transfer learning and deep convolutional neural network | |
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
| CN108229551B (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
| CN110598564B (zh) | 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法 | |
| Zhao et al. | Center attention network for hyperspectral image classification | |
| Song et al. | Two-stage cross-modality transfer learning method for military-civilian SAR ship recognition | |
| CN112348758B (zh) | 一种光学遥感图像数据增强方法及目标识别方法 | |
| CN111738052B (zh) | 基于深度学习的多特征融合高光谱遥感地物分类方法 | |
| Tu et al. | Multiattribute sample learning for hyperspectral image classification using hierarchical peak attribute propagation | |
| Wan et al. | Mixed local channel attention for object detection | |
| CN111639697A (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN111680579A (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
| CN114863266A (zh) | 一种基于深度时空模式交互网络的土地利用分类方法 | |
| CN114049567B (zh) | 自适应软标签生成方法以及在高光谱图像分类中的应用 | |
| Wang et al. | Spectral-spatial global graph reasoning for hyperspectral image classification | |
| Hu et al. | Cross-Domain Meta-Learning under Dual Adjustment Mode for Few-Shot Hyperspectral Image Classification | |
| Jiang et al. | Noise interference reduction in vision module of intelligent plant cultivation robot using better Cycle GAN | |
| Lv et al. | Multi-scale attentive region adaptive aggregation learning for remote sensing scene classification | |
| Li et al. | Remote sensing image scene classification model based on dual knowledge distillation | |
| Sheshappanavar et al. | Local neighborhood features for 3d classification | |
| CN114219989A (zh) | 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法 | |
| CN109934292B (zh) | 基于代价敏感性辅助学习的不平衡极化sar地物分类方法 | |
| Zhang et al. | Fast inspection and accurate recognition of target objects for astronaut robots through deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |