CN114187528A - 基于多示例空谱信息联合提取的高光谱目标检测方法 - Google Patents

基于多示例空谱信息联合提取的高光谱目标检测方法 Download PDF

Info

Publication number
CN114187528A
CN114187528A CN202111427120.6A CN202111427120A CN114187528A CN 114187528 A CN114187528 A CN 114187528A CN 202111427120 A CN202111427120 A CN 202111427120A CN 114187528 A CN114187528 A CN 114187528A
Authority
CN
China
Prior art keywords
network
packet
spectrum information
target
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111427120.6A
Other languages
English (en)
Other versions
CN114187528B (zh
Inventor
张修社
韩春雷
孙晓龙
逯皓帆
亓子龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 20 Research Institute
Original Assignee
CETC 20 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 20 Research Institute filed Critical CETC 20 Research Institute
Priority to CN202111427120.6A priority Critical patent/CN114187528B/zh
Publication of CN114187528A publication Critical patent/CN114187528A/zh
Application granted granted Critical
Publication of CN114187528B publication Critical patent/CN114187528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供了一种基于多示例空谱信息联合提取的高光谱目标检测方法，在多示例的框架基础上，通过构建正负样本对获得平衡分布的样本，之后将样本对输入空谱信息联合提取网络，并通过使用分类损失对网络进行约束，使得网络能够朝着正确的方向进行优化；通过在每个数据包中设置任意的像素数来构建正负样本对，并通过逐像素的测试得到该像素对于目标的置信度。本发明有效的避免因高光谱数据特殊性导致的过拟合问题，使得目标检测效果更好，使用的网络是一种直接对像素进行分类的端到端的网络结构，且能够适应包中包含不同示例个数的情况，使得测试的时候可以直接输入单个像素得到单个像素的置信度，因此具有较强的泛用性。

Description

基于多示例空谱信息联合提取的高光谱目标检测方法
技术领域
本发明涉及图像处理技术领域，尤其是一种高光谱目标检测方法，可用于爆炸物检测、农作物精细分类。
背景技术
高光谱图像由于具有丰富的时空信息，近年来在爆炸物检测、农作物精细分类等各个领域得到了广泛的应用。然而，由于传感器的精度问题，高光谱图像中标记为目标的像素，在地面真值中不一定存在目标，而是表明目标存在于包括该像素在内的一定范围的空间中。此外，由于背景复杂多样，且多数情况下目标数目远小于背景数目，使得高光谱图像的目标检测成为难点。
多示例学习起源于药物活性检测，随着其应用的日益广泛，目前被认为是除有监督学习、无监督学习和强化学习以外的一种新的机器学习框架。不同于有监督学习的精确标记，多示例学习的训练样本以数据包的形式存在。若一个数据包被标记为正包，则说明该数据包至少包括一个正示例；若一个数据包被标记为负包，则说明该数据包不包含正示例。问题的核心就是通过不精确标记的样本尝试得到精确的判断。这种特性使得多示例学习逐渐在图像检索、文本分类、目标检测等各个领域得到了广泛的应用。因此将高光谱不精确标记下的目标检测问题建模为多示例问题，近年来逐渐成为研究的热点。
近年来，对于高光谱目标的检测有不少学者进行了相关的研究：
2014年，武汉大学的张良培教授团队使用了一种将有监督测度学习用于高光谱目标检测的方法，该方法通过引入包含有监督距离最大化的目标函数来最大化正样本和负样本之间的距离，并添加了样本相似性的约束，降低了高光谱目标检测的虚警率。
2018年，Du和Li通过构造像素对之差，利用CNN网络提取中心像素和周围像素的高层特征差异将目标检测问题转化为分类问题，以此使用CNN强大的特征提取能力来进行检测。
2019年，Liu和Wang等人从空间和光谱两方面将动态随机共振引入到高光谱图像的阴影区域增强中，并使用2D卷积神经网络2D-CNN对增强后的高光谱图像进行分类，以实现目标检测。
上述这些方法，结合了机器学习和深度学习技术，性能相较于传统的方法有一定的提升，但是这些方法对于数据有较高的要求。而高光谱数据往往存在数据中目标不足的问题，即待检测目标在场景中较少出现甚至没有，这样会导致在数据分配时的目标不平衡问题。使用这些数据训练上述方法中的模型易出现过拟合现象，导致检测效果下降。
发明内容
为了克服现有技术的不足，本发明提供一种基于多示例空谱信息联合提取的高光谱目标检测方法，以通过构造正负样本对的方式获得平衡分布的样本，避免由于目标不足带来的过拟合，提高检测效果。
本发明的技术思路是：在多示例的框架基础上，通过构建正负样本对获得平衡分布的样本，之后将样本对输入空谱信息联合提取网络，并通过使用分类损失对网络进行约束，使得网络能够朝着正确的方向进行优化；通过在每个数据包中设置任意的像素数来构建正负样本对，并通过逐像素的测试得到该像素对于目标的置信度。
本发明解决其技术问题所采用的技术方案包括如下步骤：
(1)获取数据集：
(1a)从ASTER光谱库中挑选光谱范围在0.4μm到2.5μm的仿真数据集和真实高光谱数据集分别作为真实数据集和仿真数据集，并分别将两个数据集其中的的80％作为训练集，20％作为测试集；
(1b)对于每一张高光谱图像，将目标像素块切割出来作为正包，原图用零填补，然后用滑窗取块的方式构造负包；
(2)搭建一个由光谱特征提取模块、像素块空间特征提取模块、分类器级联组成的多示例空谱信息联合提取网络；其中，光谱特征提取模块为一个一维卷积层和一个归一化层，像素块空间特征提取模块为一个长短时记忆网络，分类器为一个示例级别分类器和包级别分类器；
(3)对多示例空谱信息联合提取网络进行迭代训练；
(3a)设置网络训练的最大迭代次数E，初始学习率Lr，对比损失中的阈值t和批量大小B；
(3b)将步骤(1a)构造好的数据包输入到多示例空谱信息联合提取网络，提取光谱特征，并对提取到光谱特征进行归一化，得到特征提取后的特征集合VIN；
(3c)将特征集合VIN中的元素输入长短时记忆网络LSTM，得到空间特征提取后的特征集合VLSTM；
(3d)将特征集合VLSTM输入分类器，得到每个示例属于目标的置信度S；
(3e)将每个示例属于目标的置信度S输入一个最大池化层组成的包级别分类器，通过最大池化操作得到该数据包属于目标的置信度Smax；
(3f)根据包的目标置信度与包的标签，使用交叉熵损失函数计算损失Loss；
(3i)依据交叉熵损失Loss进行反向传播，利用损失Loss对各个模型参数的梯度值更新网络参数；
(3j)重复步骤(3b)～(3i)，直到达到最大迭代次数E，输出最终的模型作为训练好的多示例空谱特征提取网络；
(4)利用步骤(3j)训练好的网络模型对测试集数据进行单点测试，去掉网络中的包级别分类器，输出每个像素属于目标的置信度。
本发明的有益效果在于：
1)目标检测结果更好
本发明由于采用多示例空谱特征提取网络专注于提取像素更加本质的光谱特征，并且使用了像素之间的空间特征，这样可以使得目标像素和非目标像素更加有区分度；同时由于本发明使用多示例学习的方法，使用平衡的样本对进行训练，有效的避免因高光谱数据特殊性导致的过拟合问题，使得目标检测效果更好。
2)具有较强的泛用性
本发明中使用的网络是一种直接对像素进行分类的端到端的网络结构，且能够适应包中包含不同示例个数的情况，使得测试的时候可以直接输入单个像素得到单个像素的置信度，因此具有较强的泛用性。
附图说明
图1是本发明的实现流程图。
图2是本发明中构建的多示例空谱特征提取网络结构示意图。
图3是本发明训练网络时的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
参照图1，本发明的实现步骤如下：
步骤1.准备数据集。
(1.1)从ASTER光谱库中挑选光谱范围在0.4μm到2.5μm的仿真数据集和真实高光谱数据集，并将其80％作为训练集，20％作为测试集集；
(1.2)对于每一张高光谱图像，将目标像素块切割出来作为正包，原图用零填补，然后用滑窗取块的方式构造负包；
步骤2.搭建一个多示例空谱信息联合提取网络。
(2.1)建立光谱特征提取模块
光谱特征提取模块，用于提取输入像素块中各个像素独立的光谱特征，并将每个像素特征进行归一化，以提高训练速度，增强模型的泛用性，其由一个深度一维卷积层、一个示例归一化层级联构成；
(2.2)建立空间特征提取模块
空间特征提取模块，由一个长短时记忆LSTM构成，用于得到经过光谱特征提取后每个像素之间的空间特征可对正包中目标和背景的混合信息进行过滤和增强，使得训练过程中网络能够学习到目标类别的最有区分性的特征，从而解决了标注的不确定性问题；
(2.3)建立分类器
分类器，包含示例级别的分类器和包级别的分类器，示例级别的分类器由一个激活函数为Sigmoid的全连接层组成，用于对经过特征提取后的示例进行分类，包级别的分类器为在示例级别分类器后添加一个全局池化层构成，用于得到包中最高示例的置信度，以此来作为包的类别；
(2.4)将上述模块和分类器依次级联，得到结构为：光谱特征提取模块→空间特征提取模块→分类器的多示例空谱信息联合提取网络，如图2所示。
步骤3.对多示例空谱信息联合提取网络进行迭代训练。
参照图3，多示例空谱信息联合提取网络训练时的流程如下：
(3.1)设置网络训练的最大迭代次数E，初始学习率Lr，对比损失中的阈值t，批量大小B；
(3.2)将构造好的数据包输入到多示例空谱信息联合提取网络，进行光谱特征和归一化，得到特征提取后的特征集合VIN；
Figure BDA0003379013050000051
其中，下标ij表示对应于第i个包的第j个示例，
Figure BDA0003379013050000052
为第i个包的第j个示例经过光谱特征提取后的特征集合，Vimean表示第i个包的光谱特征平均，Vivar表示第i个包的光谱特征方差。
(3.3)将进过光谱特征提取和归一化后的特征集合VIN按像素顺序输入长短时记忆网络LSTM，得到空间特征提取后的特征集合VLSTM；
Figure BDA0003379013050000053
其中，fF、fI和fO分别表示长短时记忆网络LSTM的遗忘门、输入门和输出门，
Figure BDA0003379013050000054
代表了LSTM的隐状态中间变量，由LSTM前一个时间步的隐藏层输出和当前时间步的输入构成。
(3.4)将经过空间特征提取后的特征集合VLSTM输入分类器，得到每个示例属于目标的置信度S；
Figure BDA0003379013050000055
其中Wj Dense和
Figure BDA0003379013050000057
分别代表第j个示例对应的多示例空谱信息联合提取网络分类器中的权重和偏置，
Figure BDA0003379013050000058
为第i个包的第j个示例经过空间特征提取后的特征集合。
(3.5)将集合中每个示例属于目标的置信度S输入包级别分类器，得到该数据包属于目标的置信度Smax；
Si＝max(Sij)
其中Sij为第i个包的第j个示例属于目标的置信度。
(3.6)根据包的目标置信度与包的标签计算损失Loss；
Figure BDA0003379013050000059
其中，P为总的包数，Yi为第i个包对应的标签，Si＝max(Sij)为第i个包对目标置信度的预测值。
(3.7)依据最终的损失Loss进行反向传播，以此更新网络参数，更新后的网络参数为
Figure BDA0003379013050000061
其中θ为待更新的网络参数，Lr为预设的学习率；；
(3.8)重复(3.2)～(3.7)，直到达到最大迭代次数E，输出最终的模型作为训练好的多示例空谱特征提取网络；
步骤4.用训练好的多示例空谱特征提取网络对测试集数据进行单点测试，输出每个像素属于目标的置信度，完成对高光谱目标的检测。
本发明的效果可通过以下仿真进一步说明。
仿真环境：所使用的配置为1.60GHz的Intel i5-8250 CPU，显存为8GB，仿真环境为Ubuntu16.04下的Pycharm平台，采用的深度学习框架是Keras2.1，Python版本为3.6,显卡为GeForce GTX 1080。
仿真内容：
仿真1，利用上述环境，用本发明和现有的5种高光谱目标检测方法对在ASTER数据集中挑选出光谱范围在0.4μm到2.5μm的数据集进行仿真测试，在仿真数据集上进行实验时，初始学习率设置为0.0005，最大迭代次数设置为100，batch size的大小设置为128，仿真得到在三个平均目标光谱比例值Pt下的AUC指标，如表1所示。
表1
Figure BDA0003379013050000062
表1中，MILES是一种基于嵌入空间的多示例算法；MIForests是基于包水平的多示例算法；MIACE是一种多示例自适应余弦估计器；MISMF为多示例光谱匹配滤波器；mi-Net是一种通过全连接神经网络计算实例得分从而获取包的得分的方法。
由表1可知，本发明相较于常规的一些方法在三种不同Pt值对应的AUC均更高。
仿真2，在真实高光谱数据集MUUFL Gulfport上进行训练，初始学习率设置为0.0005，最大迭代次数设置为100，批量大小B设置为256，特征损失函数中的阈值t设置为3.0。用本发明和现有的5种高光谱目标检测方法在该真实高光谱数据集上进行仿真测试，真实高光谱数据分为Brown、DG、FVG、PG四种目标以及将四种目标看作一种目标时的AllTypes共五种目标检测场景，当检测其中某种目标时，其余目标将被看作不同于目标像素和背景像素的多余数据舍去。得到在这五种目标下检测的NAUC指标，如表2所示：
表2
Figure BDA0003379013050000071
由表2可知，本发明相较于常规的一些方法在FVG和PG目标以及将四种目标看作一种目标时检测对应的NAUC均更高，表明本发明相较于常规方法在真实数据集上具有更好的检测效果。

Claims (7)

1.一种基于多示例空谱信息联合提取的高光谱目标检测方法，其特征在于包括下述步骤：
(1)获取数据集：
(1a)从ASTER光谱库中挑选光谱范围在0.4μm到2.5μm的仿真数据集和真实高光谱数据集分别作为真实数据集和仿真数据集，并分别将两个数据集划分为训练集和测试集；
(1b)对于每一张高光谱图像，将目标像素块切割出来作为正包，原图用零填补，然后用滑窗取块的方式构造负包；
(2)搭建一个由光谱特征提取模块、像素块空间特征提取模块、分类器级联组成的多示例空谱信息联合提取网络；其中，光谱特征提取模块为一个一维卷积层和一个归一化层，像素块空间特征提取模块为一个长短时记忆网络，分类器为一个示例级别分类器和包级别分类器；
(3)对多示例空谱信息联合提取网络进行迭代训练；
(4)利用步骤(3j)训练好的网络模型对测试集数据进行单点测试，去掉网络中的包级别分类器，输出每个像素属于目标的置信度。
2.根据权利要求1所述的基于多示例空谱信息联合提取的高光谱目标检测方法，其特征在于：
所述步骤(1a)中，分别将真实数据集和仿真数据集中的80％作为训练集，20％作为测试集。
3.根据权利要求1所述的基于多示例空谱信息联合提取的高光谱目标检测方法，其特征在于：
所述对多示例空谱信息联合提取网络进行迭代训练的具体步骤为：
(3a)设置网络训练的最大迭代次数E，初始学习率Lr，对比损失中的阈值t和批量大小B；
(3b)将步骤(1a)构造好的数据包输入到多示例空谱信息联合提取网络，提取光谱特征，并对提取到光谱特征进行归一化，得到特征提取后的特征集合VIN；
(3c)将特征集合VIN中的元素输入长短时记忆网络LSTM，得到空间特征提取后的特征集合VLSTM；
(3d)将特征集合VLSTM输入分类器，得到每个示例属于目标的置信度S；
(3e)将每个示例属于目标的置信度S输入一个最大池化层组成的包级别分类器，通过最大池化操作得到该数据包属于目标的置信度Smax；
(3f)根据包的目标置信度与包的标签，使用交叉熵损失函数计算损失Loss；
(3i)依据交叉熵损失Loss进行反向传播，利用损失Loss对各个模型参数的梯度值更新网络参数；
(3j)重复步骤(3b)～(3i)，直到达到最大迭代次数E，输出最终的模型作为训练好的多示例空谱特征提取网络。
4.根据权利要求3所述的基于多示例空谱信息联合提取的高光谱目标检测方法，其特征在于：
所述特征提取后的特征集合VIN；
Figure FDA0003379013040000021
其中，下标ij表示对应于第i个包的第j个示例，
Figure FDA0003379013040000022
为第i个包的第j个示例经过光谱特征提取后的特征集合，Vimean表示第i个包的光谱特征平均，Vivar表示第i个包的光谱特征方差。
5.根据权利要求3所述的基于多示例空谱信息联合提取的高光谱目标检测方法，其特征在于：
所述特征集合VLSTM为：
Figure FDA0003379013040000023
其中，fF、fI和fO分别表示长短时记忆网络LSTM的遗忘门、输入门和输出门，
Figure FDA0003379013040000024
代表了LSTM的隐状态中间变量，由LSTM前一个时间步的隐藏层输出和当前时间步的输入构成。
6.根据权利要求3所述的基于多示例空谱信息联合提取的高光谱目标检测方法，其特征在于：
所述置信度S为：
Figure FDA0003379013040000031
其中
Figure FDA0003379013040000032
和
Figure FDA0003379013040000033
分别代表第j个示例对应的多示例空谱信息联合提取网络分类器中的权重和偏置，
Figure FDA0003379013040000034
为第i个包的第j个示例经过空间特征提取后的特征集合。
7.根据权利要求3所述的基于多示例空谱信息联合提取的高光谱目标检测方法，其特征在于：
所述损失Loss为：
Figure FDA0003379013040000035
其中，P为总的包数，Yi为第i个包对应的标签，Si＝max(Sij)为第i个包对目标置信度的预测值。
CN202111427120.6A 2021-11-28 2021-11-28 基于多示例空谱信息联合提取的高光谱目标检测方法 Active CN114187528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111427120.6A CN114187528B (zh) 2021-11-28 2021-11-28 基于多示例空谱信息联合提取的高光谱目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111427120.6A CN114187528B (zh) 2021-11-28 2021-11-28 基于多示例空谱信息联合提取的高光谱目标检测方法

Publications (2)

Publication Number Publication Date
CN114187528A true CN114187528A (zh) 2022-03-15
CN114187528B CN114187528B (zh) 2022-12-23

Family

ID=80602825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111427120.6A Active CN114187528B (zh) 2021-11-28 2021-11-28 基于多示例空谱信息联合提取的高光谱目标检测方法

Country Status (1)

Country Link
CN (1) CN114187528B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688968A (zh) * 2019-09-30 2020-01-14 西安电子科技大学 基于多示例深度卷积记忆网络的高光谱目标检测方法
CN112766161A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于集成约束多示例学习的高光谱目标检测方法
CN113313185A (zh) * 2021-06-09 2021-08-27 西北工业大学 一种基于自适应空谱特征提取的高光谱图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688968A (zh) * 2019-09-30 2020-01-14 西安电子科技大学 基于多示例深度卷积记忆网络的高光谱目标检测方法
CN112766161A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于集成约束多示例学习的高光谱目标检测方法
CN113313185A (zh) * 2021-06-09 2021-08-27 西北工业大学 一种基于自适应空谱特征提取的高光谱图像分类方法

Also Published As

Publication number Publication date
CN114187528B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN111553193B (zh) 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN106845529B (zh) 基于多视野卷积神经网络的影像特征识别方法
Bendale et al. Towards open set deep networks
CN108764173B (zh) 基于多类生成对抗网络的高光谱图像分类方法
CN108648191B (zh) 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN108846426B (zh) 基于深度双向lstm孪生网络的极化sar分类方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN109190643A (zh) 基于卷积神经网络中药识别方法及电子设备
CN104239902B (zh) 基于非局部相似性和稀疏编码的高光谱图像分类方法
CN114564982B (zh) 雷达信号调制类型的自动识别方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN104732244A (zh) 基于小波变换、多策略pso和svm集成的遥感图像分类方法
CN105069478A (zh) 基于超像素张量稀疏编码的高光谱遥感地物分类方法
CN104700100A (zh) 面向高空间分辨率遥感大数据的特征提取方法
CN109711461A (zh) 基于主成分分析的迁移学习图片分类方法及其装置
CN110688968A (zh) 基于多示例深度卷积记忆网络的高光谱目标检测方法
CN111144566A (zh) 神经网络权重参数的训练方法、特征分类方法及对应装置
CN113901448A (zh) 基于卷积神经网络和轻量级梯度提升机的入侵检测方法
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning
CN107273919A (zh) 一种基于置信度构造类属字典的高光谱无监督分类方法
CN113723482B (zh) 基于多示例孪生网络的高光谱目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant