CN110287869B - 基于深度学习的高分辨率遥感影像农作物分类方法 - Google Patents
基于深度学习的高分辨率遥感影像农作物分类方法 Download PDFInfo
- Publication number
- CN110287869B CN110287869B CN201910551686.6A CN201910551686A CN110287869B CN 110287869 B CN110287869 B CN 110287869B CN 201910551686 A CN201910551686 A CN 201910551686A CN 110287869 B CN110287869 B CN 110287869B
- Authority
- CN
- China
- Prior art keywords
- size
- remote sensing
- padding
- layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 48
- 230000004913 activation Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 7
- 235000006679 Mentha X verticillata Nutrition 0.000 claims description 6
- 235000002899 Mentha suaveolens Nutrition 0.000 claims description 6
- 235000001636 Mentha x rotundifolia Nutrition 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000011835 investigation Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 241000209094 Oryza Species 0.000 description 6
- 235000007164 Oryza sativa Nutrition 0.000 description 6
- 235000009566 rice Nutrition 0.000 description 6
- 244000068988 Glycine max Species 0.000 description 4
- 235000010469 Glycine max Nutrition 0.000 description 4
- 240000008042 Zea mays Species 0.000 description 4
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 4
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 235000005822 corn Nutrition 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的高分辨率遥感影像农作物分类方法，属于卫星遥感图像处理与应用的技术领域。本发明目的是解决现有高分辨率遥感影像在对农作物分类中存在的地物边界模糊、算法复杂度高与忽略特征波段信息等缺点，以及目前神经网络方法无法对高分辨率遥感图像进行农作物分类的问题。本发明采用36波段的组合方式，结合本发明所设计分VGG神经网络结果，利用VGG神经网络的深度学习，通过多次迭代达到了对10m分辨率的高分辨遥感影像中的农作物地块进行准确的分类。
Description
技术领域
本发明属于卫星遥感图像处理与应用的技术领域。
背景技术
农作物分类信息的获取在农业资源调查、土地利用现状分析、农作物估产和灾害评估等诸多领域中都具有十分重要的意义，近年来也成为了遥感领域的研究热点之一。在诸多遥感图像的分类方法中，基于深度学习的图像分类方法自提出以来就备受关注，它为图像的识别与分类开拓了新的方向。近年来，国内外的研究学者提出了许多基于深度学习的图像分类方法。代表研究如下：
不同于传统的图像分类方法，神经网络算法的加入对图像分类准确率有明显提高， Krizhevsky等人提出训练CNN模型运用于图像的分类，并在ImageNet比赛中取得了很好的分类结果(参见Krizhevsky A,Sutskever I,Hinton G E,"Imagenet classificationwith deep convolutional neural networks,"Advances in neural informationprocessing systems,1097-1105 (2012))。Chen等人用DBN模型提取高分辨率遥感影像中的飞机，利用DBN能够学习特征和利用BP调整参数的特点证实了比传统特征分类器的提取方法更好(参见Chen X,Xiang S, Liu C L,"Aircraft detection by deep beliefnets,"20132nd IAPR Asian Conference on Pattern Recognition.IEEE,54-58(2013))。Romero等人提出非监督的神经网络用于对高光谱遥感影像的分析，避免了有监督方法训练时高光谱影像的Hudge现象和小样本造成的过拟合问题，但是相比监督分类不能有效地提取影像特征(参见Romero A,Gatta C,Camps-Valls G, "Unsupervised deep featureextraction for remote sensing image classification,"IEEE Transactions onGeoscience and Remote Sensing,54(3):1349-1362(2016))。Chen等人提出了有监督的3D-CNN模型能够同时提取影像的光谱和空间特征，使分类精度进一步提升(参见Chen Y,Jiang H,Li C,"Deep feature extraction and classification of hyperspectralimages based on convolutional neural networks,"IEEE Transactions onGeoscience and Remote Sensing,54(10): 6232-6251(2016))。Marco Castelluccio等人对比了GoogLeNet与CaffeNet对遥感影像进行分类(参见Castelluccio M,Poggi G,Sansone C,"Land use classification in remote sensing images by convolutionalneural networks,"arXiv preprint arXiv:1508.00092(2015))。Chen等人提出用全卷积网络对SAR影像进行自动目标识别和分类,有效地缓解了由于样本有限造成的过拟合问题(参见Chen S,Wang H,Xu F,"Target classification using the deep convolutionalnetworks for SAR images,"IEEE Transactions on Geoscience and Remote Sensing,54(8):4806-4817(2016))。Xiaodong Xu等人将CNN应用到多源遥感数据中，实现结果的精确分类(参见Xu X,Li W,Ran Q,"Multisource remote sensing data classificationbased on convolutional neural network,"IEEE Transactions on Geoscience andRemote Sensing,56(2):937-949(2018))。随着深度学习的不断发展，神经网络逐渐被应用到遥感影像中，包括建筑物提取，目标检测与土地利用等方面。
目前为止，国内外研究学者提出了很多遥感图像分类算法，但仍然存在一些缺陷：(1)算法复杂度高；(2)忽略特征波段的影响；(3)地物之间边界模糊。基于深度学习的遥感图像分类方法在农作物的分类中具备优势，可以在某些程度上克服这些缺点，但目前主要是针对空间分辨率是10米级别的多光谱遥感影像进行处理，分辨率在1m以下的高分辨率遥感影像采用神经网络进行农作物分类的方法在国内外未见报道。
发明内容
为了解决现有高分辨率遥感影像在对农作物分类中存在的地物边界模糊、算法复杂度高与忽略特征波段信息等缺点，以及目前神经网络方法无法对高分辨率遥感图像进行农作物分类的问题，本发明采用一种基于深度学习的遥感影像农作物分类算法，能够快速、有效地获取到高分辨率遥感卫星影像中的农作物分类信息。
本发明采用的技术方案具体步骤取下：
步骤一、影像预处理：获取到的高分辨率遥感影像是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正，然后对处理好的遥感图像进行图像剪裁选取需要的图像区域。
(a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、反射率或者表面温度等物理量的处理过程。辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)能自动从元数据文件中读取参数，从而完成辐射定标。
(b)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH) 来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。
(c)图像剪裁用于获得感兴趣的区域(ROI)。
步骤二、图像分割：对获取到的高分辨率遥感影像的各特征波段进行分割操作。采用 Felzenszwalb分割算法，对图像进行分割操作，各地物之间的边界变得清晰。
该算法是将图像用加权图抽象化表示，图G(Graph)是由顶点集V(vertices)和边集E(edges) 组成，表示为G＝(V,E)，顶点v∈V，把图像中的每个像素或每个区域看成图的一个顶点，连接一对顶点的边(vi,vj)具有权重w(vi,vj)，边的权值代表该条边所连接的两个顶点的颜色特征差异，在该算法中的意义为顶点之间的不相似度。图像分割的具体实现方法：
(a)计算每一个像素点与其4邻域(不包括对角线上的像素点)或8邻域的不相似度，不相似度即它们之间的权重。
(b)将一对顶点的边按照不相似度从小到大排序得到e1,e2,...,eN，选出不相似度最小的边并将其合并到一个分割里面。
(c)对当前选择的边en(n＝2,3,...,N)进行合并判断。设其所连接的顶点为(vi,vj)。需要满足的合并条件：
①vi与vj不属于同一区域即Id(vi)≠Id(vj)；Id(vi)与Id(vj)代表vi与vj所在区域；
②不相似度不大于二者内部的不相似度，即w(vi,vj)≤MInt(Ci,Cj)；
Int(C)为类内差异，
其中，最小生成树(MST)是一种特殊的树，给定需要连接的顶点，选择边权之和最小的树；MInt(Ci,Cj)表示最小的类内差异性，Ci与Cj代表任意两个区域，。
(d)更新阈值与类标号。
①更新类标号：将Id(vi)与Id(vj)的类标号统一为Id(vi)的标号。
②更新该类的不相似度阈值为：
(e)如果n≤N(n＝2,3,...,N)，则按照排好的顺序，选择下一条边转到步骤(c)，否则结束。
步骤三、高分辨率遥感影像的特征波段组合：针对多时相遥感影像的波段信息进行特征波段组合，提出一种36波段的组合方式。
基于36波段的特征波段组合里包括3景的多时相遥感影像中的红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数(NDVI)、归一化水指数(NDWI) 和差值植被指数(DVI)；
其中，归一化植被指数的缩写是NDVI，该指数是反映农作物长势与营养信息的重要参数之一，NDVI的公式如式(1)所示：
NDVI＝(NIR-R)/(NIR+R) (1)
其中，NIR为近红外波段的反射值，R为红光波段的反射值。
归一化水指数的缩写是NDWI,一般用来提取影像中的水体信息，效果较好。该指数同样可以用来对水稻进行识别，提高水稻的分类准确度。NDWI的公式如式(2)所示：
NDVI＝(NIR-R)/(NIR+R) (2)
其中，G为绿光波段的反射值，NIR为近红外波段的反射值。
差值植被指数的缩写是DVI,该指数可以用来检测植被生长状态、植被覆盖度和消除部分辐射误差等。DVI的公式如式(3)所示：
DVI＝NIR-R (3)
其中，NIR为近红外波段的反射值，R为红光波段的反射值。
步骤四、训练集的选取：在获取到的遥感影像中根据实地考察结果和不同的作物类型表现出不同的光谱特征，为不同的作物类型选择出符合光谱特征的训练样本，并基于像素点分类，其中80％的像素点进行训练，20％的像素点进行测试。
训练数据的选取对模型精度是有很大影响的，一般从两个方面考虑，一方面是训练样本的质量，另一方面是样本数量。
(a)样本质量
样本质量是指训练样本能反映总体分布的程度，或者说是整个训练样本所能提供的信息量，它将对神经网络模型的泛化能力有很大的影响。训练样本选取后若存在奇异值，即训练样本值之间的差异较大，可以通过归一化处理来保证参数变化范围的一致性；样本分布如果不正常，考虑对变量进行压缩式变换。
(b)样本数量
样本数量是指训练某个神经网络所需的样本数，样本数目对网络性能起重要作用。训练样本数量不能过少，可能会导致网络在训练时不能收敛；训练样本的数量同样不能过多，会导致训练时发生过拟合。一般来说，当训练样本不够，不能更好学习特征的时候，可以通过数据增强的方法扩充原始的样本数据集。数据增强在图像深度学习中可以更好的提取图像特征，使模型的泛化能力增强，即可以防止模型的过拟合。图像增强手段包括图像旋转、扭曲图像特征、改变图像尺寸大小、增强图像噪音等。
步骤五、神经网络分类算法：采用VGG算法对36个特征波段组合的遥感影像进行分类，得到农作物的分类结果。
VGG算法的网络结构中包括输入层、连续的卷积层、池化层、全连接层与输出层。VGG 算法中选择连续的卷积核替代较大的卷积核以获得网络深度的提升，经过1500次迭代达到高精度要求。
输出特征图大小的计算方式有两种，一种是padding＝'SAME'，另一种是padding＝'VALID'。若采用'SAME'方式，
若采用'VALID'方式，
其中，win是输入特征图边的大小，wout是输出特征图边的大小， padding为特征图填充的圈数，strides代表步长，kernel_size代表内核大小。
所述的VGG网络结构如下：
(a)VGG网络的第0层为输入层，输入图像大小为6×6×1，分别代表了高分辨率遥感影像的36个波段。
(b)输入层之后为VGG网络的第一部分；VGG网络的第一部分由两个相同的连续的卷积层Conv2D、激活层Activation和池化层MaxPool2D组成，卷积层设定的参数如下：
滤波器的个数filters＝64，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为6×6×64，
两个相同的连续的卷积层Conv2D之后为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool2D，池化层参数如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为3×3×64。
(c)VGG网络的第二部分由两个相同的连续的卷积层、激活层和池化层组成，卷积层参数具体如下：
滤波器的个数filters＝128，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为3×3×128，
激活层使用的激活函数是Relu，
池化层参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝2，
池化方式为最大池化，
(d)VGG网络的第三部分由三个相同的连续的卷积层、激活层和池化层组成；卷积层参数具体如下：
滤波器的个数filters＝256，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为2×2×256，
激活层使用的激活函数是Relu，
池化层的参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
(e)VGG网络的第四部分由两个连续的全连接层Dense组成，两个全连接层Dense的神经元个数均为1024个，其中，第一个全连接层Dense的输入个数为1×1×256，经扁平化后变为 1×256，权重系数w为256×1024，偏置b为1024，输出个数为1×1024；第二个全连接层Dense的输入个数为1×1024，权重系数w为1024×1024，偏置b为1024，输出个数为1×1024；
(f)构建VGG网络的第5部分；其中，第5部分为输出层，神经元个数是4个，输入个数为1×1024，权重系数为1024×4，偏置b为4，输出个数为4，输出的结果为四类作物的可能概率，概率值最大的索引值对应该像素点的作物分类。
本发明的有益效果：
本发明将预处理后的遥感影像特征波段先进行分割，然后组合特征波段并通过神经网络进行农作物的分类，比较精确的对遥感影像中不同的农作物进行识别，解决了传统遥感图像分类算法中忽略特征波段、地物边界模糊与算法复杂度高的缺点。本发明考虑到地物之间的边界信息，同时考虑到不同的特征波段农作物具有不同的响应情况，提出了上述特征波段的组合并通过VGG网络分类，获得更准确的农作物分类结果。本发明方法能自动、高效地从高分辨率卫星遥感影像中识别出不同的作物类型，为农业资源调查、土地利用现状分析、农作物估产等诸多领域提供一定的技术支持。
附图说明
图1是本发明使用的研究区。
图2是本发明基于深度学习的高分辨率遥感影像农作物分类方法的流程图。
图3是本发明实施例1的近红波段分割图。
图4是本发明实施例1的VGG网络结构图。
图5是本发明实施例1的VGG在不同迭代次数下训练精度的变化情况。
图6是本发明实施例1的VGG网络在36个特征波段组合下的分类结果。
具体实施方式
实施例1：
采用VGG网络对36个特征波段的组合进行分类，如表1所示，采用多时相的Sentinel-2 影像作为实验数据，Sentinel-2数据具有不同的波段分辨率，分别是10m、20m、60m，本文使用的数据均重采成统一的10m分辨率。包含3景数据，获取时间分别为2017年6月15日、 2017年7月18日、2017年9月11日。实验区位于吉林省长春市石头口门水库附近(图1)，周边的农作物种植茂密，多为水稻、玉米、大豆等东北常见作物。通过野外观测与专家解译的方式获得该实验区的验证数据，并以此结果作为标准。
表1
| Sentinel-2波段 | 中心波长(um) | 分辨率(m) |
| B1-海岸/气溶胶波段 | 0.443 | 60 |
| B2-蓝波段 | 0.49 | 10 |
| B3-绿波段 | 0.56 | 10 |
| B4-红波段 | 0.665 | 10 |
| B5-红边波段 | 0.705 | 20 |
| B6-红边波段 | 0.74 | 20 |
| B7-红边波段 | 0.783 | 20 |
| B8-近红外波段 | 0.842 | 10 |
| B8A-近红波段 | 0.865 | 20 |
| B9-水蒸气波段 | 0.945 | 60 |
| B10-短波红外波段 | 1.375 | 60 |
| B11-短波红外波段 | 1.61 | 20 |
| B12-短波红外波段 | 2.19 | 20 |
步骤一：影像预处理
获取到的高分辨率Sentinel-2数据是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正，并对处理好的遥感图像进行图像剪裁选取需要的图像区域。
(a)辐射定标：利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)完成数字量化值(DN)到辐射亮度值的转化。
(b)大气校正：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差。
(c)通过图像剪裁获得感兴趣的区域(ROI)。
步骤二、图像分割
利用Felzenszwalb算法对需要用到的Sentinel-2数据特征波段进行分割处理，突出地物之间的边界信息。以2017年7月18日的Sentinel-2数据的近红波段分割图为例(图3)。图像分割的实现方法：
(a)计算每一个像素点与其4邻域(不包括对角线上的像素点)或8邻域的不相似度，不相似度即它们之间的权重。
(b)将一对顶点的边按照不相似度从小到大排序得到e1,e2,...,eN，选出不相似度最小的边并将其合并到一个分割里面。
(c)对当前选择的边en(n＝2,3,...,N)进行合并判断。设其所连接的顶点为(vi,vj)。需要满足的合并条件：
①vi与vj不属于同一区域即Id(vi)≠Id(vj)；Id(vi)与Id(vj)代表vi与vj所在区域；
②不相似度不大于二者内部的不相似度，即w(vi,vj)≤MInt(Ci,Cj)；
Int(C)为类内差异，
其中，最小生成树(MST)是一种特殊的树，给定需要连接的顶点，选择边权之和最小的树；MInt(Ci,Cj)表示最小的类内差异性，Ci与Cj代表任意两个区域。
(d)更新阈值与类标号。
①更新类标号：将Id(vi)与Id(vj)的类标号统一为Id(vi)的标号。
②更新该类的不相似度阈值为：
(e)如果n≤N(n＝2,3,...,N)，则按照排好的顺序，选择下一条边转到步骤(c)，否则结束。
步骤三：高分辨率遥感影像的特征波段组合
使用3景高分辨率的Sentinel-2数据，将红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数(NDVI)、归一化水指数(NDWI)、差值植被指数(DVI) 特征波段组合成36个波段，波段组合情况见表2。
表2
| 波段数目 | 波段组合情况 |
| 36波段 | (B2、B3、B4、B5、B6、B7、B8、B11、B12、NDVI、NDWI、DVI)×3 |
步骤四：训练集的选取，根据遥感影像中不同作物类型表现不同光谱特性，将实验区的作物类型划分为四类，包括水稻、玉米、大豆与城镇。在遥感影像上分别选取不同作物类型的训练样本，选取的训练样本在样本质量与样本数量上均满足要求。基于图像像素点进行分类，其中约12000个像素点进行训练，约3000个像素点进行测试。不同作物类型的光谱特性见表3。
表3
步骤五：VGG算法
选取的VGG网络包括输入层，连续的卷积层加池化层(7个卷积层、3个池化层)，2个全连接层和输出层(图4)。用连续的卷积核来替代较大的卷积核以获得更深的网络。不同迭代次数下VGG网络训练精度的变化情况(图5)，最终选择的迭代次数为1500次。
VGG网络结构如下：
(a)VGG网络的第0层为输入层，输入图像大小为6×6×1，分别代表了高分辨率遥感影像的36个波段。
(b)输入层之后为VGG网络的第一部分；VGG网络的第一部分由两个相同的连续的卷积层Conv2D、激活层Activation和池化层MaxPool2D组成，卷积层设定的参数如下：
滤波器的个数filters＝64，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为6×6×64，
两个相同的连续的卷积层Conv2D之后为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool2D，池化层参数如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为3×3×64。
(c)VGG网络的第二部分由两个相同的连续的卷积层、激活层和池化层组成，卷积层参数具体如下：
滤波器的个数filters＝128，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为3×3×128，
激活层使用的激活函数是Relu，
池化层参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝2，
池化方式为最大池化，
(d)VGG网络的第三部分由三个相同的连续的卷积层、激活层和池化层组成；卷积层参数具体如下：
滤波器的个数filters＝256，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为2×2×256，
激活层使用的激活函数是Relu，
池化层的参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
(e)VGG网络的第四部分由两个连续的全连接层Dense组成，两个全连接层Dense的神经元个数均为1024个，其中，第一个全连接层Dense的输入个数为1×1×256，经扁平化后变为1×256，权重系数w为256×1024，偏置b为1024，输出个数为1×1024；第二个全连接层Dense的输入个数为1×1024，权重系数w为1024×1024，偏置b为1024，输出个数为1×1024；
(f)构建VGG网络的第5部分；其中，第5部分为输出层，神经元个数是4个，输入个数为1×1024，权重系数为1024×4，偏置b为4，输出个数为4，输出的结果为四类作为的可能概率，概率值最大的索引值对应该像素点的作物分类。
VGG网络的参数设置见表4。
表4
VGG网络在36个特征波段组合下的分类结果如图6所示，通过在1m分辨率的GF-2数据上选取验证数据对最终的分类结果进行验证，验证数据的选取是经过野外观测与专家解译的，GF-2影像数据与Sentinel-2影像数据已经事先进行了配准，选取的验证数据如图(a)所示。由于地物类型有限，主要以城镇、水稻、玉米、大豆为主。特征波段已进行分割处理，将多时相遥感影像中的红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数(NDVI)、归一化水指数(NDWI)、差值植被指数(DVI)组合成36个波段送入VGG网络进行农作物分类。得到的分类结果如图(b)所示，分类结果图的边界轮廓体现较好，比较精确的识别出水稻、玉米、大豆与城镇，与实现选好的实测数据进行精度分析，总体精度达到95.1011％，Kappa系数为0.9292。
实验结果：为了说明VGG算法在高分辨率遥感影像分类中的优势，将选择两种在分类中表现良好的机器学习算法随机森林(RF)与支持向量机(SVM)进行对比。传统的机器学习算法在农作物分类中的表现同样优秀，但基于深度学习的高分辨遥感影像农作物分类算法要比传统的机器学习算法分类效果更好，在对相同特征波段组合成的36个波段进行分类时，本发明提出的VGG网络分类算法表现最优，总体分类精度达到95.1011％，然后是支持向量机 (SVM)，总体分类精度为93.2031％，最后是随机森林(RF)，总体分类精度为92.9291％。VGG 算法比传统的机器学习算法在总体精度上提升了约3个百分点，作物之间的错分现象有所改善，并且地物之间的边界更清晰。
Claims (3)
1.基于深度学习的高分辨率遥感影像农作物分类方法，其特征在于，该方法的具体步骤如下：
步骤一、影像预处理：获取到的高分辨率遥感影像是进行过几何精校正的正射影像，对该影像进行辐射定标与大气校正，然后对处理好的遥感图像进行图像剪裁选取需要的图像区域；
步骤二、图像分割：对获取到的高分辨率遥感影像的各特征波段进行分割操作；采用Felzenszwalb分割算法，对图像进行分割操作，各地物之间的边界变得清晰；
步骤三、高分辨率遥感影像的特征波段组合：针对多时相遥感影像的波段信息进行特征波段组合，提出一种36波段的组合方式；
基于36波段的特征波段组合里包括3景的多时相遥感影像中的红波段、绿波段、蓝波段、近红波段、3个红边波段、2个短波红外波段、归一化植被指数NDVI、归一化水指数NDWI和差值植被指数DVI；
所述的归一化植被指数NDVI的公式如式(1)所示：
NDVI＝(NIR-R)/(NIR+R) (1)
其中，NIR为近红外波段的反射值，R为红光波段的反射值；
归一化水指数NDWI的公式如式(2)所示：
NDVI＝(NIR-R)/(NIR+R) (2)
其中，G为绿光波段的反射值，NIR为近红外波段的反射值；
差值植被指数的缩写是DVI的公式如式(3)所示：
DVI＝NIR-R (3)
其中，NIR为近红外波段的反射值，R为红光波段的反射值；
步骤四、训练集的选取：在获取到的遥感影像中根据实地考察结果和不同的作物类型表现出不同的光谱特征，为不同的作物类型选择出符合光谱特征的训练样本，并基于像素点分类，其中80％的像素点进行训练，20％的像素点进行测试；
步骤五、神经网络分类算法：采用VGG算法对36个特征波段组合的遥感影像进行分类，经过1500次迭代后，得到农作物的分类结果；
所述的VGG网络结构如下：
(a)VGG网络的第0层为输入层，输入图像大小为6×6×1，分别代表了高分辨率遥感影像的36个波段；
(b)输入层之后为VGG网络的第一部分；VGG网络的第一部分由两个相同的连续的卷积层Conv2D、激活层Activation和池化层MaxPool2D组成，卷积层设定的参数如下：
滤波器的个数filters＝64，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为6×6×64，
两个相同的连续的卷积层Conv2D之后为激活层Activation，使用的激活函数是Relu，
激活层Activation之后为池化层MaxPool2D，池化层参数如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
即池化层输出特征响应图的尺寸为3×3×64；
(c)VGG网络的第二部分由两个相同的连续的卷积层、激活层和池化层组成，卷积层参数具体如下：
滤波器的个数filters＝128，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为3×3×128，
激活层使用的激活函数是Relu，
池化层参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝2，
池化方式为最大池化，
(d)VGG网络的第三部分由三个相同的连续的卷积层、激活层和池化层组成；卷积层参数具体如下：
滤波器的个数filters＝256，
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝1，
步长strides＝1，
输入图像经过卷积后，
即卷积层输出特征响应图的尺寸为2×2×256，
激活层使用的激活函数是Relu，
池化层的参数具体如下：
内核大小kernel_size＝2，
输出特征图大小的计算方式为padding＝'SAME'，
填充padding＝0，
步长strides＝2，
池化方式为最大池化，
(e)VGG网络的第四部分由两个连续的全连接层Dense组成，两个全连接层Dense的神经元个数均为1024个，其中，第一个全连接层Dense的输入个数为1×1×256，经扁平化后变为1×256，权重系数w为256×1024，偏置b为1024，输出个数为1×1024；第二个全连接层Dense的输入个数为1×1024，权重系数w为1024×1024，偏置b为1024，输出个数为1×1024；
(f)构建VGG网络的第5部分；其中，第5部分为输出层，神经元个数是4个，输入个数为1×1024，权重系数为1024×4，偏置b为4，输出个数为4，输出的结果为四类作物的可能概率，概率值最大的索引值对应该像素点的作物分类。
2.根据权利要求1所述的基于深度学习的高分辨率遥感影像农作物分类方法，其特征在于，步骤一的影像预处理中
(a)辐射定标的方法：辐射定标参数放在元数据文件中，利用完整的遥感图像处理平台的辐射定标工具能自动从元数据文件中读取参数，从而完成辐射定标；
(b)大气校正的方法：利用完整的遥感图像处理平台的大气校正工具来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。
3.根据权利要求1所述的基于深度学习的高分辨率遥感影像农作物分类方法，其特征在于，步骤二中图像分割所采用的Felzenszwalb算法具体步骤如下：
(a)计算每一个像素点与其4邻域或8邻域的不相似度，不相似度即它们之间的权重；4邻域不包括对角线上的像素点；
(b)将一对顶点的边按照不相似度从小到大排序得到e1,e2,...,eN，选出不相似度最小的边并将其合并到一个分割里面；
(c)对当前选择的边en(n＝2,3,...,N)进行合并判断；设其所连接的顶点为(vi,vj)；需要满足的合并条件：
①vi与vj不属于同一区域即Id(vi)≠Id(vj)；Id(vi)与Id(vj)代表vi与vj所在区域；
②不相似度不大于二者内部的不相似度，即w(vi,vj)≤MInt(Ci,Cj)；
Int(C)为类内差异，
其中，最小生成树(MST)是一种特殊的树，给定需要连接的顶点，选择边权之和最小的树；MInt(Ci,Cj)表示最小的类内差异性，Ci与Cj代表任意两个区域；
(d)更新阈值与类标号；
①更新类标号：将Id(vi)与Id(vj)的类标号统一为Id(vi)的标号；
②更新该类的不相似度阈值为：
(e)如果n≤N(n＝2,3,...,N)，则按照排好的顺序，选择下一条边转到步骤(c)，否则结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551686.6A CN110287869B (zh) | 2019-06-25 | 2019-06-25 | 基于深度学习的高分辨率遥感影像农作物分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551686.6A CN110287869B (zh) | 2019-06-25 | 2019-06-25 | 基于深度学习的高分辨率遥感影像农作物分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110287869A CN110287869A (zh) | 2019-09-27 |
| CN110287869B true CN110287869B (zh) | 2022-03-18 |
Family
ID=68005640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910551686.6A Expired - Fee Related CN110287869B (zh) | 2019-06-25 | 2019-06-25 | 基于深度学习的高分辨率遥感影像农作物分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110287869B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021041666A1 (en) * | 2019-08-27 | 2021-03-04 | Indigo Ag, Inc. | Imagery-based boundary identification for agricultural fields |
| WO2021068176A1 (zh) * | 2019-10-11 | 2021-04-15 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法 |
| CN110852225B (zh) * | 2019-10-31 | 2022-05-06 | 中国地质大学（武汉） | 基于深度卷积神经网络的遥感影像红树林提取方法及系统 |
| CN111060455B (zh) * | 2019-11-01 | 2022-03-08 | 中科禾信遥感科技（苏州）有限公司 | 面向东北冷凉区的遥感图像作物标记方法和装置 |
| CN111079835B (zh) * | 2019-12-16 | 2023-03-07 | 安徽大学 | 一种基于深度全连接网络的Himawari-8大气气溶胶反演方法 |
| CN110992257B (zh) * | 2019-12-20 | 2024-06-14 | 北京航天泰坦科技股份有限公司 | 基于深度学习的遥感影像敏感信息自动屏蔽方法及装置 |
| CN111582194B (zh) * | 2020-05-12 | 2022-03-29 | 吉林大学 | 基于多特征lstm网络的多时相高分辨率遥感影像的建筑物提取方法 |
| CN111767800B (zh) * | 2020-06-02 | 2023-09-05 | 华南师范大学 | 遥感影像场景分类得分融合方法、系统、设备及存储介质 |
| CN111814563B (zh) * | 2020-06-09 | 2022-05-17 | 河南工业大学 | 一种种植结构的分类方法及装置 |
| CN111738175A (zh) * | 2020-06-24 | 2020-10-02 | 桂林理工大学 | 一种基于遥感影像和卷积神经网络的农业干旱监测系统 |
| CN112580504B (zh) * | 2020-12-17 | 2023-01-17 | 中国科学院空天信息创新研究院 | 基于高分辨率卫星遥感影像的树种分类计数方法及装置 |
| CN112861802B (zh) * | 2021-03-16 | 2022-09-27 | 吉林大学 | 基于时空深度学习融合技术的农作物全自动化分类方法 |
| CN113033381B (zh) * | 2021-03-23 | 2021-09-10 | 生态环境部卫星环境应用中心 | 基于遥感数据的矿山和固废填埋场自动提取方法和装置 |
| CN112712071A (zh) * | 2021-03-26 | 2021-04-27 | 北京简巨科技有限公司 | 作物长势检测方法及其相关设备 |
| CN113159154B (zh) * | 2021-04-12 | 2024-03-29 | 浙江工业大学 | 一种面向农作物分类的时间序列特征重建及动态识别方法 |
| CN113343783A (zh) * | 2021-05-18 | 2021-09-03 | 北京科技大学 | 一种农作物智能识别与长势预测方法及系统 |
| CN113240340B (zh) * | 2021-06-10 | 2024-04-16 | 中国农业科学院农业信息研究所 | 基于模糊分类的大豆种植区分析方法、装置、设备和介质 |
| CN113869370A (zh) * | 2021-09-03 | 2021-12-31 | 中林信达（北京）科技信息有限责任公司 | 基于深度学习算法和时序哨兵影像的树种精细化分类方法 |
| CN114387516B (zh) * | 2022-01-07 | 2022-08-16 | 宁波大学 | 一种针对复杂地形环境下中小田块的单季稻sar识别方法 |
| CN116897668B (zh) * | 2023-07-17 | 2024-01-23 | 辽宁省农业机械化研究所 | 一种电驱农作物播种施肥控制方法及系统 |
| CN117689964B (zh) * | 2024-02-02 | 2024-05-03 | 湖南省第二测绘院 | 一种基于多源影像的城市森林分类方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102024258A (zh) * | 2010-12-15 | 2011-04-20 | 中国科学院遥感应用研究所 | 具有边界保持特性的遥感图像多尺度分割方法 |
| CN105389559A (zh) * | 2015-11-12 | 2016-03-09 | 中国科学院遥感与数字地球研究所 | 基于高分辨率遥感影像的农业灾害范围识别系统及方法 |
| CN105551028A (zh) * | 2015-12-09 | 2016-05-04 | 中山大学 | 一种基于遥感影像的地理空间数据动态更新的方法及系统 |
| CN107392130A (zh) * | 2017-07-13 | 2017-11-24 | 西安电子科技大学 | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 |
| CN107796764A (zh) * | 2016-09-05 | 2018-03-13 | 南京农业大学 | 一种基于三波段植被指数的小麦叶面积指数估算模型的构建方法 |
| CN108596103A (zh) * | 2018-04-26 | 2018-09-28 | 吉林大学 | 基于最佳光谱指数选择的高分辨率卫星遥感影像建筑物提取方法 |
| US10127451B1 (en) * | 2017-04-24 | 2018-11-13 | Peter Cecil Vanderbilt Sinnott | Method of detecting and quantifying sun-drying crops using satellite derived spectral signals |
| CN108932521A (zh) * | 2018-04-26 | 2018-12-04 | 中国农业大学 | 一种基于深度学习的农作物分类方法及系统 |
| CN109409261A (zh) * | 2018-10-11 | 2019-03-01 | 北京师范大学 | 一种农作物分类方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10318848B2 (en) * | 2015-12-15 | 2019-06-11 | Qualcomm Incorporated | Methods for object localization and image classification |
| US10157441B2 (en) * | 2016-12-27 | 2018-12-18 | Automotive Research & Testing Center | Hierarchical system for detecting object with parallel architecture and hierarchical method thereof |
-
2019
- 2019-06-25 CN CN201910551686.6A patent/CN110287869B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102024258A (zh) * | 2010-12-15 | 2011-04-20 | 中国科学院遥感应用研究所 | 具有边界保持特性的遥感图像多尺度分割方法 |
| CN105389559A (zh) * | 2015-11-12 | 2016-03-09 | 中国科学院遥感与数字地球研究所 | 基于高分辨率遥感影像的农业灾害范围识别系统及方法 |
| CN105551028A (zh) * | 2015-12-09 | 2016-05-04 | 中山大学 | 一种基于遥感影像的地理空间数据动态更新的方法及系统 |
| CN107796764A (zh) * | 2016-09-05 | 2018-03-13 | 南京农业大学 | 一种基于三波段植被指数的小麦叶面积指数估算模型的构建方法 |
| US10127451B1 (en) * | 2017-04-24 | 2018-11-13 | Peter Cecil Vanderbilt Sinnott | Method of detecting and quantifying sun-drying crops using satellite derived spectral signals |
| CN107392130A (zh) * | 2017-07-13 | 2017-11-24 | 西安电子科技大学 | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 |
| CN108596103A (zh) * | 2018-04-26 | 2018-09-28 | 吉林大学 | 基于最佳光谱指数选择的高分辨率卫星遥感影像建筑物提取方法 |
| CN108932521A (zh) * | 2018-04-26 | 2018-12-04 | 中国农业大学 | 一种基于深度学习的农作物分类方法及系统 |
| CN109409261A (zh) * | 2018-10-11 | 2019-03-01 | 北京师范大学 | 一种农作物分类方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| "Deep feature extraction and classification of hyperspectral images based on convolutional neural networks";Chen Y 等;《Geoscience and Remote Sensing》;20161001;第54卷(第10期);6232-6251 * |
| "Efficient Graph-Based Image Segmentation";Felzenszwalb P F 等;《Computer Vision》;20040901;第59卷(第2期);167-181 * |
| "Spatial-Spectral Fusion Based on Conditional Random Fields for the Fine Classification of Crops in UAV-Borne Hyperspectral Remote Sensing Imagery";Wei, LF 等;《Remote Sens》;20190401;第11卷(第7期);780 * |
| "When deep learning meets metric learning: Remote sensing image scene classification via learning discriminative CNNs";Cheng G 等;《 geoscience and remote sensing》;20180109;第56卷(第5期);2811-2821 * |
| "机器学习法的干旱区典型农作物分类";黄双燕 等;《光谱学与光谱分析》;20181015;第38卷(第10期);3169-3176 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110287869A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287869B (zh) | 基于深度学习的高分辨率遥感影像农作物分类方法 | |
| Farmonov et al. | Crop type classification by DESIS hyperspectral imagery and machine learning algorithms | |
| CN112101271B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
| Li et al. | Adaptive multiscale deep fusion residual network for remote sensing image classification | |
| CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
| CN107103306B (zh) | 基于小波分析与支持向量机的冬小麦白粉病遥感监测方法 | |
| CN110309780A (zh) | 基于bfd-iga-svm模型的高分辨率影像房屋信息快速监督识别 | |
| CN112949725B (zh) | 一种基于多尺度特征提取的小麦种子分类方法 | |
| CN112861802B (zh) | 基于时空深度学习融合技术的农作物全自动化分类方法 | |
| CN117409339A (zh) | 一种用于空地协同的无人机作物状态视觉识别方法 | |
| CN115512162A (zh) | 基于注意力孪生网络与多模态融合特征的地物分类方法 | |
| CN109409389A (zh) | 一种融合多特征的面向对象变化检测方法 | |
| CN111914909A (zh) | 基于空谱联合三方向卷积网络的高光谱变化检测方法 | |
| Yin et al. | Deep forest-based classification of hyperspectral images | |
| Haq et al. | 3D-CNNHSR: A 3-Dimensional Convolutional Neural Network for Hyperspectral Super-Resolution. | |
| Lu et al. | Fine crop classification in high resolution remote sensing based on deep learning | |
| Xu et al. | MP-Net: An efficient and precise multi-layer pyramid crop classification network for remote sensing images | |
| CN113096114B (zh) | 结合形态与指数的高分辨率城市水体图斑遥感提取方法 | |
| CN113569786A (zh) | 基于多模态影像的作物病虫害检测方法及系统、设备、存储介质 | |
| CN110188821B (zh) | 多参数边缘保持滤波和多特征学习的高光谱图像分类方法 | |
| CN111368776A (zh) | 一种基于深度集成学习的高分辨率遥感图像分类方法 | |
| CN112966781A (zh) | 基于三元组损失和卷积神经网络的高光谱图像分类方法 | |
| CN115457325A (zh) | 一种基于面向对象和光谱规则的多光谱遥感图像非监督分类方法 | |
| CN113128370B (zh) | 结合深度胶囊网络和马尔科夫随机场的高光谱影像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220318 |