CN111814707B - 一种作物叶面积指数反演方法及装置 - Google Patents

一种作物叶面积指数反演方法及装置 Download PDF

Info

Publication number
CN111814707B
CN111814707B CN202010673771.2A CN202010673771A CN111814707B CN 111814707 B CN111814707 B CN 111814707B CN 202010673771 A CN202010673771 A CN 202010673771A CN 111814707 B CN111814707 B CN 111814707B
Authority
CN
China
Prior art keywords
data
leaf area
area index
hyperspectral
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010673771.2A
Other languages
English (en)
Other versions
CN111814707A (zh
Inventor
董莹莹
李雪玲
朱溢佞
胡廷广
黄文江
叶回春
王昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Aerospace Information Research Institute of CAS
Original Assignee
Capital Normal University
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University, Aerospace Information Research Institute of CAS filed Critical Capital Normal University
Priority to CN202010673771.2A priority Critical patent/CN111814707B/zh
Publication of CN111814707A publication Critical patent/CN111814707A/zh
Priority to GB2101106.9A priority patent/GB2596886B/en
Application granted granted Critical
Publication of CN111814707B publication Critical patent/CN111814707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G01N2021/1797—Remote sensing in landscape, e.g. crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种作物叶面积指数反演方法及装置，获取遥感影像数据；对遥感影像数据进行数据预处理，得到高光谱数据；将高光谱数据输入预先生成的目标基准反演模型，得到目标基准反演模型输出的叶面积指数，其中，目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。通过对实采的高光谱数据和叶面积指数进行数据增强，解决神经网络对训练样本的数量需求问题，从而可利用神经网络的方法通过高光谱数据反演叶面积指数，实现基于实采小样本数据的高精度叶面积指数反演。

Description

一种作物叶面积指数反演方法及装置
技术领域
本发明涉及遥感技术领域，特别是涉及一种作物叶面积指数反演方法及装置。
背景技术
叶面积指数(Leaf Area Index，LAI)为单位地表面积上叶子表面积总和的一半。用LAI来定量表征作物叶片的疏密程度，为植物群体和群落生长发育特征健康状况提供重要指标，定量获取区域时空连续的植被LAI对作物长势监测、产量估算具有重要意义。遥感技术在获取地面信息方面具有周期性观测和大面积覆盖的特点。在农业资源监测中发挥着重要作用。它能够在空间和时间上捕捉陆地植被关键生物物理参数的分布信息。因此，它可以提供一个切实可行的方法来观测宏观尺度上的叶面积指数。
现有的遥感反演法中统计模型通过线性、二次、指数、对数等经验公式建立各类植被指数与叶面积指数的关系，这些方法将冠层辐射传输过程简化为一些简单函数关系，反演精度有限；物理类模型建立在物理基础之上，光子在冠层中传输过程的物理模型可以模拟地表反射与叶面积指数的关系，由于物理模型十分复杂，通常采用建立查找表的方法通过迭代实现快速反演，但是在大区域反演LAI时，为了达到理想精度，查找表维度需要足够大，使得变量采样间隔必须足够小，适用性受到制约。也有利用深度学习可以提高LAI反演精度，但是在实际区域LAI定量反演中，采集数据较少，难以满足需求。因此，在仅有少量实采的高光谱数据和LAI数据情况下，通过深度学习方法提高LAI反演精度是存在缺陷的。
发明内容
针对上述问题，本发明提供一种作物叶面积指数反演方法及装置，实现了基于小样本数据提升叶面积指数反演精度的目的。
为了实现上述目的，本发明提供了如下技术方案：
一种作物叶面积指数反演方法，所述方法包括：
获取遥感影像数据；
对所述遥感影像数据进行数据预处理，得到高光谱数据；
将所述高光谱数据输入预先生成的目标基准反演模型，得到所述目标基准反演模型输出的叶面积指数，其中，所述目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，所述目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。
可选地，所述方法还包括：
获取遥感影像数据和叶面积指数产品；
对所述遥感影像数据和叶面积指数产品分别进行预处理，得到高光谱数据和对应的叶面积指数，从预处理后的数据中随机选取作为初始训练样本，所述初始训练样本包括高光谱数据集和叶面积指数数据集；
对所述初始训练样本利用对偶学习的生成式对抗网络进行数据增强，将增强数据与所述初始训练样本混合得到目标训练样本；
利用所述目标训练样本训练预先给定的基准反演模型，得到目标基准反演模型。
可选地，所述基于对偶学习的生成对抗网络对所述初始训练样本进行数据增强，将增强数据与初始训练样本混合得到目标训练样本，包括：
确定目标对偶学习的生成对抗网络，所述目标对偶学习的生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器通过所述高光谱数据集生成叶面积指数，所述第二生成器通过所述叶面积指数数据集生成高光谱数据，所述第一判别器用于判断生成的叶面积指数来自真实叶面积指数的概率，所述第二判别器用于判断生成的高光谱数据来自真实高光谱数据的概率；
通过所述第一生成器和所述第一判别器、所述第二生成器和所述第二判别器迭代优化，使得生成的所述叶面积指数和所述高光谱数据满足预设条件，得到增强数据，所述增强数据包括生成的叶面积指数和高光谱数据；
将所述增强数据与初始训练样本混合得到目标训练样本。
可选地，所述方法还包括：
利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据；
其中，所述利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据，包括：
确定阈值数据，所述阈值数据包括叶面积指数相对误差的阈值和高光谱所有波段的相对平方误差和阈值；
获取在所述阈值数据对应的范围内的生成数据，并依据所述生成数据确定叶面积指数的相对误差数据集和高光谱的相对均方根误差数据集；
将所述叶面积指数的相对误差数据集和所述高光谱的相对均方根误差数据集转换为服从标准正态分布的数据集；
基于所述标准正态分布的数据集，从所述初始训练样本中确定增强数据。
可选地，所述第一生成器为残差网络，包括若干个基础残差模块，所述基础残差模块主径是两个卷积层堆叠，其中一维卷积核尺寸为3，卷积核默认步长为1，经过ReLU函数激活。
可选地，所述第二生成器用于实现从低维数据映射到高维数据数据，所述第二生成器的第一层为全连接层，包括16个神经元，所述第二生成器将其上采样数据与第一生成器网络卷积提取的特征进行叠加。
一种作物叶面积指数反演装置，所述装置包括：
获取单元，用于获取遥感影像数据；
处理单元，用于对所述遥感影像数据进行数据预处理，得到高光谱数据；
输入单元，用于将所述高光谱数据输入预先生成的目标基准反演模型，得到所述目标基准反演模型输出的叶面积指数，其中，所述目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，所述目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。
可选地，所述装置还包括：
数据获取单元，用于获取遥感影像数据和叶面积指数产品；
预处理单元，用于对所述遥感影像数据和叶面积指数产品分别进行预处理，得到高光谱数据和对应的叶面积指数，从预处理后的数据中随机选取作为初始训练样本，所述初始训练样本包括高光谱数据集和叶面积指数数据集；
数据增强单元，用于对所述初始训练样本利用对偶学习的生成式对抗网络进行数据增强，将增强数据与所述初始训练样本混合得到目标训练样本；
训练单元，用于利用所述目标训练样本训练预先给定的基准反演模型，得到目标基准反演模型。
可选地，所述数据增强单元包括：
第一确定子单元，用于确定目标对偶学习的生成对抗网络，所述目标对偶学习的生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器通过所述高光谱数据集生成叶面积指数，所述第二生成器通过所述叶面积指数数据集生成高光谱数据，所述第一判别器用于判断生成的叶面积指数来自真实叶面积指数的概率，所述第二判别器用于判断生成的高光谱数据来自真实高光谱数据的概率；
优化子单元，用于通过所述第一生成器和所述第一判别器、所述第二生成器和所述第二判别器迭代优化，使得生成的所述叶面积指数和所述高光谱数据满足预设条件，得到增强数据，所述增强数据包括生成的叶面积指数和高光谱数据；
混合子单元，用于将所述增强数据与初始训练样本混合得到目标训练样本。
可选地，所述装置还包括：
增强处理子单元，用于利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据；
其中，所述增强处理子单元具体用于：
确定阈值数据，所述阈值数据包括叶面积指数相对误差的阈值和高光谱所有波段的相对平方误差和阈值；
获取在所述阈值数据对应的范围内的生成数据，并依据所述生成数据确定叶面积指数的相对误差数据集和高光谱的相对均方根误差数据集；
将所述叶面积指数的相对误差数据集和所述高光谱的相对均方根误差数据集转换为服从标准正态分布的数据集；
基于所述标准正态分布的数据集，从所述初始训练样本中确定增强数据。
相较于现有技术，本发明提供了一种作物叶面积指数反演方法及装置，获取遥感影像数据；对遥感影像数据进行数据预处理，得到高光谱数据；将高光谱数据输入预先生成的目标基准反演模型，得到目标基准反演模型输出的叶面积指数，其中，目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。通过对实采的高光谱数据和叶面积指数进行数据增强，解决神经网络对训练样本的数量需求问题，从而可利用神经网络的方法通过高光谱数据反演叶面积指数，实现基于实采小样本数据的高精度叶面积指数反演。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种作物叶面积指数反演方法的流程示意图；
图2为本发明实施例提供的一种叶面积指数生成器的示意图；
图3为本发明实施例提供的一种高光谱生成器的示意图；
图4为本发明实施例提供的一种用于生成高光谱和叶面积指数的DualGAN网路流程图；
图5为本发明实施例提供的一种作物叶面积指数反演装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
为了便于对本发明实施例进行说明，现在对本发明中的术语进行说明。
对偶学习，其是给定一个原始任务模型，其对偶任务的模型可以给其提供反馈；同样的，给定一个对偶任务的模型，其原始任务的模型也可以给该对偶任务的模型提供反馈；从而这两个互为对偶的任务可以相互提供反馈，相互学习、相互提高。
生成式对抗网络(GAN,Generative Adversarial Networks)：是一种深度学习模型，含有生成器和判别器两部分，通过生成器和判别器的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求生成器和判别器都是神经网络，只需要能拟合相应生成和判别的函数即可，但实际应用中一般均使用深度神经网络作为生成器和判别器。GAN需要有良好的训练方法，否则可能由于神经网络模型的自由性导致输出不理想。对偶学习的生成式对抗网络(DualGAN)是GAN的一种。
叶面积指数(LAI,Leaf Area Index)：定义为单位地表面积上叶子表面积总和的一半。用LAI来定量表征作物叶片的疏密程度，为植物群体和群落生长发育特征健康状况提供重要指标，定量获取区域时空连续的植被LAI对作物长势监测、产量估算具有重要意义。
本发明提供了一种作物的叶面积指数反演方法，利用神经网络定量反演LAI时，由于神经网络模型的复杂性，往往需要大量的训练样本，而在实际区域LAI定量反演时，实采样本数量较少，难以满足这一需求。因此本发明的目的是通过对实采的高光谱数据和LAI进行数据增强，解决神经网络对训练样本的数量需求问题，从而可利用神经网络的方法通过高光谱数据反演LAI，实现基于实采小样本数据的高精度LAI反演。
参见图1，所述方法可以包括以下步骤：
S101、获取遥感影像数据。
S102、对所述遥感影像数据进行数据预处理，得到高光谱数据。
其中，遥感影像数据可以为经过大气校正的高光谱遥感影像EnMAP。数据预处理是指对数据的格式或者内容进行的规范化处理。
S103、将所述高光谱数据输入预先生成的目标基准反演模型，得到所述目标基准反演模型输出的叶面积指数。
其中，所述目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，所述目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。
在本发明实施例中还提供了一种生成目标基准反演模型的方法，包括：
S201、获取遥感影像数据和叶面积指数产品；
S202、对所述遥感影像数据和叶面积指数产品分别进行预处理，得到高光谱数据和对应的叶面积指数，从预处理后的数据中随机选取作为初始训练样本，所述初始训练样本包括高光谱数据集和叶面积指数数据集；
S203、对所述初始训练样本利用对偶学习的生成式对抗网络进行数据增强，将增强数据与所述初始训练样本混合得到目标训练样本；
S204、利用所述目标训练样本训练预先给定的基准反演模型，得到目标基准反演模型。
所述基于对偶学习的生成对抗网络对所述初始训练样本进行数据增强，将增强数据与初始训练样本混合得到目标训练样本，包括：
确定目标对偶学习的生成对抗网络，所述目标对偶学习的生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器通过所述高光谱数据集生成叶面积指数，所述第二生成器通过所述叶面积指数数据集生成高光谱数据，所述第一判别器用于判断生成的叶面积指数来自真实叶面积指数的概率，所述第二判别器用于判断生成的高光谱数据来自真实高光谱数据的概率；
通过所述第一生成器和所述第一判别器、所述第二生成器和所述第二判别器迭代优化，使得生成的所述叶面积指数和所述高光谱数据满足预设条件，得到增强数据，所述增强数据包括生成的叶面积指数和高光谱数据；
将所述增强数据与初始训练样本混合得到目标训练样本。
利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据；
其中，所述利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据，包括：
确定阈值数据，所述阈值数据包括叶面积指数相对误差的阈值和高光谱所有波段的相对平方误差和阈值；
获取在所述阈值数据对应的范围内的生成数据，并依据所述生成数据确定叶面积指数的相对误差数据集和高光谱的相对均方根误差数据集；
将所述叶面积指数的相对误差数据集和所述高光谱的相对均方根误差数据集转换为服从标准正态分布的数据集；
基于所述标准正态分布的数据集，从所述初始训练样本中确定增强数据。
其中，所述第一生成器为残差网络，包括若干个基础残差模块，所述基础残差模块主径是两个卷积层堆叠，其中一维卷积核尺寸为3，卷积核默认步长为1，经过ReLU函数激活。所述第二生成器用于实现从低维数据映射到高维数据数据，所述第二生成器的第一层为全连接层，包括16个神经元，所述第二生成器将其上采样数据与第一生成器网络卷积提取的特征进行叠加。
本发明提出的利用DualGAN对高光谱数据和LAI进行数据增强，能够解决神经网络反演LAI时对训练样本数量的需求问题，尤其是在实际采集的高光谱数据和LAI数量较少的情况下，通过DualGAN对实采数据进行数据增强格外重要。DualGAN具有两对生成器和判别器，其中，一对通过LAI生成高光谱数据，另一对通过高光谱数据生成LAI。在DualGAN网络结构确定后，将实采的高光谱数据与LAI传入DualGAN网络，生成器和判别器随着迭代不断优化，使得生成的高光谱数据与LAI更加接近真实值，于是达到了遥感数据增强的效果。最终目的是高光谱数据与LAI经过数据增强后，可以有效提高神经网络的LAI反演精度，即实现小样本高精度反演LAI。因此DualGAN模型的构建是关键，此外，增强数据的选取方式也至关重要。
在本发明实施例中的对偶学习的生成对抗网络(DualGAN)第一生成器将生成LAI，记为GA，第一判别器记为DA，生成高光谱数据的为第二生成器记为GB，第二判别器记为DB。
GA是一个残差网络，含有7个基础残差模块，如图2所示。在残差模块中，主径是两个卷积层堆叠，其一维卷积核尺寸为3，卷积核默认移动步长为1，padding＝same，且均经过ReLU函数激活。捷径分两种情况：当主径与捷径的通道数相同时，捷径上的数值为上一残差模块的输出(此时残差模块如图2(a)所示)；当不同时则需要在捷径上设置卷积来改变通道数(此时残差模块如图2(b)所示)。将主径与捷径相加得到该残差模块学习到的特征，其经ReLU函数激活后的值作为该残差模块的最终输出。然后残差模块输出值作为最大池化层的输入进行数据降维，设置最大池化尺寸为2，步长为2，其中第三残差模块与第四残差模块后的最大池化设置padding＝1，其余最大池化层默认padding＝0。高光谱数据经过GA中所有残差模块输出后，其维度降为4，然后输入到一维卷积核尺寸为4的卷积层中，使得其输出维度与LAI维度保持一致，最后将所有通道的数据取平均作为最终LAI输出值。生成LAI的生成器GA结构如图2(c)所示。
DA是一个四层全连接网络，每个全连接层均经LeakyReLU函数激活，LeakyReLU函数中的常数λ＝0.2，神经元个数依次设置为512、256、128、1。DA网络的输入为高光谱数据，其输出表示判断的数据来自于真实高光谱数据的概率。
GB是一个由LAI生成高光谱数据的网络，其输入为LAI，输出为高光谱的244个波段，实现从低维数据映射到高维数据的过程。首先，GB网络第一层为全连接层，其神经元个数为16，意为将LAI数据映射成16维向量。然后进行多次上采样、卷积操作，最终在输出端得到高光谱数据。GB网络借鉴了U-Net中解码信息与编码信息融合的方法，GB网络将其上采样信息与GA网络卷积提取的特征进行叠加，二者特征通道数是相同的，当特征维度不同时，需要对维度高的特征进行中心裁剪。而实际操作时，上采样特征比卷积提取的特征多一维，因此这里采取去除最后一维数据的裁剪方式。GB通过不断重复上采样、信息叠加、卷积的操作，可得到较为准确地高光谱。其中上采样的一维卷积核尺寸为2，步长为2，卷积操作中的一维卷积核尺寸为3，步长为1，padding＝same。每层网络的通道数设置详见生成器GB，如图3所示。
DB与DA类似，是一个三层全连接网络，每个全连接层的神经元个数依次为16、16、1，且每个全连接层均经LeakyReLU函数激活，LeakyReLU函数中的λ＝0.2。
因此，将生成器GA、GB，判别器DA、DB组合在一起可构成DualGAN网络，如图4所示。在本发明中，DualGAN选用RMSProp算法对损失函数进行优化，其中优化DA和DB的RMSProp算法中的超参数均设置为：β2为0.99，权重衰减系数为0.9；优化GA和GB的RMSProp算法中的超参数均设置为：β2为0.95，权重衰减系数为0.9；设置初始化权重服从均值为0，标准差为
Figure BDA0002583306730000101
的高斯分布(n为网络权重数量)，所有偏置项为0，学习率η为2*10-4，为了得到更好的生成器，设置判别器每优化一次，生成器优化五次。
在本发明实施例中高光谱与LAI的增强数据的选取方式如下：
利用DualGAN对高光谱与LAI数据增强时，通常会得到多于需求数量的训练样本，从中选取部分数据作为增强的训练样本能够有效提高LAI反演精度才是关键。因此，数据选取方式也很重要。首先需要设置数据筛选阈值，由于生成成对数据，这里需要设置LAI相对误差的阈值和高光谱的相对平方误差和的阈值，分别设置为0.03和0.25。其次需要综合考虑LAI与高光谱的误差，在阈值范围内的生成数据中，将LAI的相对误差数据集记为S，高光谱的相对均方根误差数据集记为T(这里需要根据高光谱的相对平方误差和求出相对均方根误差)，把S和T分别转换为服从标准正态分布的数据集：
Figure BDA0002583306730000111
和
Figure BDA0002583306730000112
然后综合NS和NT得到数据集E:{α+β|α∈NS,β∈NT}，并将E按照从小到大的顺序排序后的数据记为E′，E′即为最终增强数据选取依据的集合。这样，即可确定增强后的高光谱与LAI的训练样本。
其中，
Figure BDA0002583306730000113
中，x为LAI相对误差数据集S中的元素，
Figure BDA0002583306730000114
为集合S的均值，σS为集合S的标准差，α为转化为标准正态分布后的元素，标准正态分布记为NS。
同理，
Figure BDA0002583306730000115
中，y为高光谱的相对均方根误差数据集T中的元素，
Figure BDA0002583306730000116
为集合T的均值，σt为集合T的标准差，β为转化为标准正态分布后的元素，其标准正态分布记为NT。
最终目的是增强后的训练样本可以有效提高神经网络的反演精度，先确定LAI基准反演模型(本发明选取SSLLAI-Net和VGG16作为基准反演模型)，然后将原始训练样本和增强后的训练样本分别代入基准反演模型，比较验证样本的反演精度。
下面以高光谱遥感影像EnMAP为例，以谷物、玉米以及油菜作为研究对象，开展叶面积指数定量反演数值实验，其中EnMAP遥感影像的大小为1000行×1000列×244光谱波段。当各类农作物的训练样本量均为30时，数据增强到500后，SSLLAI-Net的LAI反演精度分别提高了9.1％、25.0％、20.8％，VGG16中LAI反演精度分别提高了64.1％、11.1％、34.8％，且结果稳定性均得到提高；当混合类别农作物的样本量为200时，数据增强到1000后，SSLLAI-Net的LAI反演精度分别提高了20.8％、24.5％、50.0％，VGG16中LAI反演精度分别提高了20.0％、11.8％、6.3％。综上，本发明提出的基于对偶学习的生成式对抗网络的EnMAP数据增强方法，可以有效解决神经网络对EnMAP训练样本数量需求的问题，从而提高小样本的LAI反演精度。基于本发明技术方案得到的基准反演模型的R2结果如表1、表2、表3所示。
表1数据增强前后SSLLAI-Net的R2对比(均值±标准差)
Figure BDA0002583306730000121
表2数据增强前后VGG16的R2对比(均值±标准差)
Figure BDA0002583306730000122
表3数据增强前后基准反演模型的R2对比(均值±标准差)
Figure BDA0002583306730000131
本发明提供了一种作物的叶面积指数反演方法，包括：获取遥感影像数据；对遥感影像数据进行数据预处理，得到高光谱数据；将高光谱数据输入预先生成的目标基准反演模型，得到目标基准反演模型输出的叶面积指数，其中，目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。通过对实采的高光谱数据和叶面积指数进行数据增强，解决神经网络对训练样本的数量需求问题，从而可利用神经网络的方法通过高光谱数据反演叶面积指数，实现基于实采小样本数据的高精度叶面积指数反演。
在本发明实施例中还提供了一种作物叶面积指数反演装置，参见图5，所述装置包括：
获取单元，用于获取遥感影像数据；
处理单元，用于对所述遥感影像数据进行数据预处理，得到高光谱数据；
输入单元，用于将所述高光谱数据输入预先生成的目标基准反演模型，得到所述目标基准反演模型输出的叶面积指数，其中，所述目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，所述目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。
在上述实施例的基础上，所述装置还包括：
数据获取单元，用于获取遥感影像数据和叶面积指数产品；
预处理单元，用于对所述遥感影像数据和叶面积指数产品分别进行预处理，得到高光谱数据和对应的叶面积指数，从预处理后的数据中随机选取作为初始训练样本，所述初始训练样本包括高光谱数据集和叶面积指数数据集；
数据增强单元，用于对所述初始训练样本利用对偶学习的生成式对抗网络进行数据增强，将增强数据与所述初始训练样本混合得到目标训练样本；
训练单元，用于利用所述目标训练样本训练预先给定的基准反演模型，得到目标基准反演模型。
可选地，所述数据增强单元包括：
第一确定子单元，用于确定目标对偶学习的生成对抗网络，所述目标对偶学习的生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器通过所述高光谱数据集生成叶面积指数，所述第二生成器通过所述叶面积指数数据集生成高光谱数据，所述第一判别器用于判断生成的叶面积指数来自真实叶面积指数的概率，所述第二判别器用于判断生成的高光谱数据来自真实高光谱数据的概率；
优化子单元，用于通过所述第一生成器和所述第一判别器、所述第二生成器和所述第二判别器迭代优化，使得生成的所述叶面积指数和所述高光谱数据满足预设条件，得到增强数据，所述增强数据包括生成的叶面积指数和高光谱数据；
混合子单元，用于将所述增强数据与初始训练样本混合得到目标训练样本。
可选地，所述装置还包括：
增强处理子单元，用于利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据；
其中，所述增强处理子单元具体用于：
确定阈值数据，所述阈值数据包括叶面积指数相对误差的阈值和高光谱所有波段的相对平方误差和阈值；
获取在所述阈值数据对应的范围内的生成数据，并依据所述生成数据确定叶面积指数的相对误差数据集和高光谱的相对均方根误差数据集；
将所述叶面积指数的相对误差数据集和所述高光谱的相对均方根误差数据集转换为服从标准正态分布的数据集；
基于所述标准正态分布的数据集，从所述初始训练样本中确定增强数据。
本发明提供了一种作物叶面积指数反演装置，包括：获取单元获取遥感影像数据；处理单元对所述遥感影像数据进行数据预处理得到高光谱数据，输入单元所述高光谱数据输入预先生成的目标基准反演模型，得到所述目标基准反演模型输出的叶面积指数。所述目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，所述目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本。通过对实采的高光谱数据和叶面积指数进行数据增强，解决神经网络对训练样本的数量需求问题，从而可利用神经网络的方法通过高光谱数据反演叶面积指数，实现基于实采小样本数据的高精度叶面积指数反演。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种作物叶面积指数反演方法，其特征在于，所述方法包括：
获取遥感影像数据；
对所述遥感影像数据进行数据预处理，得到高光谱数据；
将所述高光谱数据输入预先生成的目标基准反演模型，得到所述目标基准反演模型输出的叶面积指数，其中，所述目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，所述目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本；
所述方法还包括：
利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据；
其中，所述利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据，包括：
确定阈值数据，所述阈值数据包括叶面积指数相对误差的阈值和高光谱所有波段的相对平方误差和阈值；
获取在所述阈值数据对应的范围内的生成数据，并依据所述生成数据确定叶面积指数的相对误差数据集和高光谱的相对均方根误差数据集；
将所述叶面积指数的相对误差数据集和所述高光谱的相对均方根误差数据集转换为服从标准正态分布的数据集；
基于所述标准正态分布的数据集，从所述初始训练样本中确定增强数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取遥感影像数据和叶面积指数产品；
对所述遥感影像数据和叶面积指数产品分别进行预处理，得到高光谱数据和对应的叶面积指数，从预处理后的数据中随机选取作为初始训练样本，所述初始训练样本包括高光谱数据集和叶面积指数数据集；
对所述初始训练样本利用对偶学习的生成式对抗网络进行数据增强，将增强数据与所述初始训练样本混合得到目标训练样本；
利用所述目标训练样本训练预先给定的基准反演模型，得到目标基准反演模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述初始训练样本 利用 对偶学习的生成式 对抗网络进行数据增强，将增强数据与初始训练样本混合得到目标训练样本，包括：
确定目标对偶学习的生成对抗网络，所述目标对偶学习的生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器通过所述高光谱数据集生成叶面积指数，所述第二生成器通过所述叶面积指数数据集生成高光谱数据，所述第一判别器用于判断生成的叶面积指数来自真实叶面积指数的概率，所述第二判别器用于判断生成的高光谱数据来自真实高光谱数据的概率；
通过所述第一生成器和所述第一判别器、所述第二生成器和所述第二判别器迭代优化，使得生成的所述叶面积指数和所述高光谱数据满足预设条件，得到增强数据，所述增强数据包括生成的叶面积指数和高光谱数据；
将所述增强数据与初始训练样本混合得到目标训练样本。
4.根据权利要求3所述的方法，其特征在于，所述第一生成器为残差网络，包括若干个基础残差模块，所述基础残差模块主径是两个卷积层堆叠，其中一维卷积核尺寸为3，卷积核默认步长为1，经过ReLU函数激活。
5.根据权利要求4所述的方法，其特征在于，所述第二生成器用于实现从低维数据映射到高维数据，所述第二生成器的第一层为全连接层，包括16个神经元，所述第二生成器将其上采样数据与第一生成器网络卷积提取的特征进行叠加。
6.一种作物叶面积指数反演装置，其特征在于，所述装置包括：
获取单元，用于获取遥感影像数据；
处理单元，用于对所述遥感影像数据进行数据预处理，得到高光谱数据；
输入单元，用于将所述高光谱数据输入预先生成的目标基准反演模型，得到所述目标基准反演模型输出的叶面积指数，其中，所述目标基准反演模型为通过目标训练样本对基准反演模型进行优化得到的模型，所述目标训练样本为对初始训练样本利用对偶学习的生成式对抗网络进行数据增强得到的样本；
所述装置还包括：
增强处理子单元，用于利用对偶学习的生成对抗网络对所述初始训练样本进行处理，得到增强数据；
其中，所述增强处理子单元具体用于：
确定阈值数据，所述阈值数据包括叶面积指数相对误差的阈值和高光谱所有波段的相对平方误差和阈值；
获取在所述阈值数据对应的范围内的生成数据，并依据所述生成数据确定叶面积指数的相对误差数据集和高光谱的相对均方根误差数据集；
将所述叶面积指数的相对误差数据集和所述高光谱的相对均方根误差数据集转换为服从标准正态分布的数据集；
基于所述标准正态分布的数据集，从所述初始训练样本中确定增强数据。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
数据获取单元，用于获取遥感影像数据和叶面积指数产品；
预处理单元，用于对所述遥感影像数据和叶面积指数产品分别进行预处理，得到高光谱数据和对应的叶面积指数，从预处理后的数据中随机选取作为初始训练样本，所述初始训练样本包括高光谱数据集和叶面积指数数据集；
数据增强单元，用于对所述初始训练样本利用对偶学习的生成式对抗网络进行数据增强，将增强数据与所述初始训练样本混合得到目标训练样本；
训练单元，用于利用所述目标训练样本训练预先给定的基准反演模型，得到目标基准反演模型。
8.根据权利要求7所述的装置，其特征在于，所述数据增强单元包括：
第一确定子单元，用于确定目标对偶学习的生成对抗网络，所述目标对偶学习的生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器通过所述高光谱数据集生成叶面积指数，所述第二生成器通过所述叶面积指数数据集生成高光谱数据，所述第一判别器用于判断生成的叶面积指数来自真实叶面积指数的概率，所述第二判别器用于判断生成的高光谱数据来自真实高光谱数据的概率；
优化子单元，用于通过所述第一生成器和所述第一判别器、所述第二生成器和所述第二判别器迭代优化，使得生成的所述叶面积指数和所述高光谱数据满足预设条件，得到增强数据，所述增强数据包括生成的叶面积指数和高光谱数据；
混合子单元，用于将所述增强数据与初始训练样本混合得到目标训练样本。
CN202010673771.2A 2020-07-14 2020-07-14 一种作物叶面积指数反演方法及装置 Active CN111814707B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010673771.2A CN111814707B (zh) 2020-07-14 2020-07-14 一种作物叶面积指数反演方法及装置
GB2101106.9A GB2596886B (en) 2020-07-14 2021-01-27 Method and device for performing inversion of crop leaf area index

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010673771.2A CN111814707B (zh) 2020-07-14 2020-07-14 一种作物叶面积指数反演方法及装置

Publications (2)

Publication Number Publication Date
CN111814707A CN111814707A (zh) 2020-10-23
CN111814707B true CN111814707B (zh) 2022-09-23

Family

ID=72842413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010673771.2A Active CN111814707B (zh) 2020-07-14 2020-07-14 一种作物叶面积指数反演方法及装置

Country Status (2)

Country Link
CN (1) CN111814707B (zh)
GB (1) GB2596886B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560661A (zh) * 2020-12-10 2021-03-26 首都师范大学 叶面积指数的计算方法、装置、电子设备及可读存储介质
CN112464172B (zh) * 2020-12-10 2024-03-29 中国科学院空天信息创新研究院 生长参数主被动遥感反演方法及装置
CN113012049B (zh) * 2021-04-15 2022-08-02 山东新一代信息产业技术研究院有限公司 一种基于gan网络的遥感数据隐私保护方法
CN113177188B (zh) * 2021-04-19 2021-12-07 中国农业科学院农业资源与农业区划研究所 一种基于光谱新特征的反演叶片叶绿素含量的方法
CN113340898B (zh) * 2021-06-30 2023-05-30 福建师范大学 一种叶面积指数时空变化特征研究方法
CN113505486B (zh) * 2021-07-14 2023-12-29 中国科学院空天信息创新研究院 一种三维复杂地表叶面积指数反演方法及系统
CN113722990B (zh) * 2021-08-23 2023-10-10 中国地质大学（武汉） 基于植被指数三维矩阵的叶片干物质含量反演方法及系统
CN113450353B (zh) * 2021-08-30 2021-12-07 航天宏图信息技术股份有限公司 一种叶面积指数精度的优化方法和装置
CN114397356B (zh) * 2022-01-13 2022-11-25 江苏省特种设备安全监督检验研究院 一种磁粉智能检测方法及系统
CN114460013B (zh) * 2022-01-28 2023-10-17 自然资源部第一海洋研究所 滨海湿地植被地上生物量gan模型自学习遥感反演方法
CN114154040B (zh) * 2022-02-07 2022-06-10 自然资源部国土卫星遥感应用中心 遥感参考数据集的构建方法和装置
CN114755189B (zh) * 2022-04-01 2022-12-13 自然资源部国土卫星遥感应用中心 一种特征优选的自注意力机制高光谱卫星lai反演方法
CN114862941B (zh) * 2022-05-24 2024-05-03 中国农业大学 阈值修正的孔隙度模型计算棉花叶面积指数的方法及系统
CN116071644B (zh) * 2022-12-20 2023-08-08 中化现代农业有限公司 逐日叶面积指数数据反演方法、装置、设备及存储介质
CN116165680A (zh) * 2023-02-14 2023-05-26 中科三清科技有限公司 反演模型更新方法、装置、存储介质与芯片
CN116297243B (zh) * 2023-02-28 2024-02-02 北京市农林科学院信息技术研究中心 烤烟氮肥追施量估计方法、装置、电子设备及存储介质
CN116501925B (zh) * 2023-06-26 2023-09-05 山东大学 多源遥感数据下叶面积指数预测方法、系统、设备及介质
CN117520715A (zh) * 2023-12-29 2024-02-06 华中农业大学 一种基于prosail模型的水稻叶面积指数反演方法
CN117589093B (zh) * 2024-01-18 2024-04-23 北京市农林科学院信息技术研究中心 作物叶面积指数高光谱遥感监测方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109975250A (zh) * 2019-04-24 2019-07-05 中国科学院遥感与数字地球研究所 一种叶面积指数反演方法及装置
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法
US20200025741A1 (en) * 2018-07-20 2020-01-23 Regents Of The University Of Minnesota Method to predict crop nitrogen status using remote sensing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200025741A1 (en) * 2018-07-20 2020-01-23 Regents Of The University Of Minnesota Method to predict crop nitrogen status using remote sensing
CN109975250A (zh) * 2019-04-24 2019-07-05 中国科学院遥感与数字地球研究所 一种叶面积指数反演方法及装置
CN110287800A (zh) * 2019-05-29 2019-09-27 河海大学 一种基于sgse-gan的遥感图像场景分类方法

Also Published As

Publication number Publication date
GB2596886A (en) 2022-01-12
GB2596886B (en) 2023-12-13
CN111814707A (zh) 2020-10-23
GB202101106D0 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
CN111814707B (zh) 一种作物叶面积指数反演方法及装置
Stengel et al. Adversarial super-resolution of climatological wind and solar data
Zafar et al. A comparison of pooling methods for convolutional neural networks
Leta et al. Modeling and prediction of land use land cover change dynamics based on land change modeler (Lcm) in nashe watershed, upper blue nile basin, Ethiopia
Uezato et al. Hyperspectral unmixing with spectral variability using adaptive bundles and double sparsity
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法
CN110309811A (zh) 一种基于胶囊网络的高光谱图像分类方法
CN109102029A (zh) 信息最大化生成对抗网络模型合成人脸样本质量评估方法
Maity et al. Potential of Deep Learning in drought assessment by extracting information from hydrometeorological precursors
US20230108422A1 (en) Methods and systems for use in processing images related to crops
CN107680081B (zh) 基于卷积神经网络的高光谱图像解混方法
CN114494909A (zh) 一种大豆生长季空间分布图的生成方法和系统
CN116584902B (zh) 基于特征选优及可视化的心音分类装置
CN117994676A (zh) 基于高分辨率卫星影像的区域提取模型的构建方法及应用
Dyer et al. Deep signature statistics for likelihood-free time-series models
Hernanz et al. pyClim-SDM: Service for generation of statistically downscaled climate change projections supporting national adaptation strategies
CN109460788B (zh) 基于低秩-稀疏信息组合网络的高光谱图像分类方法
CN116312860A (zh) 基于监督迁移学习的农产品可溶性固形物预测方法
Hasna Hena et al. Mango species detection from raw leaves using image processing system
CN108846341A (zh) 一种基于神经网络的遥感图像湖冰分类识别方法
CN115035511A (zh) 一种基于ResNet残差网络的病虫害识别方法及装置
Agrawal et al. Hyperspectral Image Compression using Modified Convolutional Autoencoder
Ivek et al. BlackBox: Generalizable reconstruction of extremal values from incomplete spatio-temporal data
CN111292260A (zh) 一种进化神经网络的构建方法及基于进化神经网络的高光谱图像去噪方法
CN118608875B (zh) 一种基于鲁棒遗传规划和特征学习的弱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant