CN112487879B - 一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法 - Google Patents
一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法 Download PDFInfo
- Publication number
- CN112487879B CN112487879B CN202011265251.4A CN202011265251A CN112487879B CN 112487879 B CN112487879 B CN 112487879B CN 202011265251 A CN202011265251 A CN 202011265251A CN 112487879 B CN112487879 B CN 112487879B
- Authority
- CN
- China
- Prior art keywords
- data
- radar
- optical
- biomass
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法,包括:数据预处理,其包括分别对光学和雷达影像进行预处理得到输入数据,以及对输入数据进行归一化处理;利用Beta数据混合方法对有限的实测叶面积指数和生物量数据及其对应遥感数据同时进行混合处理,以建立大量虚拟训练样本来进行数据增广;通过基于门控机制的孪生深度网络结合光学与雷达遥感数据构建叶面积指数和生物量反演模型。该方法通过提出一种数据增广来扩充野外实测样本数量,并构建一种门控机制的孪生神经网络模型,从而将具有更好的非线性拟合能力的深度学习方法应用于玉米LAI和生物量的主被动反演,提高反演精度。
Description
技术领域
本发明涉及遥感反演领域,具体地,涉及一种基于数据增广和深度学习的 玉米生长参数主被动遥感反演方法。
背景技术
叶面积指数(LAI)和生物量是重要的玉米生长参数,能够为玉米生长状况 评估、温度胁迫、水分胁迫、病虫害防治、早期估产等提供重要信息,目前被 广泛用于田间管理决策和早期估产。传统的获取LAI和生物量的方法主要依靠 田间采样和人工测量,耗时耗力。而遥感反演法依靠少量实测数据和遥感数据 构建反演模型,便能实现大区域测量。目前遥感反演方法有基于光学遥感数据、 雷达遥感数据以及光学和雷达数据结合的反演方法。目前光学遥感反演方法由 于受到光学遥感影像限制,反演玉米生长参数容易出现饱和现象,并且光学传 感器易受云雨影响,难以获得高质量的光学影像,仅依靠光学影像提高生长参数的反演精度较为困难。雷达遥感具有穿透性,能够反映玉米冠层结构特征, 有助于克服光学遥感中出现的饱和现象,但雷达遥感影像易受土壤背景和地形 因素等影响,导致估算LAI和生物量依然存在误差。因此,利用光学和雷达遥 感影像结合反演玉米LAI和生物量是目前的研究热点,为此,国内外学者针对 光学与雷达遥感数据结合反演生长参数的方法进行了初步探索,结果表明二者 结合能够为LAI和生物量的反演提供更多信息。
依据光学和雷达遥感数据结合方法的不同,光学和雷达数据结合反演生长 参数的常用的方法可以归结为4类:(1)根据植被生长参数(如LAI、生物量) 随生长期的变化特点,分段研究:将LAI分为两段,当0<LAI<3时,用光学数 据反演,当LAI>=3时,用雷达数据反演。(2)融合植被指数法:首先分别从光 学和雷达数据中提取光学植被指数和雷达植被指数,然后将二者相乘得到包含 光学与雷达特征的融合植被指数,然后建立融合植被指数与生长参数之间的反 演模型。(3)辅助参数法:利用光学影像提取植被覆盖度,然后将植被覆盖度 输入雷达反演模型,反演生长参数。(4)利用数据同化的方法:将光学数据与 雷达数据作为输入参数,借助作物生长模型反演生长参数。从第(1)类和第(3) 类方法可以看出,光学与雷达数据在生长参数反演过程中并未得到充分利用, 第(2)类方法只是用植被指数(仅用了遥感数据的部分波段)做了简单乘法运 算,忽略了其他波段信息的应用,第(4)类方法虽然将光学与雷达数据结合作 为参数输入生长模型,但是由于农业生态系统的复杂性,生长模型需输入的参 数也较为复杂,导致该方法存在很大不确定性。综上,目前关于光学与雷达遥 感数据的结合方法研究还不深入,光学和雷达遥感数据依然未实现高效和深度 融合,导致该方法反演生长参数的精度依然偏低。
另外,光学和雷达数据结合反演生长参数时,基于统计学习(经验模型) 方法构建反演模型占据重要地位,物理模型和半经验模型不便于进行光学和雷 达数据的结合。常用的统计学习方法主要有线性和非线性两种方法,而在结合 光学和雷达数据的生长参数反演中,基于传统的机器学习算法(如支持向量回 归、随机森林)、指数回归等构建的反演模型比基于多元线性回归方法构建的反 演模型具有更好反演效果,说明复杂的非线性模型更适用于植被生长参数反演。 近年来,深度学习方法依靠其强大的自主学习能力,被证明在对多尺度多层次 遥感特征提取及低层次到高层次遥感特征融合方面具有很大优势,但在定量遥 感反演中,深度学习方法却较少应用,这主要缘于构建深度学习模型时,需要 大量训练样本。而遥感反演中获取的实测样本数据量远远不能满足深度学习的 需求。尽管深度学习能够利用多层神经网络学习遥感数据隐含的深层特征,同 时被证明在拟合非线性关系中有很大潜力,但受训练样本的限制,目前在遥感 反演方面的研究鲜有报道。
发明内容
本发明针对光学和雷达遥感数据结合的玉米LAI和生长参数反演研究中存 在的反演精度不高的问题,提出了一种基于数据增广和深度学习的玉米LAI和 生物量的主被动遥感反演方法,通过提出一种数据增广(Beta混合方法)来扩 充野外实测样本数量,并构建一种门控机制的孪生神经网络模型,从而将具有 更好的非线性拟合能力的深度学习方法应用于玉米LAI和生物量的主被动反演, 提高反演精度。
本发明提供了一种基于数据增广和深度学习的玉米生长参数主被动遥感反 演方法,包括以下步骤:S1:数据预处理,其包括分别对光学和雷达影像进行 预处理得到输入数据,以及对输入数据进行归一化处理;S2:利用Beta数据混 合方法对有限的实测叶面积指数和生物量数据及其对应遥感数据同时进行混合 处理,以建立大量虚拟训练样本来进行数据增广;以及S3:通过基于门控机制 的孪生深度网络结合光学与雷达遥感数据构建叶面积指数和生物量反演模型。
可选地,在上述方法中,在步骤S1中,给定输入数据(xo,yo),数据归一化 的具体方法为:
可选地,在上述方法中,在步骤S2中,Beta数据混合方法包括:
使用邻域分布来计算经验邻域风险,其中,邻域分布为:
其中,μ代表邻域分布,n为样本数量,E代表期望,δ(x=xi,y=yi)是狄 拉克函数,xi,yi表示从真实数据中随机采样的同分布训练样本,λ服从Beta分 布,即λ~Beta(α,α),α∈(0,∞),邻域分布通过使用服从Beta分布的数据进行插值, 建立虚拟的数据与标签对:
其中(xi,yi)和(xj,yj)是从训练集中随机抽取的训练样本,λ是插值系数其 受参数α的控制;
通过Beta数据混合方法得到最小化经验邻域风险,表示为:
可选地,在上述方法中,在步骤S3中,基于门控机制的孪生深度网络包括 融合层和回归层,其中,融合层用于光学和雷达遥感数据的深度融合,以及融 合层包括用于提取每个通道互补的有效信息并降低相互干扰的门控制层以及用 于实现特征的非线性变换、增加模型的映射能力并完成数据由高维向低维或者 由低维向高维的映射的第一全连接层。
可选地,在上述方法中,其特征在于:给定第i个融合层,假设其光学通道 输入数据为雷达通道输入数据为在门控制层,雷达通道会向光学通道 输入信息,反之光学通道也向雷达通道输入信息,具体将由门控机制帮助选择 有效的信息,对于选择光学信息的门控机制定义为:
根据光学数据和雷达数据的信息选择控制门得到融合层的门控制层的输出, 对于雷达信息通道,融合的光学信息是根据光学通道门控制选择的,其输出定 义为:
其中⊙表示哈达马乘积,即向量间对应元素相乘,通过对应元素相乘光学信息 被有选择的融入雷达通道,并以此更新雷达通道的信息,反之亦然;
最终融合层的输出定义为:
可选地,在上述方法中,回归层首先对融合层融合的光学和雷达信息进行 级联处理,组合出回归层的输入数据:
紧接着的一个第二全连接层完成光学和雷达数据的进一步融合,同时将高 维特征映射到低维,以去除冗杂信息,获得光学与雷达深度融合的特征 xf=fFCL(xr)。
可选地,在上述方法中,其中,第一全连接层和第二全连接层具有相同的 结构,即:
y=fFCL(x,θ)=σ(W·x+b) (11)
其中x为第一全连接层或第二全连接层的输入;y为输出;θ为第一全连接 层或第二全连接层的可训练的参数,包含W和b;σ为激活函数;
对于每一个反演参数,使用一个独立的全连接网络进行回归,具体而言:
其中LAI,Biomasswet以及Biomassdry即为反演模型输出的叶面积指数、鲜 生物量及干生物量的反演预测值。
可选地,在上述方法中,基于门控机制的孪生深度网络的时间向量,将一 年365天按照15天为一时间阶段分成25个时间组,每组使用一个n维的向量 表示,形式化地,给定影像成像日期,首先将其转化为时间段的索引i,根据i从 向量表中查找第i行向量作为当前影像的时间向量,并将其与光学数据 以及雷达数据级联。
可选地,在上述方法中,对于基于门控机制的孪生深度网络,给定训练样 本xopt,xSARyLAI,其中yLAI,分别为叶面积指 数、鲜生物量和干生物量的实测值,xopt,xSAR分别表示光学和雷达遥感数据, 结合最小均方误差损失函数,基于多任务学习的目标函数被定义为:
其中LAI,Biomasswet,Biomassdry为反演模型输出的叶面积指数、鲜生物量及干生物量的反演预测值;MSE为均方误差,定义为:
公式(14)使用的是经验风险最小化准则,将其与公式(5)结合,即将公 式(14)中的LAI,Biomasswet,Biomassdry使用公式(5)中估计λ的方法代替,并将公式(15)带入,得到结合Beta混合模型的基于邻域风险最小化的目标函数,得到 最终的训练目标函数:
本发明的技术方案的有益技术效果是:本发明适用于结合光学和雷达遥感数 据的玉米LAI和生物量反演,通过门控机制的孪生神经网络(Gated Siamese Deep NeuralNetwork,GSDNN)模型实现了光学和雷达遥感特征的深层提取和有效融 合,有效克服了仅用光学或雷达遥感数据反演玉米LAI和生物量反演精度受限 的问题,同时解决了常用的光学和雷达遥感数据结合不充分的问题,弥补了基 于经验公式提取的遥感特征对冠层结构表达不足的问题,从而提高了LAI和生 物量的反演精度。
此外,为了克服野外实测数据不足导致的深度学习模型易过拟合、鲁棒性差 的问题,提出了Beta混合方法,有效扩充了数据集,提高了GSDNN模型的鲁 棒性和反演性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将 对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见 地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来 讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的基于数据增广和深度学习的玉米生长参数主被动遥感反演 方法的步骤流程图。
图2是玉米LAI和生物量的GSDNN网络结构图。
图3是基于GSDNN的玉米LAI和生物量主被动反演模型训练流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描 述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方 式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一 致的系统的例子。
本发明的基于数据增广和深度学习的玉米LAI和生物量的主被动遥感反演方 法,具体地是一种基于数据增广和门控机制的孪生神经网络(Gated Siamese Deep NeuralNetwork,GSDNN)进行玉米LAI和生物量主被动遥感反演的方法。该 方法主要包括数据预处理、数据增广、玉米LAI和生物量反演模型构建及训练。 结合图1对本发明方法进行详细说明,本发方法包括以下步骤:
1.数据预处理
首先分别对光学和雷达影像进行辐射定标、几何校正等预处理,获取光学 遥感影像的反射率、植被指数及雷达遥感数据的后向散射系数、极化参数等特 征。
然后采用深度学习标准预处理方法,将上一步得到的输入数据进行归一化 处理,避免数据中不同维度差异过大引起的优化困难问题。给定输入数据 (xo,yo),数据归一化的具体方法为:
2.数据增广
本发明提出了Beta数据混合方法(Beta-mixup),对有限的实测LAI和生物 量数据及其对应遥感数据同时进行混合处理,以建立大量虚拟训练样本(Virtual TrainingExamples)。Beta数据混合方法,通过深度学习模型预测插值系数,避 免了传统方法对数据直接进行的破坏性改变,从而解决传统数据增广方法造成 的源与目标间的不一致性问题。
经典的最小化经验邻域风险(Empirical Vicinal Risk,EVR)可以记为:
本发明使用了一个经典的邻域分布来计算经验邻域风险,其中,邻域分布 为:
其中μ代表邻域分布,n为样本数量,E代表期望,δ(x=xi,y=yi)是狄拉克函 数,λ服从Beta分布,即λ~Beta(α,α),α∈(0,∞)。该邻域分布实质上通过使用服 从Beta分布的数据进行插值,建立了虚拟的数据与标签对:
其中(xi,yi)和(xj,yj)是从训练集中随机抽取的训练样本;λ是插值系数其受参数α的控制。注意当α→0时,领域风险最小化趋近于经验风险最小化。
线性插值在插值数据间不满足线性规律的条件下依然会面临源与目标间的 不一致性问题。虽然较小的λ可以缓解源与目标间的一致性问题,但会降低 虚拟数据的多样性,从而增加深度模型记忆有限样本的风险,引起严重的过拟 合问题,极大的减弱了模型的泛化能力。针对该问题,本发明提出根据预测 插值系数λ的训练方法,使得模型具有解耦能力,通过对插值数据组成部分的 分析,极大的提高了模型的预测能力,从而极大地缓解了源与目标间的不一致 性问题。将公式(2)改写为:
Rβ(f)为通过Beta数据混合方法得到的最小化经验邻域风险,其中yi1和 yi2是合成对应的数据的LAI或生物量实测值,f(·)为预测模型。可以看到, 公式(5)在公式(2)的基础上根据两个插值样本距离对损失函数进行了加权, 随着合成样本间距离的增加,其权重逐渐的减弱,极大的弱化了源与目标间的 一致性问题。本发明将公式(4)和公式(5)组成的训练方法称之为Beta数据 混合方法。本发明利用Beta混合方法对有限的训练数据进行数据增广。
3.构建LAI和生物量反演模型(GSDNN)
本发明提出一种基于门控机制的孪生深度网络(Gated Siamese Deep NeuralNetwork,GSDNN)结合光学与雷达遥感数据反演玉米LAI和生物量。利用门控 机制建立孪生深度网络中两个分支(分别对应光学与雷达遥感数据)之间的多 个信息交流通道,便于光学与雷达数据融合时的信息交互,从而增强深度神经 网络的拟合能力和学习能力,达到提升光学与雷达遥感数据融合能力的目的。 同时门控机制的使用对于增加深度学习模型的深度具有积极意义,避免梯度消 失和梯度爆炸问题。
(1)GSDNN模型结构
图2给出了GSDNN的整体模型图,其共有两种类型的网络层组成:融合 层和回归层。
1)融合层
受长短期记忆模型LSTM的启发,该层采用门控机制。每一层拥有独立的 光学与雷达影像融合通道,使得模型可以在训练过程中参考对方的信息以及状 态,互为条件进行反演。
该层用于光学和雷达遥感数据的深度融合,正如图2所示,GSDNN可以堆 叠多个融合层以进行更彻底的信息融合。在光学和雷达影像的融合过程中,降 低相互干扰,提取每个通道(共两个通道,分别对应光学影像和雷达影像)的 重要信息对于提升反演精度具有重要意义。融合层主要有两部分组成:门控制 层(Gated Control Layer,GCL):用于提取每个通道互补的有效信息,并降低相 互干扰;第一全连接层(Full Connection Layer,FCL):实现特征的非线性变换, 增加模型的映射能力,并完成数据由高维向低维或者由低维向高维的映射。
给定第i个融合层,假设其光学通道输入数据为雷达通道输入数据为 在GCL层,雷达通道会向光学通道输入信息,反之光学通道也向雷达通道 输入信息,具体将由门控机制帮助选择有效的信息,对于选择光学信息的门控 机制定义为:
其中o表示与光学数据相关的数据或参数;σ(·)表示激活函数,本发明采用分 段线性函数ReLU作为激活函数;和是门的可训练参数,由随机梯度下 降法(SGD)训练。同样的,对于选择雷达信息的门控机制定义为:
根据光学数据和雷达数据的信息选择控制门,可以得到该融合层的门控制 层GCL的输出。具体而言,对于雷达信息通道,融合的光学信息是根据光学通 道门控制选择的,其输出定义为:
其中⊙表示哈达马乘积(Hadamard product),即向量间对应元素相乘。通过公 式(8)可以清楚看到,通过对应元素相乘光学信息被有选择的融入雷达通道, 并以此更新雷达通道的信息,反之亦然。通过门控机制控制信息的相互流动, GCL层实现了光学信息与雷达信息的融合。
融合层中的第一全连接层是一个非线性变换,增加了网络的深度以及模型 的拟合能力,最终融合层的输出定义为:
其中和分别表述光学通道与雷达通道的在第i个融合层的输出;为光学通道非线性变换的可学习参数;为雷达通道非线性变换的可训 练参数。其中,图2中的多层交互是指:采用多个融合层实现光学和雷达遥感 数据的交互融合。
2)回归层
GSDNN使用多层感知器(Multi-Layer Perceptron,MLP)利用融合层提取的 深度特征进行回归,以完成玉米LAI和生物量的定量反演。
由于LAI和生物量之间的差异性,本发明针对不同的反演参量使用不同的 参数进行回归并预测LAI和生物量以增加数据的多样化,减弱训练数据较少带 来的模型泛化能力弱和过拟合现象。因此,本发明使用多任务学习机制同时进 行LAI及生物量反演,来代替先前工作中只进行单一参数反演的模式,从而增 强模型的泛化能力,提高模型的反演精度。
回归层首先对融合层融合的光学和雷达信息进行级联处理,组合出回归层 的输入数据:
其中l为融合层的最后一层,和分别表述光学通道与雷达通道的在融合层最后一层的输出。由于融合层的光学通道和雷达通道均通过门控机制有选择的 融合了雷达和光学信息,公式(10)中的级联操作可以最大限度的保持二者的 融合效果。紧接着的一个第二全连接层完成光学和雷达数据的进一步融合,同 时将高维特征映射到低维,以去除冗杂信息,获得光学与雷达深度融合的特征 xf=fFCL(xr)。注意这里使用的fFCL(·)为一个第二全连接层,本发明中所述的全连 接层(第一全连接层和第二全连接层)都具有相同的结构,即:
y=fFCL(x,θ)=σ(W·x+b) (11)
其中x为全连接层的输入;y为输出;θ为全连接层可训练的参数,包含W和b; σ为激活函数,本发明使用分段线性函数ReLU作为激活函数。图2中不同部 分(包括同一个融合层)标识的全连接层均具有各自独立的参数。
本发明以共享的深度特征提取层以及光学和雷达数据融合层为基础,对于 每一个反演参数,使用一个独立的全连接网络进行回归,具体而言:
其中LAI、Biomasswet以及Biomassdry即为模型输出的LAI、鲜生物量及干生物 量的反演预测值。
通过GSDNN完成LAI及生物量的反演后,需要进行对数据归一化之前的 原始值进行估计,具体方法即为公式(1)的逆运算,如公式(13)所示:
(2)GSDNN模型辅助向量及目标函数
1)时间向量
考虑到农作物生长参数随着生长期的推移具有规律性的变化趋势,本发明 引入以半月(15天)为单位的时间信息,作为时间的先验知识,以增强模型反 演精度。由于遥感数据成像日期的离散性以及较大的变化范围,简单的以单一 维度(或者one-hot编码)的成像日期为特征会引起神经网络训练的偏置。受词 向量(word vector)方法的启发,本发明提出一种时间向量的方来来引入时间信 息,即通过对离散时间段进行向量编码的方法,解决上述成像日期引入的难题。 将一年365天按照15天为一时间阶段分成25个时间组,每组使用一个n维的 向量表示。形式化地,给定影像成像日期,首先将其转化为时间段的索引i,根 据i从向量表中查找第i行向量作为当前影像的时间向量,并将其与光 学数据以及雷达数据级联(级联方法与公式(10)保持一致)。该向量是模型向 量的一部分,其在模型训练过程中随着模型参数一起优化。
2)目标函数(Objective Function)
给定训练样本其中YLAI,分别 为LAI、鲜生物量和干生物量的实测值,xopt,xSAR分别表示光学和雷达遥感数 据。结合最小均方误差(Minimum Mean-Square Error,MMSE)损失函数,基于 多任务学习的目标函数被定义为:
其中LAI,Biomasswet,Biomassdry为由公式(12)得到的模型估计值;MSE为均方误差(Mean-Square Error,MSE),其定义为:
公式(14)使用的是经验风险最小化准则,将其与公式(5)结合,即将公式(14) 中的LAI,Biomasswet,Biomassdry使用公式(5)中估计λ的方法代替,并将公式(15)带 入,得到结合Beta混合模型的基于邻域风险最小化的目标函数,综上所述,得 出最终的训练目标函数:
其中TLAI(·,·),以及分别表示LAI、鲜生物量、干生物量的独立预测层与光学和雷达数据提取的深度特征及融合层组合成的基于 门控机制的孪生深度神经网络模型,是通过公式(4)得到的光学和 雷达对应的虚拟数据,即增广后的数据。其中LAI、鲜生物量及干生物量这三个 独立预测层共享光学和雷达数据提取的深度特征及融合层,该层由融合层和回 归层中的一个第二全连接层共同组成。公式(16)中的输入数据和标签的合成 方法与公式(4)与公式(5)所述的方法一致。对于实测数据对应的训练样本 使用目标函数(14)训练模型,对于Beta混合方法增广的数据使用目标函数公 式(16)训练模型。
(3)GSDNN模型的训练
首先根据公式(9),利用融合层对光学和雷达遥感特征进行有机融合;接 着根据公式(12)将融合后的特征输入回归层,得到玉米LAI和生物量的初步预 测值。然后根据目标函数公式(14)(16)对初步预测值进行修正以完成模型训 练。
本发明以位于天津市武清区的试验田获得的数据为基础数据,采用提出的 基于数据增广和深度学习的玉米LAI和生物量主被动遥感反演方法进行玉米 LAI和生物量反演。图3为基于GSDNN的玉米LAI和生物量主被动反演模型 训练流程图,下面结合图3对具体实施方式进行介绍。
1.数据预处理
(1)遥感数据预处理
本发明使用的光学遥感数据为哨兵2号(Sentinel-2)和陆地卫星8号(Landsat-8)数据,共有6个波段;雷达数据为哨兵1号(Sentinel-1)数据, 共有2个不同的波段。分别对获取的玉米4个生长期(拔节期、大喇叭口期、 开花期、灌浆期)的光学和雷达遥感数据进行预处理,共计158个样本点。得 到光学遥感影像的反射率值、并计算5种植被指数(NDVI、RVI、EVI、SAVI、 MSAVI),及雷达遥感影像的后向散射系数及极化参数。研究中以多维特征作为 输入特征。具体而言,光学数据共提取59维特征,即其包括:11维 光谱特征和48维纹理特征。雷达数据共计提取22维特征,即其包 括:6维光谱特征和12维纹理特征。
(2)归一化
考虑到实验数据LAI和生物量范围相差过大(LAI的范围为0.0~6.0,而生 物量的范围为16.48~1559.08g/m2),因此需进行归一化处理。根据公式(1)对 遥感特征和实测LAI和生物量值进行归一化。
2.数据增广
根据Beta混合方法,即公式(4)和(5),对现有的遥感数据和野外实测数 据进行增广处理,以得到大量虚拟数据,以辅助深度学习模型进行训练。
Beta混合方法中,α设置为0.2,混合过程中进行多次随机采样,并合成混 合数据。采样次数即为合成数据集大小。具体的,对于每次采样,本发明随机 从上面得到了光学特征(59维)以及雷达特征(22维)集的所有样本中选取2 个样本,具体的计算方法如公式(4)所示。
3.构建LAI和生物量反演模型(GSDNN)
(1)对模型参数进行随机初始化。
如图2的GSDNN网络结构图所示,GSDNN可以有多个融合层和一个回归 层组成。具体地,本发明使用3个融合层,分别为光学处理通道,输入维度为 59维;雷达数据处理通道,输入维度为22维;光学和雷达数据处理通道,输入 维度为81维。各层其他具体网络规模参数定义如下:
1)融合层门控制层隐层大小为300维,全连接层隐层为300维,输出特征 维度为300维,3个融合层内部参数大小保持一致;
2)回归层的输入层为最后一个融合层中光学数据处理通道和雷达数据处理 通道的级联,因此输入层大小为600维。回归层中LAI,鲜生物量及干生物量的 独立预测全连接层的隐层大小均为300维,输出为对应的LAI,鲜生物量及干生 物量的模型预测值,具体为标量,即各1维;
3)时间向量维度n设置为10。
4)本发明使用随机梯度下降法优化GSDNN。具体地,学习率设为0.0001。 数据批处理大小(batch size)设为100,即同时处理100个样本。本发明使用基 于python语言的Pytorch(https://pytorch.org/)深度学习框架及GPU编程技术完 成所有代码编写。代码运行服务器环境为Ubuntu 18.04,python 3.6.8,使用8块 GeForce RTX 2080Ti进行GPU运算。
5)为降低数据随机性造成的影响,本发明进行100次5折交叉验证,然后 在共计500次实验上的结果上计算并回报均值与方差。具体地,每次将数据随 机划分为5份,然后循环使用每一份作为测试集。因为深度模型训练依赖于验 证集验证收敛情况,本发明从余下的4份中随机选取10%的数据作为验证集, 剩下的所有数据作为训练集。
(2)取一批训练数据,输入到GSDNN模型,然后执行模型前向传播(通 过1.融合层和2.回归层),输出预测值,具体通过多层融合层公式(6)-(9)以 及回归层公式(10)-(13)得到模型的LAI和生物量的模型估计值。
(3)通过公式(14)-(16)计算模型损失。
(4)使用验证集(Development Set)进行模型收敛性验证,即,验证是否 收敛,如果模型在验证集上损失值不再下降,则认为模型已经收敛,收敛则训 练结束,否则转下一步。
(5)使用随机梯度下降法训练模型:通过反向求导计算网络各层参数对应 的梯度,使用随机梯度下降法结合学习率更新模型参数。转步骤(3)
4、LAI和生物量反演结果
表1,2给出了玉米LAI和生物量反演模型的精度评价结果。由于鲜生物量 易受天气干旱状况的影响,故实际应用中以干生物量为参考指标。依据表1和2, 对实验结果进行如下分析:
首先,由实验结果可以看出:GSDNN相比于MLP,在玉米的LAI及生物 量的反演中取得了更好的效果。尤其干生物量R2提升了20%(从0.53提升到 0.73),预测误差RMSE从246.55g/m2下降到181.62g/m2。这是由于GSDNN采 用基于门控机制的光学与雷达影像的融合方式,可以更好的传递以及融合知识, 从而在数据量相同的情况下取得了更好的效果。其次时间向量的引入,增强了 模型对生长时间的感知能力,更容易的拟合以及利用玉米的生长规律,对于生 物量的反演具有重要的促进作用。
表1中的MLP+Beta-mixup以及GSDNN+Beta-mixup即为结合Beta混合方 法的实验结果。可以看到使用Beta-mixup方法能够提升玉米的LAI及生物量反 演模型的R2,以及具有更小的预测误差RMSE,说明Beta-mixup方法能提高玉 米LAI和生物量的反演精度。由于GSDNN模型的交互方式更加复杂,参数量 大,使用Beta-mixup方法能够避免模型过拟合收敛于少数的样本,增加模型在 参数空间的收敛范围,从而在数据量不足的情况下取得更好的LAI及生物量反 演精度。特别地,GSDNN与Beta混合方法结合后相比于单独使用GSDNN方法,对于LAI及鲜/干生物量的反演,R2均有较大的提升,RMSE有较大的降低。
由于深度学习训练过程中使用梯度下降法具有一定的随机性,本发明进行 100次5折交叉验证并计算均值与标准差。从表1和表2中可以看出:MLP方 法和GSDNN模型在结合Beta混合方法后对于LAI和生物量反演模型的R2和 RMSE的标准差有较大的下降,例如,对于玉米干生物量的反演,MLP方法的 R2的标准差由0.15下降到0.10,RMSE的标准差由0.12下降到0.07;GSDNN 的R的标准差由0.12下降到0.04,RMSE的标准差由34.23下降到18.35。考虑 到原始标准差并不大,因此加入Beta混合方法后,标准差有显著的下降。这说 明Beta混合方法可以减小训练中的不稳定性,增强模型的鲁棒性。同时,相比 于MLP方法,本发明提出的GSDNN模型在引入Beta混合方法和不引入Beta 混合方法的情况下,都有较低的标准差。这是因为GSDNN模型能实现光学与 雷达数据的深度特征提取和融合,可以稳定的提取有效信息并进行玉米的LAI 和生物量的反演,从而不易受数据随机性以及训练随机性的影响,增强模型的 鲁棒性。
值得注意的是,使用少量的数据(158个样本点)训练深度模型并没有出现 病态现象(参数异常,无法进行正确预测等)。尽管少量的样本可以训练出合理 的模型,但更大数据量可以提高模型的精度和鲁棒性。由表1和2可以看出, 使用Beta混合方法通过数据增广可以缓解这个问题,提高反演模型精度。
表1基于深度学习的多种模型对比结果(R2)
表2基于深度学习的多种模型对比结果(RMSE)
本发明的特征和益处通过参考实施例进行说明。相应地,本发明明确地不 应局限于这些说明一些可能的非限制性特征的组合的示例性的实施例,这些特 征可单独或者以特征的其它组合的形式存在。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方 案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对 本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术 领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载 的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替 换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施 例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明 的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法,其特征在于:包括以下步骤:
S1:数据预处理,其包括分别对光学和雷达影像进行预处理得到输入数据,以及对所述输入数据进行归一化处理;
S2:利用Beta数据混合方法对有限的实测叶面积指数和生物量数据及其对应遥感数据同时进行混合处理,以建立大量虚拟训练样本来进行数据增广,其中,所述Beta数据混合方法包括:
使用邻域分布来计算经验邻域风险,其中,邻域分布为:
其中,μ代表邻域分布,n为样本数量,E代表期望,δ(x=xi,y=yi)是狄拉克函数,xi,yi表示从真实数据中随机采样的同分布训练样本,λ服从Beta分布,即λ~Beta(α,α),α∈(0,∞),所述邻域分布通过使用服从Beta分布的数据进行插值,建立虚拟的数据与标签对:
其中(xi,yi)和(xj,yj)是从训练集中随机抽取的训练样本,λ是插值系数其受参数α的控制;
通过Beta数据混合方法得到最小化经验邻域风险,表示为:
S3:通过基于门控机制的孪生深度网络结合光学与雷达遥感数据构建叶面积指数和生物量反演模型,其中,对于所述基于门控机制的孪生深度网络,给定训练样本其中分别为叶面积指数、鲜生物量和干生物量的实测值,xopt,xSAR分别表示光学和雷达遥感数据,结合最小均方误差损失函数,基于多任务学习的目标函数被定义为:
其中LAI,Biomasswet,Biomassdry为反演模型输出的叶面积指数、鲜生物量及干生物量的反演预测值;MSE为均方误差,定义为:
公式(14)使用的是经验风险最小化准则,将其与公式(5)结合,即将公式(14)中的LAI,Biomasswet,Biomassdry使用公式(5)中估计λ的方法代替,并将公式(15)带入,得到结合Beta混合模型的基于邻域风险最小化的目标函数,得到最终的训练目标函数:
3.根据权利要求1所述的方法,其特征在于:在步骤S3中,所述基于门控机制的孪生深度网络包括融合层和回归层,其中,所述融合层用于光学和雷达遥感数据的深度融合,以及所述融合层包括用于提取每个通道互补的有效信息并降低相互干扰的门控制层以及用于实现特征的非线性变换、增加模型的映射能力并完成数据由高维向低维或者由低维向高维的映射的第一全连接层。
4.根据权利要求3所述的方法,其特征在于:
给定第i个融合层,假设其光学通道输入数据为雷达通道输入数据为在所述门控制层,雷达通道会向光学通道输入信息,反之光学通道也向雷达通道输入信息,具体将由门控机制帮助选择有效的信息,对于选择光学信息的门控机制定义为:
根据光学数据和雷达数据的信息选择控制门得到所述融合层的门控制层的输出,对于雷达信息通道,融合的光学信息是根据光学通道门控制选择的,其输出定义为:
其中⊙表示哈达马乘积,即向量间对应元素相乘,通过对应元素相乘光学信息被有选择的融入雷达通道,并以此更新雷达通道的信息,反之亦然;
最终融合层的输出定义为:
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020107755366 | 2020-08-05 | ||
CN202010775536 | 2020-08-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112487879A CN112487879A (zh) | 2021-03-12 |
CN112487879B true CN112487879B (zh) | 2023-01-17 |
Family
ID=74930087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011265251.4A Active CN112487879B (zh) | 2020-08-05 | 2020-11-13 | 一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112487879B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113534158A (zh) * | 2021-06-10 | 2021-10-22 | 国家卫星气象中心(国家空间天气监测预警中心) | 基于深度学习的静止轨道气象卫星雷达反射率因子反演方法 |
CN114925947B (zh) * | 2022-03-04 | 2023-04-07 | 武汉大学 | 一种物候自适应的作物生理指标深度学习估测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287457A (zh) * | 2019-07-02 | 2019-09-27 | 吉林大学 | 基于卫星雷达遥感数据的玉米生物量反演测算方法 |
CN111126511A (zh) * | 2020-01-02 | 2020-05-08 | 国智恒北斗好年景农业科技有限公司 | 一种基于植被指数融合的lai定量模型建立的方法 |
CN111414891A (zh) * | 2020-04-07 | 2020-07-14 | 云南电网有限责任公司昆明供电局 | 基于激光雷达与光学遥感的输电线路通道树高反演方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108985238B (zh) * | 2018-07-23 | 2021-10-22 | 武汉大学 | 联合深度学习和语义概率的不透水面提取方法及系统 |
CN111161218A (zh) * | 2019-12-10 | 2020-05-15 | 核工业北京地质研究院 | 一种基于孪生卷积神经网络的高分遥感影像变化检测方法 |
-
2020
- 2020-11-13 CN CN202011265251.4A patent/CN112487879B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287457A (zh) * | 2019-07-02 | 2019-09-27 | 吉林大学 | 基于卫星雷达遥感数据的玉米生物量反演测算方法 |
CN111126511A (zh) * | 2020-01-02 | 2020-05-08 | 国智恒北斗好年景农业科技有限公司 | 一种基于植被指数融合的lai定量模型建立的方法 |
CN111414891A (zh) * | 2020-04-07 | 2020-07-14 | 云南电网有限责任公司昆明供电局 | 基于激光雷达与光学遥感的输电线路通道树高反演方法 |
Non-Patent Citations (2)
Title |
---|
A Deep Learning Model With Capsules Embedded for High-Resolution Image Classification;Yujuan Guo 等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ( Volume: 14)》;20201021;全文 * |
Combining Spectral and Texture Features for Estimating Leaf Area Index and Biomass of Maize Using Sentinel-1/2, and Landsat-8 Data;Peilei Luo 等;《IEEE Access ( Volume: 8)》;20200317;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112487879A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109165664B (zh) | 一种基于生成对抗网络的属性缺失数据集补全与预测方法 | |
Zhang et al. | Regression-enhanced random forests | |
Li et al. | EA-LSTM: Evolutionary attention-based LSTM for time series prediction | |
CN110322009B (zh) | 基于多层卷积长短时记忆神经网络的图像预测方法 | |
CN112487879B (zh) | 一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法 | |
Sharma et al. | Wheat crop yield prediction using deep LSTM model | |
CN111583165A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113408742B (zh) | 一种基于机器学习的高精度海表温度反演方法 | |
Wang et al. | A deep learning framework combining CNN and GRU for improving wheat yield estimates using time series remotely sensed multi-variables | |
Grunwald | Artificial intelligence and soil carbon modeling demystified: power, potentials, and perils | |
Mahesh et al. | Forecasting El Niño with convolutional and recurrent neural networks | |
CN111476272B (zh) | 一种基于结构约束对称低秩保留投影的降维方法 | |
CN112464172B (zh) | 生长参数主被动遥感反演方法及装置 | |
Liu et al. | Glowimp: combining glow and gan for multivariate time series imputation | |
Stathakis et al. | Neuro-fuzzy modeling for crop yield prediction | |
CN117114168A (zh) | 一种长时间尺度的海面温度智能预报方法 | |
Feitosa et al. | Modeling alternatives for fuzzy Markov chain-based classification of multitemporal remote sensing data | |
Cottin et al. | IDNetwork: A deep illness‐death network based on multi‐state event history process for disease prognostication | |
Suzuki | Continuous-time smooth ambiguity preferences | |
Inzirillo et al. | An attention free long short-term memory for time series forecasting | |
CN113221450B (zh) | 一种针对稀疏不均匀时序数据的航位预测方法及系统 | |
CN115565669A (zh) | 一种基于gan和多任务学习的癌症生存分析方法 | |
CN114692971A (zh) | 一种基于产量差的作物产量预测方法及装置 | |
Kim et al. | Physics-informed convolutional transformer for predicting volatility surface | |
Trifunov et al. | A data-driven approach to partitioning net ecosystem exchange using a deep state space model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |