CN110287944A - 基于深度学习的多光谱遥感影像的农作物虫害监测方法 - Google Patents

基于深度学习的多光谱遥感影像的农作物虫害监测方法 Download PDF

Info

Publication number
CN110287944A
CN110287944A CN201910597394.6A CN201910597394A CN110287944A CN 110287944 A CN110287944 A CN 110287944A CN 201910597394 A CN201910597394 A CN 201910597394A CN 110287944 A CN110287944 A CN 110287944A
Authority
CN
China
Prior art keywords
data
input
lstm
remote sensing
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910597394.6A
Other languages
English (en)
Other versions
CN110287944B (zh
Inventor
顾玲嘉
王钰涵
任瑞治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910597394.6A priority Critical patent/CN110287944B/zh
Publication of CN110287944A publication Critical patent/CN110287944A/zh
Application granted granted Critical
Publication of CN110287944B publication Critical patent/CN110287944B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明公开了一种基于深度学习的多光谱遥感影像的农作物虫害监测方法，属于卫星遥感图像处理与应用的技术领域。本发明的目的是解决现有方法对农作物虫害监测的时效性差，单一指数光谱信息不稳定，高光谱无人机数据获取难等问题。本发明采用10组特征波段光谱的组合，构建出一个LSTM长短期记忆网络，并通过深度学习的方法训练出能够对遥感影像中的农作物虫害进行分类的模型，本发明方法能自动、高效地从多光谱卫星遥感影像中识别农作物虫害灾情，为农业生产灾情预测防治、农业保险理赔等诸多领域提供一定的技术支持。

Description

基于深度学习的多光谱遥感影像的农作物虫害监测方法
技术领域
本发明属于卫星遥感图像处理与应用的技术领域。
背景技术
农作物虫害是威胁农作物产量和品质的第一大自然生物灾害，容易受作物品种、作物种植方式以及生长环境等众多因素的影响。近几年，全球气候恶劣变化为害虫的孵化产生提供了良好的生长环境，大区域爆发的虫害极大威胁了作物的正常生长，导致全球粮食产量安全问题日益突出。长期以来为了监测农作物病虫害发生的范围和发生程度，主要采用植保人员进行田间实地调查的方法，这种方法具有一定的真实性，但是存在费时费力和时效性差的缺点。随着遥感技术的快速发展，传统方法需要与遥感数据相结合，可以更大程度地发挥作用，实现监测大区域范围的农作物虫害灾情的目的。目前，对于农作物虫害的监测及防治方法主要有以下4种：依赖地面传感器的虫害监测；基于单一光谱指数响应的虫害监测；基于高光谱遥感数据的虫害监测、基于无人机航测得到的虫害实情。代表研究如下：
在使用地面传感器监测虫害的研究中，唐佳明使用融合多传感器研究出针对小麦病虫害监测系统，证明了使用农田环境信息预测小麦蚜虫发生程度等级情况是现实可行的。(参见基于多传感器融合的小麦病虫害监测系统研究)；在对农作物光谱特征分析的过程中，袁琳等基于农作物遭受虫灾袭击后的光谱特征的变化使用小波变化的技术手段对小麦虫害进行研究分析，最终研究表明，基于连续小波分析的病虫害区分模型由于能够捕捉光谱的形状特征，对于支持复杂农田环境下的病虫害区分和监测具有较大的潜力。(参见基于连续小波分析的小麦病虫害光谱区分研究)；近几年，逐渐使用高光谱数据或无人机航测数据对虫害进行大范围监测，简俊凡等使用高光谱遥感技术监测农作物病虫害并分析将高光谱遥感技术用于农作物病虫害监测的巨大优势和存在问题。(参见农作物病虫害遥感监测综述)；Ye Tan等在高光谱遥感数据中提取RVI(植物比值指数)对水稻作物的飞虱虫害进行研究，得出了使用RVI指数可以准确的监测稻飞虱虫害的发生状况。(参见Sensitivityof a Ratio Vegetation Index Derived from Hyperspectral Remote Sensing to theBrown Planthopper Stress on Rice Plants)；景晨将无人机巡航拍照定位技术和图像处理软件用于水稻感染虫害的识别，验证了基于无人机平台的水稻感染稻纵卷叶螟虫害自动识别技术的准确性可以达到85％以上。(参见基于无人机平台和图像处理的水稻感染稻纵卷叶螟虫害自动识别技术)。
到目前为止，国内外学者提出了很多农作物虫害监测的方法，但仍存在一些明显的缺陷：(1)仅依赖地面传感器的监测方法时效性差；(2)高光谱数据及无人机数据获取成本较高，不利于长期使用(3)仅依赖单一指数变化情况的虫害监测方法准确率低。
使用多光谱卫星遥感数据可以解决数据源不足的问题；区别于传统虫害监测方法，使用深度学习模型分析提取的多种光谱指数之间的潜在特征，可以克服单一指数的虫害监测方法片面性的缺点，有利于农作物虫害的准确监测。
发明内容
为了解决现有方法对农作物虫害监测时效性差，单一指数光谱信息不稳定，高光谱无人机数据获取难等问题。本发明使用深度学习LSTM网络模型利用多种农作物指数对Landsat8多光谱遥感数据进行农作物虫害监测。提取农作物归一化植被等指数(NDVI)、差值植被指数(DVI)、重归一化植被指数(RDVI)、叶面冠层水分指数(NDWI)。利用深度学习LSTM网络模型综合考虑多光谱原始波段数据与提取的NDVI、DVI、RDVI、NDWI指数之间的关系，有效地监测农作物虫害情况，进而对农作物虫害进行有效防治。
本发明采用的技术方案具体步骤如下：
步骤一、影像预处理：将Landsat8数据中的多光谱图像进行辐射定标和大气校正，最后进行图像剪裁选取需要的图像区域的步骤。
(a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、反射率或者表面温度等物理量的处理过程。辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)能自动从元数据文件中读取参数，从而完成辐射定标。
(b)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率。
(c)图像剪裁用于获得感兴趣的区域(ROI)。
步骤二、提取多种农作物的光谱指数：针对预处理后的Landsat8多光谱像的波段信息，提取农作物归一化植被指数(NDVI)；提取农作物差值植被指数(DVI)；提取农作物的重归一化植被指数(RDVI)；提取农作物叶面冠层水分指数(NDWI)。
将Landsat8多光谱数据进行波段运算，计算归一化植被指数NDVI，计算公式如公式(1)所示；计算提取农作物差值植被指数DVI，计算公式如(2)
NDVI＝(NIR-Red)/(NIR+Red)………………………(1)
DVI＝NIR-Red………………………(2)
其中式(1)和(2)中，NIR代表Landsat8数据中得到近红波段的反射率，Red代表Landsat8数据中的绿色波段的反射率。
利用式(1)NDVI、式(2)DVI进行运算，得到农作物重归一化植被指数RDVI，计算公式如(3)
由于农作物受虫害侵袭，会导致农作物叶面发生变化，导致农作物对于水分吸收受到影响，因而计算Landsat8光谱数据中的叶子冠层水分指数NDWI，可以监测农作物虫害，计算公式如(4)
NDWI＝(Green-NIR)/(Green+NIR)……………(4)
其中式(4)中，Red代表Landsat8数据中的红色波段的反射率，NIR代表Landsat8数据中近红波段的反射率。
步骤三、将Landsat8原始卫星数据中的红波段、绿波段、蓝波段、近红外波段(NIR)和两个短波红外波段(SWIR1、SWIR2)共六个原始波段与步骤二中得到的NDVI、DVI、RDVI和NDWI四个波段指数做波段融合计算，形成一个空间分辨率为30m的拥有10个有效波段的新数据。
步骤四、训练集的选取：在获取到的遥感影像中农作物遭受虫害侵袭后会表现出不同的光谱特征，为受不同等级虫害侵袭地块以及无虫害发生地块分别选择训练样本，并基于像素点分类，其中选择80％的像素点进行训练，20％的像素点进行测试。训练数据的选取对深度学习的模型精度是有很大影响的，一般从可以两个方面考虑，一方面提升训练样本的质量，另一方面是控制样本的数量。
(a)样本质量
训练样本的质量可以反映出的样本在总体分布的程度，可以体现整个训练样本所能提供的信息量，它将对深度学习网络模型的泛化能力有很大的影响。
(b)样本数量
样本数量是指训练某个深度学习模型时所需的样本数，样本数目对网络性能起重要作用。训练样本数量过少，可能会导致网络在训练时不能收敛；训练样本数量过多，会导致训练时发生过拟合。当样本数量不足时，可以使用数据增强的方法扩充数据集大小，例如旋转图像方向、扭曲图像特征、改变图像尺寸大小、增强图像噪音等。
步骤五、构建LSTM网络结构模型，所述的LSTM网络结构由四个部分组成，
(a)LSTM网络的第1部分为输入层，输入图像大小为n×10×1，其中n为批处理参数(batch_size)的大小，10为特征波段组合个数；所述的批处理参数为实验区的数据原图上的总像素数目的约数。
(b)LSTM网络的第2部分：由四个LSTM单元网络和四个随机失活(Dropout)层交替组合而成，其中单个LSTM单元网络的滤波器(filter)的个数为32，随机失活层随机选择网络中的50％样本数据进行失活处理，可以有效地缓解过拟合，在一定程度上达到正则化的效果。
(c)LSTM网络的第3部分是一个滤波器的个数为64的全连接层(Full Connected)，数据需要经过扁平化的操作传入全连接层，全连接层的输入为n×320，输出为n×64。
(d)LSTM网络的第4部分使用Softmax分类器为输出层，输出数目n×4，分类结果为重度虫害、中度虫害、无虫害和其他4个监测结果。
所述的LSTM单元网络由遗忘门、输入门和输出门组成；
其中，遗忘门的功能是决定应丢弃或保留哪些信息。来自前一个隐藏状态的信息和当前输入的信息同时传递到sigmoid函数中去，输出值介于0和1之间，越接近0意味着越应该丢弃，越接近1意味着越应该保留。
ft＝σ(Wf·[ht-1，xt]+bf)………………………(6)
遗忘门的输入是ht-1，和xt，ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ是Sigmoid的激活函数，Wf是输入数据与遗忘门之间的权重矩阵，bf是偏移量。
输入门：输入门负责处理当前序列位置的输入，由两部分组成，第一部分使用了sigmoid激活函数，输出为it，第二部分使用了tanh激活函数，输出为两者的结果后面会相乘再去更新细胞状态。
it＝σ(Wi·[ht-1，xt]+bi)………………………(7)
ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ是Sigmoid的激活函数，Wi和Wc是输入数据与输入门之间的权重矩阵，bi和bc是偏移量。
使用遗忘门和输入门的输出结果更新网络状态：
(a)输出门：输出门的功能用于输出内容，其实就是计算另一个隐态ht的值，真正的输出(如类别)需要通过ht做进一步的运算得到。
ot＝σ(Wo·[ht-1，xt]+bo)………………………(10)
ht＝ot×tanh(Ct)………………………(11)
ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ代表Sigmoid激活函数，Wo是输入数据与输出门之间的权重矩阵，bo是偏移量。
为了让深度学习网络在训练过程中学习到有用的信息，所以LSTM单元在初次循环的时候，网络结构中的权重参数与偏移量参数都会经过系统自动初始化步骤。根据经验不断尝试，只需将权重参数与偏移量参数的取值范围设为-0.3～0.3封装到LSTM单元代码中，在训练过程中通过反向传播不断调节后续LSTM单元中的权重值与偏移量，LSTM单元会自动寻找到不同门结构中的最优权重参数与偏移量参数。
步骤六、将所选择的样本像素点输入所构建LSTM网络结构模型中在每个LSTM单元里要进行10次训练，以获得10个不同波段下的样本信息，经过10000次迭代后训练得到高精度模型；
步骤七、将10个有效波段的新数据输入模型，得到农作物虫害分类结果。
本发明的有益效果：
本发明提取预处理后的遥感影像的NDVI、DVI、RDVI、NDWI四种波段指数，然后将提取的波段指数特征与Landsat8数据原始波段组合，并通过LSTM深度学习模型对农作物虫害进行监测，比较准确地监测了遥感影像中农作物虫害灾情情况，解决了虫害监测依赖地面数据时效性差、依赖高光谱数据造价高、依赖单一光谱指数准确率低等缺点。本发明综合考虑了农作物发生虫害之后多种作物光谱指数变化情况，提出了将多种特征波段的组合并通过LSTM深度学习网络监测虫害，以获得更准确的虫害监测结果。本发明方法能自动、高效地从多光谱卫星遥感影像中识别农作物虫害灾情，为农业生产灾情预测防治、农业保险理赔等诸多领域提供一定的技术支持。
附图说明：
图1是本发明使用的研究区。
图2是本发明基于深度学习多光谱遥感影像农作物虫害监测方法流程图。
图3是本发明实施例1的提取四种指数对虫害监测影响效果图。
图4是本发明实施例1的10波段的研究区的数据图。
图5是本发明实施例1的LSTM算法网络结构图。
图6是本发明实施例1的LSTM单元网络的门结构图。
图7是本发明实施例1的LSTM网络在10个特征波段组合下的多光谱遥感影像农作物虫害监测结果。
具体实施方式
实施例1：
采用LSTM网络对10个特征波段的组合进行分类，如表1所示，采用空间分辨率30m的Landsat8多光谱影像作为实验数据，Landsat8原始数据具有6个不同的波段，分别是蓝色波段、绿色波段、红色波段、近红外波段、波段范围在1.560～1.651um的短波红外1、波段范围在2.1～2.3um的短波红外2(表1)。实验区位于吉林省农安市(图1)，周边的农作物种植茂密，多为水稻、玉米、大豆等东北常见作物，经过调查验证试验区在2012年遭受了虫害侵袭。因而使用2012年8月9日的Landsat8数据验证本发明监测农作物虫害方法的有效性，参照本实例整体流程图(图2)。
表1
波段 波段名称 波段范围(um) 空间分辨率(m)
1 蓝色波段(Blue) 0.450～0.515 30
2 绿色波段(Green) 0.525～0.6 30
3 红色波段(Red) 0.63～0.68 30
4 近红外波段(NIR) 0.845～0.885 30
5 短波红外1(SWIR1) 1.560～1.651 30
6 短波红外2(SWIR2) 2.1～2.3 30
步骤一：影像预处理
获取到的多光谱Landsat8数据行辐射定标与大气校正，并对处理好的遥感图像进行图像剪裁选取需要的图像区域。
(a)辐射定标：利用完整的遥感图像处理平台(ENVI)的辐射定标工具(RadiometricCalibration)完成数字量化值(DN)到辐射亮度值的转化。
(b)大气校正：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差。
(c)通过图像剪裁获得感兴趣的区域(ROI)。最终获得的吉林省农安市实验区，数据尺寸大小为3878×3190，总像素数目为3878×3190＝12370820个像素点。
步骤二、提取特征指数
由于农作物在发生虫害之后，受虫害的农作物叶片会受到损伤，导致农作物的光合作用及水分吸收受到影响，因而受虫害的农作物的归一化植被指数(NDVI)、差值植被指数(DVI)、重归一化植被指数(RDVI)和叶面冠层水分指数(NDWI)与正常农作物存在差距，因而本发明采用综合考虑多种农作物生长指数来监测农作物虫害灾情。将提取出的四个特征指数以.tif的格式在遥感图像处理平台(ENVI)分别输出四个特征指数图。四种指数对虫害监测结果影响各不相同(图3)，本实例综合考虑四种指数对农作物虫害的影响对农作物进行有效的虫害监测。
步骤三：多光谱遥感影像的特征波段组合
使用1幅Landsat8多光谱数据，将红波段、绿波段、蓝波段、近红波段、2个短波红外波段、归一化植被指数(NDVI)、差值植被指数(DVI)、重归一化植被指数(RDVI)和叶面冠层水分指数(NDWI)特征波段组合成10个波段(图4)，波段组合情况见表2。
表2
波段数目 波段组合情况
10波段 Bule、Green、Red、NIR、SWIR1、SWIR2、NDVI、DVI、RDVI、NDWI
步骤四：训练集的选取。
根据遥感影像中受不同等级虫害侵袭后会表现出不同光谱特性，将实验区的虫害监测划分为四类，包括重度虫害、中度虫害、无虫害和其他。在遥感影像上分别选取遭受不同虫害等级农作物的训练样本，选取的训练样本在样本质量与样本数量上均满足要求。基于图像像素点进行分类，其中约12000个像素点进行训练，约3000个像素点进行测试。
步骤五：LSTM算法
LSTM(Long Short-Term Memory)是长短期记忆网络，适合于处理和预测时间序列中样本内部信息发生改变的重要事件。LSTM是循环神经网络(RNN)的变形结构，在普通循环神经网络基础上，LSTM在隐藏层各神经单元中增加记忆单元，从而使样本的记忆信息可控，每次在隐藏层各单元间传递时通过输入门、遗忘门、输出门控制之前信息和当前信息的记忆和遗忘程度，从而使LSTM网络具备了长期记忆功能。LSTM的核心概念在于细胞状态以及“门”结构。细胞状态相当于信息传输的路径，让样本信息能在序列连中传递下去，细胞状态能够将序列处理过程中的相关信息一直传递下去。LSTM通过“门”结构来实现信息的添加和移除，“门”结构在训练过程中会去学习该保存或遗忘哪些信息。门结构中使用sigmoid激活函数。把值压缩到0～1之间，0代表遗忘该样本信息特征，1代表保存该样本特征。这样LSTM网络就能了解哪些数据是需要遗忘，哪些数据是需要保存。
所述的LSTM网络结构由四个部分组成(图5)，
(a)LSTM网络的第1部分为输入层，输入图像大小为110×10×1，其中110为批处理参数(batch_size)的大小，10为特征波段组合个数。
(b)LSTM网络的第2部分：由四个LSTM单元网络和四个随机失活(Dropout)层交替组合而成，其中单个LSTM单元网络的滤波器(filter)的个数为32，随机失活层随机选择网络中的50％样本数据进行失活处理，可以有效地缓解过拟合，在一定程度上达到正则化的效果。
(c)LSTM网络的第3部分是一个滤波器的个数为64的全连接层(Full Connected)，数据需要经过扁平化的操作传入全连接层，全连接层的输入为110×320，输出为110×64。
(d)LSTM网络的第4部分使用Softmax分类器为输出层，输出数目110×4，分类结果为重度虫害、中度虫害、无虫害和其他4个监测结果。
所述的LSTM单元网络由遗忘门、输入门和输出门组成；(图6)
其中，遗忘门的功能是决定应丢弃或保留哪些信息。来自前一个隐藏状态的信息和当前输入的信息同时传递到sigmoid函数中去，输出值介于0和1之间，越接近0意味着越应该丢弃，越接近1意味着越应该保留。
ft＝σ(Wf·[ht-1，xt]+bf)………………………(6)
遗忘门的输入是ht-1，和xt，ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ是Sigmoid的激活函数，Wf是输入数据与遗忘门之间的权重矩阵，bf是偏移量。
输入门：输入门负责处理当前序列位置的输入，由两部分组成，第一部分使用了sigmoid激活函数，输出为it，第二部分使用了tanh激活函数，输出为两者的结果后面会相乘再去更新细胞状态。
it＝σ(Wi·[ht-1，xt]+bi)………………………(7)
ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ是Sigmoid的激活函数，Wi和Wc是输入数据与输入门之间的权重矩阵，bi和bc是偏移量。
使用遗忘门和输入门的输出结果更新网络状态：
(a)输出门：输出门的功能用于输出内容，其实就是计算另一个隐态ht的值，真正的输出(如类别)需要通过ht做进一步的运算得到。
ot＝σ(Wo·[ht-1，xt]+bo)………………………(10)
ht＝ot×tanh(Ct)………………………(11)
ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ代表Sigmoid激活函数，Wo是输入数据与输出门之间的权重矩阵，bo是偏移量。
为了让深度学习网络在训练过程中学习到有用的信息，所以LSTM单元在初次循环的时候，网络结构中的权重参数与偏移量参数都会经过系统自动初始化步骤。根据经验不断尝试，只需将网络参数的取值范围设为-0.3～0.3封装到LSTM单元代码中，并通过反向传播不断调节后续LSTM单元中的的权重值与偏移量，LSTM单元会自动寻找到不同门结构中的最优权重参数与偏移量。
使用LSTM网络的遗忘门、输入门、输出门可以使网络具有时序记忆性，进而发现样本数据不同波段之间信息变化来预测信息变化情况，综合考虑了多种参数来监测虫害灾情，达到了提升虫害监测结果准确性的目的。
表3
实验区的数据尺寸大小为3878×3190，实验区的总像素数目为3878×3190＝12370820个像素点，110是其总像素数目的约数，因而LSTM算法的batch_size＝110。实验区的数据波段数目为10，因而在每个LSTM单元里要进行10次训练，分别提取10个不同波段下的样本信息。不同迭代次数下LSTM算法训练精度的会有所变化，最终选择的迭代次数为10000次可以获得最高的模型精度。LSTM算法的参数设置见表3。
LSTM算法在10个特征波段组合下的农作物虫害监测结果如图7所示，通过实测数据对最终的分类结果进行验证，验证数据的选取是经过野外观测与专家解译的。监测结果主要分为重度虫害、中度虫害、无虫害及其他地物四种地物类别。
原始数据预处理后，提取出归一化植被指数(NDVI)、差值植被指数(DVI)、重归一化植被指数(RDVI)和叶面冠层水分指数(NDWI)，将Landsat8遥感影像中的红波段、绿波段、蓝波段、近红波段、2个短波红外波段、归一化植被指数(NDVI)、差值植被指数(DVI)、重归一化植被指数(RDVI)和叶面冠层水分指数(NDWI)组合成10个波段送入LSTM算法进行农作物虫害监测分类。得到的监测结果可以有效的定位出遭受虫害地理位置及虫害等级，总体精度达到89.0136％，Kappa系数为0.8197。
实验结果：
为了说明使用深度学习LSTM算法在多光谱遥感影像农作物虫害监测有效性，选择两种传统虫害监测方法(基于地面传感器虫害监测方法与依赖单一指数的虫害监测方法)与本发明方法对比。传统的农作物虫害监测方法在农作物虫害监测中的表现同样优秀，但其存在时效性长和准确性不足等问题。本发明基于深度学习LSTM算法对多光谱遥感影像农作物虫害监测算法的准确率较高、时效性强且原始数据获取较为容易，有利于及时监测农作物虫害实时灾情。

Claims (2)

1.基于深度学习的多光谱遥感影像的农作物虫害监测方法，其特征在于，该方法包括：
步骤一、影像预处理：将Landsat8数据中的多光谱图像进行辐射定标和大气校正，最后进行图像剪裁选取需要的图像区域的步骤；
步骤二、提取多种农作物的光谱指数：针对预处理后的Landsat8多光谱像的波段信息，提取农作物归一化植被指数NDVI；提取农作物差值植被指数DVI；提取农作物的重归一化植被指数RDVI；提取农作物叶面冠层水分指数NDWI；
计算归一化植被指数NDVI，计算公式如公式(1)所示；计算提取农作物差值植被指数DVI，计算公式如(2)
NDVI＝(NIR-Red)/(NIR+Red)………………………(1)
DVI＝NIR-Red ………………………(2)
其中式(1)和(2)中，NIR代表Landsat8数据中得到近红波段的反射率，Red代表Landsat8数据中的绿色波段的反射率；
利用式(1)NDVI、式(2)DVI进行运算，得到农作物重归一化植被指数RDVI，计算公式如(3)
由于农作物受虫害侵袭，会导致农作物叶面发生变化，导致农作物对于水分吸收受到影响，因而计算Landsat8光谱数据中的叶子冠层水分指数NDWI，可以监测农作物虫害，计算公式如(4)
NDWI＝(Green-NIR)/(Green+NIR)……………(4)
其中式(4)中，Red代表Landsat8数据中的红色波段的反射率，NIR代表Landsat8数据中近红波段的反射率；
步骤三、将Landsat8原始卫星数据中的红波段、绿波段、蓝波段、近红外波段NIR和两个短波红外波段SWIR1和SWIR2共六个原始波段与步骤二中得到的NDVI、DVI、RDVI和NDWI四个波段指数做波段融合计算，形成一个空间分辨率为30m的拥有10个有效波段的新数据；
步骤四、训练集的选取：在获取到的遥感影像中农作物遭受虫害侵袭后会表现出不同的光谱特征，为受不同等级虫害侵袭地块以及无虫害发生地块分别选择训练样本，并基于像素点分类，其中选择80％的像素点进行训练，20％的像素点进行测试；
步骤五、构建LSTM网络结构模型，所述的LSTM网络结构由四个部分组成，
(a)LSTM网络的第1部分为输入层，输入图像大小为n×10×1，其中n为批处理参数(batch_size)的大小，10为特征波段组合个数；所述的批处理参数为实验区的数据原图上的总像素数目的约数；
(b)LSTM网络的第2部分：由四个LSTM单元网络和四个随机失活层交替组合而成，其中单个LSTM单元网络的滤波器的个数为32，随机失活层随机选择网络中的50％样本数据进行失活处理，可以有效地缓解过拟合，在一定程度上达到正则化的效果；
(c)LSTM网络的第3部分是一个滤波器的个数为64的全连接层，数据需要经过扁平化的操作传入全连接层，全连接层的输入为n×320，输出为n×64；
(d)LSTM网络的第4部分使用Softmax分类器为输出层，输出数目n×4，分类结果为重度虫害、中度虫害、无虫害和其他4个监测结果；
所述的LSTM单元网络由遗忘门、输入门和输出门组成；
其中遗忘门为
ft＝σ(Wf·[ht-1,xt]+bf)………………………(6)
遗忘门的输入是ht-1,和xt，ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ是Sigmoid的激活函数，Wf是输入数据与遗忘门之间的权重矩阵，bf是偏移量；
输入门为
it＝σ(Wi·[ht-1,xt]+bi)………………………(7)
ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ是Sigmoid的激活函数，Wi和Wc是输入数据与输入门之间的权重矩阵，bi和bc是偏移量；
使用遗忘门和输入门的输出结果更新网络状态：
输出门为
ot＝σ(Wo·[ht-1,xt]+bo)………………………(10)
ht＝ot×tanh(Ct)………………………(11)
ht-1为上一时刻的隐状态，xt是当前时刻的输入，σ代表Sigmoid激活函数，Wo是输入数据与输出门之间的权重矩阵，bo是偏移量；
步骤六、将所选择的样本像素点输入所构建LSTM网络结构模型中在每个LSTM单元里要进行10次训练，以获得10个不同波段下的样本信息，经过10000次迭代后训练得到高精度模型；LSTM单元在初次训练时，网络结构中的权重参数与偏移量参数都会经过系统自动初始化步骤，将权重参数与偏移量参数的取值范围设为-0.3～0.3封装到LSTM单元代码中，在训练过程中通过反向传播不断调节后续LSTM单元中的权重值与偏移量，LSTM单元会自动寻找到不同门结构中的最优权重参数与偏移量参数；
步骤七、将10个有效波段的新数据输入模型，得到农作物虫害分类结果。
2.根据权利要求1所述的基于深度学习的多光谱遥感影像的农作物虫害监测方法，其特征在于，步骤一的影像预处理中：
(a)辐射定标的方法：辐射定标就是将图像的数字量化值(DN)转化为辐射亮度值、反射率或者表面温度等物理量的处理过程；辐射定标参数一般放在元数据文件中，利用完整的遥感图像处理平台(ENVI)的辐射定标工具(Radiometric Calibration)能自动从元数据文件中读取参数，从而完成辐射定标；
(b)大气校正的方法：利用完整的遥感图像处理平台(ENVI)的大气校正工具(FLASSH)来消除由于大气影响所造成的辐射误差，反演地物真实的表面反射率；
(c)图像剪裁用于获得感兴趣的区域(ROI)。
CN201910597394.6A 2019-07-04 2019-07-04 基于深度学习的多光谱遥感影像的农作物虫害监测方法 Expired - Fee Related CN110287944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910597394.6A CN110287944B (zh) 2019-07-04 2019-07-04 基于深度学习的多光谱遥感影像的农作物虫害监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910597394.6A CN110287944B (zh) 2019-07-04 2019-07-04 基于深度学习的多光谱遥感影像的农作物虫害监测方法

Publications (2)

Publication Number Publication Date
CN110287944A true CN110287944A (zh) 2019-09-27
CN110287944B CN110287944B (zh) 2022-07-01

Family

ID=68020535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910597394.6A Expired - Fee Related CN110287944B (zh) 2019-07-04 2019-07-04 基于深度学习的多光谱遥感影像的农作物虫害监测方法

Country Status (1)

Country Link
CN (1) CN110287944B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289441A (zh) * 2020-02-21 2020-06-16 中国农业大学 多光谱下的大田作物含水量确定方法、系统及设备
CN111523516A (zh) * 2020-05-14 2020-08-11 宁波工程学院 一种森林有害木识别方法
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型
CN111898503A (zh) * 2020-07-20 2020-11-06 中国农业科学院农业资源与农业区划研究所 基于云覆盖遥感影像和深度学习的作物识别方法和系统
CN111968001A (zh) * 2020-08-11 2020-11-20 成都大象分形智能科技有限公司 基于人工智能的农业无人机作物精准营养系统及方法
CN112528726A (zh) * 2020-10-14 2021-03-19 石河子大学 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统
CN112702599A (zh) * 2020-12-24 2021-04-23 重庆理工大学 一种基于深度学习的vvc帧内快速编码方法
CN112861712A (zh) * 2021-02-06 2021-05-28 郑州师范学院 基于人工智能与多时相遥感的农业病虫害监测方法
CN112861802A (zh) * 2021-03-16 2021-05-28 吉林大学 基于时空深度学习融合技术的农作物全自动化分类方法
CN113343783A (zh) * 2021-05-18 2021-09-03 北京科技大学 一种农作物智能识别与长势预测方法及系统
CN113591708A (zh) * 2021-07-30 2021-11-02 金陵科技学院 基于星载高光谱图像的气象灾害监测方法
CN113657158A (zh) * 2021-07-13 2021-11-16 西安电子科技大学 基于Google Earth Engine的大尺度大豆种植区域提取算法
CN113796228A (zh) * 2021-09-26 2021-12-17 南京邮电大学 一种基于数字孪生的植物培育系统及方法
CN114062308A (zh) * 2021-11-15 2022-02-18 云南省农业科学院甘蔗研究所 一种甘蔗蓟马为害甘蔗精确分级方法
CN114429471A (zh) * 2022-01-28 2022-05-03 吉林大学 一种基于深度学习的农作物灾害鉴别分级方法及装置
CN114965501A (zh) * 2022-05-23 2022-08-30 青岛农业大学 基于冠层参数处理的花生病害检测与产量预测方法
CN115758855A (zh) * 2022-08-18 2023-03-07 中国人民解放军61540部队 一种基于lstm及注意力机制的地表反射率反演方法
CN116863341A (zh) * 2023-08-24 2023-10-10 中国农业科学院农业资源与农业区划研究所 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN117496281A (zh) * 2024-01-03 2024-02-02 环天智慧科技股份有限公司 一种农作物遥感图像分类方法
CN118364295A (zh) * 2024-06-18 2024-07-19 北京师范大学 一种用于植被异常遥感探测的光谱指数自动生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704758A (zh) * 2004-05-28 2005-12-07 北京农业信息技术研究中心 利用遥感和地理信息系统技术实现小麦品质监测预报方法
CN102103077A (zh) * 2009-12-16 2011-06-22 中国科学院沈阳应用生态研究所 一种基于modis数据的农业干旱监测方法
CN102937574A (zh) * 2012-07-20 2013-02-20 北京农业信息技术研究中心 一种基于卫星影像的病虫害信息提取方法
US20170188521A1 (en) * 2016-01-04 2017-07-06 Tata Consultancy Services Limited Systems and methods for estimating effective pest severity index
AU2017308573A1 (en) * 2016-08-08 2019-03-07 Climate Llc Estimating nitrogen content using hyperspectral and multispectral images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704758A (zh) * 2004-05-28 2005-12-07 北京农业信息技术研究中心 利用遥感和地理信息系统技术实现小麦品质监测预报方法
CN102103077A (zh) * 2009-12-16 2011-06-22 中国科学院沈阳应用生态研究所 一种基于modis数据的农业干旱监测方法
CN102937574A (zh) * 2012-07-20 2013-02-20 北京农业信息技术研究中心 一种基于卫星影像的病虫害信息提取方法
US20170188521A1 (en) * 2016-01-04 2017-07-06 Tata Consultancy Services Limited Systems and methods for estimating effective pest severity index
AU2017308573A1 (en) * 2016-08-08 2019-03-07 Climate Llc Estimating nitrogen content using hyperspectral and multispectral images

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
YUNLONG KONG: "Long short-term memory neural networks for online disturbance detection in satellite image time series", 《REMOTE SENS》, vol. 10, no. 3, 13 March 2018 (2018-03-13), pages 1 - 13 *
卫黎光等: "模拟多光谱卫星传感器数据的冬小麦白粉病遥感监测", 《麦类作物学报》, no. 12, 8 December 2014 (2014-12-08), pages 109 - 115 *
孙威等: "条件植被温度指数干旱监测方法的完善", 《农业工程学报》, no. 02, 28 February 2006 (2006-02-28), pages 30 - 34 *
林蕾: "基于循环神经网络模型的遥感影像时间序列分类及变化检测方法研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》, 15 April 2019 (2019-04-15), pages 028 - 10 *
竞霞等: "基于PLS算法的棉花黄萎病高空间分辨率遥感监测", 《农业工程学报》, no. 08, 31 August 2010 (2010-08-31), pages 239 - 245 *
陈兵等: "棉花黄萎病疑似病田的卫星遥感监测――以TM卫星影像为例", 《作物学报》, 7 November 2011 (2011-11-07), pages 129 - 139 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111289441B (zh) * 2020-02-21 2021-02-26 中国农业大学 多光谱下的大田作物含水量确定方法、系统及设备
CN111289441A (zh) * 2020-02-21 2020-06-16 中国农业大学 多光谱下的大田作物含水量确定方法、系统及设备
CN111523516A (zh) * 2020-05-14 2020-08-11 宁波工程学院 一种森林有害木识别方法
CN111523516B (zh) * 2020-05-14 2024-02-02 宁波工程学院 一种森林有害木识别方法
CN111814607B (zh) * 2020-06-24 2023-12-29 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型
CN111898503A (zh) * 2020-07-20 2020-11-06 中国农业科学院农业资源与农业区划研究所 基于云覆盖遥感影像和深度学习的作物识别方法和系统
CN111968001A (zh) * 2020-08-11 2020-11-20 成都大象分形智能科技有限公司 基于人工智能的农业无人机作物精准营养系统及方法
CN112528726A (zh) * 2020-10-14 2021-03-19 石河子大学 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统
CN112528726B (zh) * 2020-10-14 2022-05-13 石河子大学 一种基于光谱成像和深度学习的棉蚜虫害监测方法及系统
CN112702599A (zh) * 2020-12-24 2021-04-23 重庆理工大学 一种基于深度学习的vvc帧内快速编码方法
CN112702599B (zh) * 2020-12-24 2022-05-20 重庆理工大学 一种基于深度学习的vvc帧内快速编码方法
CN112861712A (zh) * 2021-02-06 2021-05-28 郑州师范学院 基于人工智能与多时相遥感的农业病虫害监测方法
CN112861802B (zh) * 2021-03-16 2022-09-27 吉林大学 基于时空深度学习融合技术的农作物全自动化分类方法
CN112861802A (zh) * 2021-03-16 2021-05-28 吉林大学 基于时空深度学习融合技术的农作物全自动化分类方法
CN113343783A (zh) * 2021-05-18 2021-09-03 北京科技大学 一种农作物智能识别与长势预测方法及系统
CN113657158A (zh) * 2021-07-13 2021-11-16 西安电子科技大学 基于Google Earth Engine的大尺度大豆种植区域提取算法
CN113591708B (zh) * 2021-07-30 2023-06-23 金陵科技学院 基于星载高光谱图像的气象灾害监测方法
CN113591708A (zh) * 2021-07-30 2021-11-02 金陵科技学院 基于星载高光谱图像的气象灾害监测方法
CN113796228A (zh) * 2021-09-26 2021-12-17 南京邮电大学 一种基于数字孪生的植物培育系统及方法
CN114062308A (zh) * 2021-11-15 2022-02-18 云南省农业科学院甘蔗研究所 一种甘蔗蓟马为害甘蔗精确分级方法
CN114429471A (zh) * 2022-01-28 2022-05-03 吉林大学 一种基于深度学习的农作物灾害鉴别分级方法及装置
CN114965501A (zh) * 2022-05-23 2022-08-30 青岛农业大学 基于冠层参数处理的花生病害检测与产量预测方法
CN115758855A (zh) * 2022-08-18 2023-03-07 中国人民解放军61540部队 一种基于lstm及注意力机制的地表反射率反演方法
CN115758855B (zh) * 2022-08-18 2024-04-12 中国人民解放军61540部队 一种基于lstm及注意力机制的地表反射率反演方法
CN116863341B (zh) * 2023-08-24 2024-01-26 中国农业科学院农业资源与农业区划研究所 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN116863341A (zh) * 2023-08-24 2023-10-10 中国农业科学院农业资源与农业区划研究所 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN117496281A (zh) * 2024-01-03 2024-02-02 环天智慧科技股份有限公司 一种农作物遥感图像分类方法
CN117496281B (zh) * 2024-01-03 2024-03-19 环天智慧科技股份有限公司 一种农作物遥感图像分类方法
CN118364295A (zh) * 2024-06-18 2024-07-19 北京师范大学 一种用于植被异常遥感探测的光谱指数自动生成方法
CN118364295B (zh) * 2024-06-18 2024-08-20 北京师范大学 一种用于植被异常遥感探测的光谱指数自动生成方法

Also Published As

Publication number Publication date
CN110287944B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN110287944A (zh) 基于深度学习的多光谱遥感影像的农作物虫害监测方法
Calou et al. The use of UAVs in monitoring yellow sigatoka in banana
CN107103306B (zh) 基于小波分析与支持向量机的冬小麦白粉病遥感监测方法
Sood et al. Computer vision and machine learning based approaches for food security: A review
Bendel et al. Evaluating the suitability of hyper-and multispectral imaging to detect foliar symptoms of the grapevine trunk disease Esca in vineyards
CN113657158B (zh) 基于Google Earth Engine的大尺度大豆种植区域提取算法
Abdikan et al. A comparative analysis of SLR, MLR, ANN, XGBoost and CNN for crop height estimation of sunflower using Sentinel-1 and Sentinel-2
Paymode et al. Tomato leaf disease detection and classification using convolution neural network
CN109063660A (zh) 一种基于多光谱卫星影像的作物识别方法
CN112836725A (zh) 基于时序遥感数据的弱监督lstm循环神经网络稻田识别方法
CN114266962A (zh) 一种基于多源遥感数据时序及纹理特征的农作物识别方法
CN114581768A (zh) 一种作物倒伏无人机监测方法及装置
CN117197668A (zh) 基于深度学习的作物倒伏级别的预测方法及系统
CN116912712A (zh) 一种结合作物轮作的生长季内作物类型遥感识别方法
Han et al. Integrating an attention-based deep learning framework and the SAFY-V model for winter wheat yield estimation using time series SAR and optical data
Vaidya et al. Hyperspectral Imagery for Crop yield estimation in Precision Agriculture using Machine Learning Approaches: A review
Joshi et al. Artificial intelligence and satellite‐based remote sensing can be used to predict soybean (Glycine max) yield
Sun et al. Monitoring rice lodging grade via Sentinel-2A images based on change vector analysis
Ouf A review on the relevant applications of machine learning in agriculture
Carneiro et al. Biophysical characteristics of soybean estimated by remote sensing associated with artificial intelligence
CN116151454A (zh) 一种多光谱无人机预测矮林芳樟精油产量的方法及系统
Reddy et al. Convolutional Neural Networks for the Intuitive Identification of Plant Diseases
Li et al. Determination of Wheat Heading Stage Using Convolutional Neural Networks on Multispectral UAV Imaging Data
Terliksiz et al. A Simple and Efficient Deep Learning Architecture for Corn Yield Prediction
Almeida et al. Deep neural networks for mapping integrated crop-livestock systems using PlanetScope time series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220701