CN111898503B - 基于云覆盖遥感影像和深度学习的作物识别方法和系统 - Google Patents

基于云覆盖遥感影像和深度学习的作物识别方法和系统 Download PDF

Info

Publication number
CN111898503B
CN111898503B CN202010701344.0A CN202010701344A CN111898503B CN 111898503 B CN111898503 B CN 111898503B CN 202010701344 A CN202010701344 A CN 202010701344A CN 111898503 B CN111898503 B CN 111898503B
Authority
CN
China
Prior art keywords
crop
data
wave band
module
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010701344.0A
Other languages
English (en)
Other versions
CN111898503A (zh
Inventor
赵红伟
陈仲新
孙亮
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Agricultural Resources and Regional Planning of CAAS
Original Assignee
Institute of Agricultural Resources and Regional Planning of CAAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Agricultural Resources and Regional Planning of CAAS filed Critical Institute of Agricultural Resources and Regional Planning of CAAS
Priority to CN202010701344.0A priority Critical patent/CN111898503B/zh
Publication of CN111898503A publication Critical patent/CN111898503A/zh
Application granted granted Critical
Publication of CN111898503B publication Critical patent/CN111898503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于云覆盖遥感影像和深度学习的作物识别方法和系统，所述方法包括：S1,收集Sentinel‑2数据和作物地面样本数据；S2，对遥感影像进行预处理，并将云覆盖的像素标记为“0”；S3，提取训练样本的反射率时序数据；S4，利用本发明提出的Mask LSTM‑CNN模型和单波段时序数据对作物进行分类，并评估每个波段的分类精度；S5，根据单波段分类精度(OA或Kappa值)由大到小的排序依次建立波段数为2‑10的波段组合，对其分类精度进行评估，选择分类精度最高的波段或波段组合对研究区域作物进行识别。本发明解决了含有缺失值的时间序列影像的作物识别，避免了遥感数据的云处理操作和误差传递的风险，提高了作物识别的效率。

Description

基于云覆盖遥感影像和深度学习的作物识别方法和系统
技术领域
本发明涉及农业遥感技术领域，特别涉及一种基于云覆盖遥感影像和深度学习的作物识别方法和系统，适用于不同农田系统的农业遥感监测研究。
背景技术
据联合国预测，到2050年世界人口将增至97亿，这对全球的粮食供应系统提出了巨大的挑战。农业遥感监测工作是保障国家粮食安全、农业资源可持续发展的重要手段；而作物类型图是农业遥感监测工作的重要组成部分，为作物生长监测、灾害评估、产量估计等提供基础数据。由于我国耕地破碎程度高、作物类型丰富、种植模式复杂，准确、高效地估计作物的面积和分布是一项艰巨的任务。
季节性是作物最突出的特征之一，每类作物的物候演变产生了独特的光谱反射率时间分布。因此，多时相遥感数据成为监测作物生长动态并对其进行分类的有效数据源。随着越来越多的卫星系统以前所未有的规模和速度生成高空分辨率的时间序列影像，如Sentinel-2A/B、Gaofen-1/6等，为农业监测工作提供新机遇的同时，对传统的作物分类方法提出了挑战：1)如何更充分地利用这些多光谱时间序列影像；2)针对海量的遥感数据，作物分类算法需具有高效性和可移植性。
目前，基于机器学习的作物识别方法，依赖于特征提取、数据融合等过程，增加了误差传递风险、忽略了时序数据的季节模式和顺序关系，这些都在一定程度上影像了作物识别的准确性。与经典机器学习方法相比，深度学习方法允许机器获取原始数据(例如原始图像的像素值)并自动发现手动模型无法表达的多级别特征。其中，递归神经网络(RNN)和一维卷积神经网络(1D CNN)具有提取长时间序列时域特征的能力。RNN通过循环连接为序列的每个元素执行相同的任务，每个输出值取决于先前的计算；长短期记忆(LSTM)RNN是RNN的变体，具有复杂的循环单位(LSTM)，用于解决随着时间序列增加而出现的梯度消失或爆炸的问题。而1D CNN通过一维卷积核提取时间序列的特征信息。
尽管以上模型已被应用于作物制图领域，但这些工作主要使用无间隙的规则时间序列影像，例如微波数据、基于缺失值重建的光学数据(或植被指数)。此外，大多数高精度遥感影像缺失值重建的方法都很耗时；这些方法分别建立数据修复模型和作物分类模型，不仅操作复杂，而且结果具有一定的不确定性。实际上，深度学习算法在光学时间序列数据中的潜力尚未得到很好的探索。一方面，在早期的工作中已有研究探索了RNN在含缺失值序列数据中的应用，并将其用于语音识别和血糖预测；CNN模型已被证明能够通过卷积核对具有丢失信息的图像进行分类。另一方面，现有的卫星系统具有高频率采集数据的能力，更有利于作物类型特征的提取。
发明内容
本发明针对现有技术的不足提供一种基于云覆盖遥感影像和深度学习的作物识别方法和系统。
本发明采用以下技术方案：
一种基于云覆盖遥感影像和深度学习的作物识别方法，包括以下步骤：
S1，收集遥感数据和作物地面样本数据；所述遥感数据为作物生育期内Sentinel-2时序数据；
S2,对Sentinel-2影像进行预处理；
S3，训练样本提取；
S3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据；
S3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段；如果所有样本在一个通道上的记录为X＝(x1,x2,…,xn),通道的归一化如公式(1)所示：
||X||2＝(|x1|2+|x2|2+...+|xn|2)1/2 (1)
式中，n为样本的个数，xn为第n个样本的反射率，X为归一化向量；
S3-3,采用5-折交叉验证方法；由于每一类作物的样本量不同，为获取样本的无偏估计，在每一折交叉验证中，将每一类样本按照7:1:2的比例随机分为训练集、验证集和测试集，共得到5个训练集、验证集和测试集，分类结果取5个测试集的平均值；
S4,单波段评估；利用S3中单波段的5个训练集、验证集和测试集依次训练MaskLSTM-CNN模型，测试精度为5个测试集的平均值，最后比较每个波段的分类精度；
采用整体分类精度OA和Kappa系数来对作物的整体分类精度进行评价；同时还利用生产精度Aprod和用户精度Auser的调和平均值F1来评价每类作物的精度；
Figure GDA0002841438080000031
Figure GDA0002841438080000032
Figure GDA0002841438080000033
式中，N为测试集样本的个数，r为作物类别数,xii预测标签和真实标签都为第i类的数量，xi+为真实标签为第i类的数量，x+i为预测标签为第i类的数量。
S5,根据S4中评价的结果，根据OA由大到小的排序依次选择不同的波段组合，当两个波段的OA值相同时，选取Kappa值较大的波段；将不同的波段组合依次作为Mask LSTM-CNN模型的输入数据，评估每个组合的5-折交叉验证的平均分类精度，并与S4中的结果进行比较，选择分类精度最高的波段或波段组合对研究区域作物进行识别；根据每类作物的精度F1值，当对某一类作物进行识别时，可选取该作物F1值最高的波段或波段组合进行识别。
所述的作物识别方法，步骤(1)中，所述遥感数据为作物生育期内Sentinel-2时序数据，包含Level-1C级产品中可见光B2～B4、红边B5～B7、近红外B8/B8A、短波红外B11/B12共计10个波段光谱数据。
所述的作物识别方法，步骤(1)中，所述地面样本数据为作物类型和所在地理位置。
所述的作物识别方法，步骤(2)中，包括大气校正、云识别、重采样步骤；所述大气校正采用sen2cor工具。
所述的作物识别方法，步骤(2)中，所述云识别采用Fmask 4.0算法识别影像中的云/云阴影像素，并将相应位置所有波段像素标记为“0”。
所述的作物识别方法，步骤(2)中，所述重采样指将空间分辨率为20m的B5～B7、B8A、B11、B12影像重采样到10m。
所述的作物识别方法，所述Mask LSTM-CNN模型包含两部分：Mask LSTM模块和CNN模块；
(1)Mask LSTM模块利用掩膜机制Mask对“0”标记的元素进行过滤；设X＝(x1,x2,...,xn),式中,T作物生长季内Sentinel-2数据获取的次数,xt∈RD表示第t次数据获取的所有波段的值，
Figure GDA0002841438080000041
表示第t次数据获取第d个波段的值；当
Figure GDA0002841438080000042
时，相应的掩膜
Figure GDA0002841438080000043
等于0，否则
Figure GDA0002841438080000044
如公式(2)所示；在模型训练过程中，当
Figure GDA0002841438080000045
时，变量d的第t-1个LSTM单元与第t+1个LSTM单元建立连接，如公式(3)-(8)所示；式中，f、i、o分别为LSTM单元的遗忘门、输入门和输出门；C的单元记忆状态；h为隐藏状态；W、b为相应的权重和偏置；
Figure GDA0002841438080000046
Figure GDA0002841438080000047
Figure GDA0002841438080000048
Figure GDA0002841438080000049
Figure GDA00028414380800000410
Figure GDA0002841438080000051
Figure GDA0002841438080000052
(2)CNN模块利用卷积核计算对“0”标记的元素进行过滤
一个基本的卷积模块由卷积层Conv和线性单元层Relu组成；假设每一个波段输入数据为X0,第一层卷积核的长度为k,那么第一层时间点t的输出值为
Figure GDA0002841438080000053
见公式(9)，当
Figure GDA0002841438080000054
时，提取的特征
Figure GDA0002841438080000055
不包含该元素；
Figure GDA0002841438080000056
一种基于云覆盖遥感影像和深度学习的作物识别系统，包括以下模块：
S1，遥感数据和作物地面样本数据收集模块；所述遥感数据为作物生育期内Sentinel-2时序数据；
S2,Sentinel-2影像预处理模块；
S3，训练样本提取模块，训练样本提取模块功能为：
S3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据；
S3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段；如果所有样本在一个通道上的记录为X＝(x1,x2,…,xn),通道的归一化如公式(1)所示：
||X||2＝(|x1|2+|x2|2+...+|xn|2)1/2 (1)
式中，n为样本的个数，xn为第n个样本的反射率，X为归一化向量；
S3-3,采用5-折交叉验证方法；由于每一类作物的样本量不同，为获取样本的无偏估计，在每一折交叉验证中，将每一类样本按照7:1:2的比例随机分为训练集、验证集和测试集，共得到5个训练集、验证集和测试集，分类结果取5个测试集的平均值；
S4,单波段评估模块；利用S3中单波段的5个训练集、验证集和测试集依次训练Mask LSTM-CNN模型，测试精度为5个测试集的平均值，最后比较每个波段的分类精度；
采用整体分类精度OA和Kappa系数来对作物的整体分类精度进行评价；同时还利用生产精度Aprod和用户精度Auser的调和平均值F1来评价每类作物的精度；
Figure GDA0002841438080000061
Figure GDA0002841438080000062
Figure GDA0002841438080000063
式中，N为测试集样本的个数，r为作物类别数,xii预测标签和真实标签都为第i类的数量，xi+为真实标签为第i类的数量，x+i为预测标签为第i类的数量。
S5,根据S4中评价的结果，根据OA由大到小的排序依次选择不同的波段组合，当两个波段的OA值相同时，选取Kappa值较大的波段；将不同的波段或波段组合依次作为MaskLSTM-CNN模型的输入数据，评估每个波段或波段组合的5-折交叉验证的平均分类精度，并与S4中的结果进行比较，选择分类精度最高的波段或波段组合对研究区域作物进行识别；当对某一类作物进行识别时，可选取该作物F1值最高的波段或波段组合进行识别。
所述的作物识别系统，遥感数据和作物地面样本数据收集模块中，所述遥感数据为作物生育期内Sentinel-2时序数据，包含Level-1C级产品中可见光B2～B4、红边B5～B7、近红外B8/B8A、短波红外B11/B12共计10个波段光谱数据。
所述的的作物识别系统，遥感数据和作物地面样本数据收集模块中，所述地面样本数据为作物类型和所在地理位置。
有益效果
1、本发明解决了含有缺失值的时间序列影像的作物识别，避免了遥感数据的云处理操作和误差传递的风险，提高了作物识别的效率。
2、本发明利用深度学习技术，具有“端到端”学习的优势，避免了对专家知识的依赖和传统作物分类系统的复杂性。
3、本发明可对时间密集型、高空间分辨率、多光谱遥感数据的特征进行有效提取，可为我国新型的智能化农业遥感监测提供技术支持。
附图说明
图1为本发明的方法流程图；
图2为本发明具体实施的作物类型和样本分布；
图3为本发明实例中所有样本中未被云/云阴影遮蔽的比例；
图4为本发明提出的模型Mask LSTM-CNN；
图5为本发明Mask LSTM模块的掩膜机制示意图；
图6为本发明实例中每个波段的分类精度；
图7为本发明实例中不同波段组合方案；
图8为本发明实例中不同波段组合方案的分类精度；
图9为本发明实例中不同波段及波段组合整体分类精度对比，a图为单波段，b图为波段组合；
具体实施方式
以下结合附图和具体实施方式对本发明作进一步详细的说明。
基于不规则时序遥感影像和深度学习的作物识别的主要流程为：
S1，收集遥感数据和作物地面样本数据。
通过野外调查获取地面样本数据，具体方法是：首先规划野外调查路线；然后根据调查路线采集不同农田地块的作物类型，并使用GPS记录相应地理坐标；最后对采集数据进行室内处理形成地面样本数据(见图2)。地面数据结构为{地面样本编号：3，经度坐标：116.098，纬度坐标：37.390，作物类型：夏玉米，作物类型标签：1}。
本发明收集的遥感数据为作物生育期内Sentinel-2时序数据，包含Level-1C级产品中可见光(B2～B4)、红边(B5～B7)、近红外(B8/B8A)、短波红外(B11/B12)共计10个波段；时间覆盖范围为：2019年4月1日至2019年9月30日；时序长度为37，时序中每个时间点用DOY(Day of Year)表示，例如4月8日，相应的DOY为98。
S2,对Sentinel-2影像进行预处理。
建立大气校正、云识别、重采样批量处理程序。其中，大气校正算法采用sen2cor工具；云识别采用Fmask 4.0算法，参数“Cloud Probability Threshold”为50％；重采样采用双线性二次插值方法。将的云/云阴影像素相应位置的其他波段像素标记为“0”；将空间分辨率为20m的B5～B7、B8A、B11、B12影像重采样到10m。
S3，训练样本提取，包括以下步骤：
S3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据，例如，当一个样本在2019年4月8日(Sentinel-2数据获取时间)被云/云阴影覆盖，那么该样本在这个时间的Sentinel-2的B2～B8A以及B11和B12的记录为“0”。最终获得的样本没有被云/云阴影覆盖的比例如图3所示。
S3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段。如果所有样本在一个通道上的记录为X＝(x1,x2,…,xn),通道的归一化如公式(1)所示：
||X||2＝(|x1|2+|x2|2+...+|xn|2)1/2 (1)
式中，n为样本的个数，xn为第n个样本的反射率，X为归一化向量。
S3-3,为避免数据随机分组的偏差，本发明采用5-折交叉验证方法；由于每一类作物的样本量不同，为获取样本的无偏估计，本发明在每一折交叉验证中，将每一类样本按照7:1:2的比例随机分为训练集、验证集和测试集共得到5个训练集、验证集和测试集，分类结果取5个测试集的平均值。
S4,单波段评估。本发明涉及蓝光(B2)绿光(B3)红光(B4)红边1(B5)红边2(B6)红边3(B7)近红外1(B8)近红外2(B8A)短波红外1(B11)短波红外2(B12)共计10个波段。每个波段的时间序列长度为37，相应的DOY从93～273，时间间隔为5天。利用S3中单波段的5个训练集、验证集和测试集依次训练本发明提出的Mask LSTM-CNN模型(参照图4)，测试精度为5个测试集的平均值。最后比较每个波段的分类精度。所述模型包含两部分：Mask LSTM模块和CNN模块。
(1)Mask LSTM模块利用掩膜机制Mask对“0”标记的元素进行过滤；设X＝(x1,x2,...,xn),式中,T作物生长季内Sentinel-2数据获取的次数,xt∈RD表示第t次数据获取的所有波段的值，
Figure GDA0002841438080000091
表示第t次数据获取第d个波段的值；当
Figure GDA0002841438080000092
时，相应的掩膜
Figure GDA0002841438080000093
等于0，否则
Figure GDA0002841438080000094
如公式(2)所示；在模型训练过程中，当
Figure GDA0002841438080000095
时，变量d的第t-1个LSTM单元与第t+1个LSTM单元建立连接，如公式(3)-(8)所示；式中，f、i、o分别为LSTM单元的遗忘门、输入门和输出门；C的单元记忆状态；h为隐藏状态；W、b为相应的权重和偏置；
Figure GDA0002841438080000096
Figure GDA0002841438080000097
Figure GDA0002841438080000098
Figure GDA0002841438080000099
Figure GDA00028414380800000910
Figure GDA00028414380800000911
Figure GDA00028414380800000912
(2)CNN利用卷积核计算对“0”标记的元素进行过滤。
一个基本的卷积模块由卷积层Conv和线性单元层Relu组成；假设每一个波段输入数据为X0,第一层卷积核的长度为k,那么第一层时间点t的输出值为
Figure GDA00028414380800000913
见公式(9)，当
Figure GDA00028414380800000914
时，提取的特征
Figure GDA00028414380800000915
不包含该元素；
Figure GDA00028414380800000916
本发明采用体分类精度(OA)和Kappa系数(Kappa)来对作物的整体分类精度进行评价；同时，利用生产精度(product accuracy，Aprod)和用户精度(user accuracy，Auser)的调和平均值(F1，公式(10))来评价每类作物的精度；
Figure GDA0002841438080000101
S5,根据S4中评估的结果(参照图6)，根据OA由大到小的排序依次选择不同的波段组合(参照图7)作为Mask LSTM-CNN模型的输入数据，当两个波段的OA值相同时，选取Kappa值较大的波段作为Mask LSTM-CNN模型的输入数据，评估每个组合5-折交叉验证的平均分类精度(参照图8)，并与S4中的结果进行比较，选择分类精度最高的波段组合(com7)对研究区域作物进行识别；此外，根据本发明计算的每类作物的F1值，当对某一类作物进行识别时，可选取该作物F1值最高的波段(或组合)。
在河北省衡水市就本发明提出的方法进行了实验，针对实验的7个类别，结果表明(如图9所示，a图为单波段，b图为波段组合)波段组合com7(近红外2,蓝光,红边1,短波红外1，红光,红边2，绿光)分类精度最高。整体分类精度为0.8657，Kappa系数为0.8218。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于云覆盖遥感影像和深度学习的作物识别方法，其特征在于，包括以下步骤：
S1，收集遥感数据和作物地面样本数据；所述遥感数据为作物生育期内Sentinel-2时序数据；
S2,对Sentinel-2影像进行预处理；包括大气校正、云识别、重采样步骤；所述云识别采用Fmask 4.0算法识别影像中的云/云阴影像素，并将相应位置所有波段像素标记为“0”；
S3，训练样本提取；
S3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据；
S3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段；如果所有样本在一个通道上的记录为X＝(x1,x2,...,xn),通道的归一化如公式(1)所示：
||X||2＝(|x1|2+|x2|2+...+|xn|2)1/2 (1)
式中，n为样本的个数，xn为第n个样本的反射率，X为归一化向量；
S3-3,采用5-折交叉验证方法；由于每一类作物的样本量不同，为获取样本的无偏估计，在每一折交叉验证中，将每一类样本按照7:1:2的比例随机分为训练集、验证集和测试集，共得到5个训练集、验证集和测试集，分类结果取5个测试集的平均值；
S4,单波段评估；利用S3中单波段的5个训练集、验证集和测试集依次训练Mask LSTM-CNN模型，测试精度为5个测试集的平均值，最后比较每个波段的分类精度；
采用整体分类精度OA和Kappa系数来对作物的整体分类精度进行评价；同时还利用生产精度Aprod和用户精度Auser的调和平均值F1来评价每类作物的精度；
Figure FDA0002881635110000011
Figure FDA0002881635110000021
Figure FDA0002881635110000022
式中，N为测试集样本的个数，r为作物类别数,xii预测标签和真实标签都为第i类的数量，xi+为真实标签为第i类的数量，x+i为预测标签为第i类的数量；
所述Mask LSTM-CNN模型包含两部分：Mask LSTM模块和CNN模块；
(1)Mask LSTM模块利用掩膜机制Mask对“0”标记的元素进行过滤；设X＝(x1,x2,...,xn),式中,T作物生长季内Sentinel-2数据获取的次数,xt∈RD表示第t次数据获取的所有波段的值，
Figure FDA0002881635110000023
表示第t次数据获取第d个波段的值；当
Figure FDA0002881635110000024
时，相应的掩膜
Figure FDA0002881635110000025
等于0，否则
Figure FDA0002881635110000026
如公式(2)所示；在模型训练过程中，当
Figure FDA0002881635110000027
时，变量d的第t-1个LSTM单元与第t+1个LSTM单元建立连接，如公式(3)-(8)所示；式中，f、i、o分别为LSTM单元的遗忘门、输入门和输出门；C的单元记忆状态；h为隐藏状态；W、b为相应的权重和偏置；
Figure FDA0002881635110000028
Figure FDA0002881635110000029
Figure FDA00028816351100000210
Figure FDA00028816351100000211
Figure FDA00028816351100000212
Figure FDA00028816351100000213
Figure FDA00028816351100000214
(2)CNN模块利用卷积核计算对“0”标记的元素进行过滤
一个基本的卷积模块由卷积层Conv和线性单元层Relu组成；假设每一个波段输入数据为X0,第一层卷积核的长度为k,那么第一层时间点t的输出值为
Figure FDA0002881635110000031
见公式(9)，当
Figure FDA0002881635110000032
时，提取的特征
Figure FDA0002881635110000033
不包含该元素；
Figure FDA0002881635110000034
S5,根据S4中评价的结果，根据OA由大到小的排序依次选择不同的波段组合，当两个波段的OA值相同时，选取Kappa值较大的波段；将不同的波段组合依次作为Mask LSTM-CNN模型的输入数据，评估每个组合的5-折交叉验证的平均分类精度，并与S4中的结果进行比较，选择分类精度最高的波段或波段组合对研究区域作物进行识别；根据每类作物的精度F1值，当对某一类作物进行识别时，选取该作物F1值最高的波段或波段组合进行识别。
2.根据权利要求1所述的作物识别方法，其特征在于，步骤(1)中，所述遥感数据为作物生育期内Sentinel-2时序数据，包含Level-1C级产品中可见光B2～B4、红边B5～B7、近红外B8/B8A、短波红外B11/B12共计10个波段光谱数据。
3.根据权利要求2所述的作物识别方法，其特征在于，步骤(1)中，所述地面样本数据为作物类型和所在地理位置。
4.根据权利要求1所述的作物识别方法，其特征在于，步骤(2)中，所述大气校正采用sen2cor工具。
5.根据权利要求1所述的作物识别方法，其特征在于，步骤(2)中，所述重采样指将空间分辨率为20m的B5～B7、B8A、B11、B12影像重采样到10m。
6.一种基于云覆盖遥感影像和深度学习的作物识别系统，其特征在于，包括以下模块：遥感数据和作物地面样本数据收集模块、Sentinel-2影像预处理模块、训练样本提取模块、单波段评估模块和作物识别模块；
遥感数据和作物地面样本数据收集模块:用于收集遥感数据和作物地面样本数据，所述遥感数据为作物生育期内Sentinel-2时序数据；
Sentinel-2影像预处理模块:影像预处理包括大气校正、云识别、重采样步骤；所述云识别采用Fmask 4.0算法识别影像中的云/云阴影像素，并将相应位置所有波段像素标记为“0”；
训练样本提取模块:训练样本提取模块功能为：
S3-1,根据S1中获得的地面样本数据和S2获得的带有“0”标记的Sentinel-2时序数据，提取训练样本的时序数据；
S3-2,采用L2-范数对样本进行通道归一化，所述通道为一个日期中Sentinel-2的一个波段；如果所有样本在一个通道上的记录为X＝(x1,x2,…,xn),通道的归一化如公式(1)所示：
||X||2＝(|x1|2+|x2|2+...+|xn|2)1/2 (1)
式中，n为样本的个数，xn为第n个样本的反射率，X为归一化向量；
S3-3,采用5-折交叉验证方法；由于每一类作物的样本量不同，为获取样本的无偏估计，在每一折交叉验证中，将每一类样本按照7:1:2的比例随机分为训练集、验证集和测试集，共得到5个训练集、验证集和测试集，分类结果取5个测试集的平均值；
单波段评估模块:利用S3中单波段的5个训练集、验证集和测试集依次训练Mask LSTM-CNN模型，测试精度为5个测试集的平均值，最后比较每个波段的分类精度；
采用整体分类精度OA和Kappa系数来对作物的整体分类精度进行评价；同时还利用生产精度Aprod和用户精度Auser的调和平均值F1来评价每类作物的精度；
Figure FDA0002881635110000041
Figure FDA0002881635110000042
Figure FDA0002881635110000043
式中，N为测试集样本的个数，r为作物类别数,xii预测标签和真实标签都为第i类的数量，xi+为真实标签为第i类的数量，x+i为预测标签为第i类的数量；
所述Mask LSTM-CNN模型包含两部分：Mask LSTM模块和CNN模块；
(1)Mask LSTM模块利用掩膜机制Mask对“0”标记的元素进行过滤；设X＝(x1,x2,...,xn),式中,T作物生长季内Sentinel-2数据获取的次数,xt∈RD表示第t次数据获取的所有波段的值，
Figure FDA0002881635110000051
表示第t次数据获取第d个波段的值；当
Figure FDA0002881635110000052
时，相应的掩膜
Figure FDA0002881635110000053
等于0，否则
Figure FDA0002881635110000054
如公式(2)所示；在模型训练过程中，当
Figure FDA0002881635110000055
时，变量d的第t-1个LSTM单元与第t+1个LSTM单元建立连接，如公式(3)-(8)所示；式中，f、i、o分别为LSTM单元的遗忘门、输入门和输出门；C的单元记忆状态；h为隐藏状态；W、b为相应的权重和偏置；
Figure FDA0002881635110000056
Figure FDA0002881635110000057
Figure FDA0002881635110000058
Figure FDA0002881635110000059
Figure FDA00028816351100000510
Figure FDA00028816351100000511
Figure FDA00028816351100000512
(2)CNN模块利用卷积核计算对“0”标记的元素进行过滤
一个基本的卷积模块由卷积层Conv和线性单元层Relu组成；假设每一个波段输入数据为X0,第一层卷积核的长度为k,那么第一层时间点t的输出值为
Figure FDA00028816351100000513
见公式(9)，当
Figure FDA00028816351100000514
时，提取的特征
Figure FDA00028816351100000515
不包含该元素；
Figure FDA00028816351100000516
作物识别模块:根据S4中评价的结果，根据OA由大到小的排序依次选择不同的波段组合，当两个波段的OA值相同时，选取Kappa值较大的波段；将不同的波段或波段组合依次作为Mask LSTM-CNN模型的输入数据，评估每个波段或波段组合的5-折交叉验证的平均分类精度，并与S4中的结果进行比较，选择分类精度最高的波段或波段组合对研究区域作物进行识别；当对某一类作物进行识别时，选取该作物F1值最高的波段或波段组合进行识别。
7.根据权利要求6所述的的作物识别系统，其特征在于，遥感数据和作物地面样本数据收集模块中，所述遥感数据为作物生育期内Sentinel-2时序数据，包含Level-1C级产品中可见光B2～B4、红边B5～B7、近红外B8/B8A、短波红外B11/B12共计10个波段光谱数据。
8.根据权利要求7所述的的作物识别系统，其特征在于，遥感数据和作物地面样本数据收集模块中，所述地面样本数据为作物类型和所在地理位置。
CN202010701344.0A 2020-07-20 2020-07-20 基于云覆盖遥感影像和深度学习的作物识别方法和系统 Active CN111898503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010701344.0A CN111898503B (zh) 2020-07-20 2020-07-20 基于云覆盖遥感影像和深度学习的作物识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010701344.0A CN111898503B (zh) 2020-07-20 2020-07-20 基于云覆盖遥感影像和深度学习的作物识别方法和系统

Publications (2)

Publication Number Publication Date
CN111898503A CN111898503A (zh) 2020-11-06
CN111898503B true CN111898503B (zh) 2021-02-26

Family

ID=73190703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010701344.0A Active CN111898503B (zh) 2020-07-20 2020-07-20 基于云覆盖遥感影像和深度学习的作物识别方法和系统

Country Status (1)

Country Link
CN (1) CN111898503B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254211A1 (en) * 2021-06-01 2022-12-08 Hummingbird Technologies Limited Cloud-free analytics from satellite input

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598590B (zh) * 2020-12-18 2022-08-12 河海大学 基于深度学习的光学遥感时间序列影像重建方法及系统
CN113343783A (zh) * 2021-05-18 2021-09-03 北京科技大学 一种农作物智能识别与长势预测方法及系统
CN113361355B (zh) * 2021-05-28 2022-11-18 同济大学 联合多时相特征的遥感影像地表要素识别方法及存储介质
CN114692991B (zh) * 2022-04-18 2024-08-06 浙江大学 一种基于深度学习的枸杞产量预测方法及系统
CN115049920B (zh) * 2022-04-19 2022-12-02 航天宏图信息技术股份有限公司 基于gee结合生育期属性和面向对象的大区域作物提取方法
CN115578637B (zh) * 2022-10-17 2023-05-30 中国科学院空天信息创新研究院 一种基于长短期记忆网络的冬小麦估产分析方法和系统
CN116863341B (zh) * 2023-08-24 2024-01-26 中国农业科学院农业资源与农业区划研究所 基于时间序列卫星遥感影像的作物分类和识别方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348506A (zh) * 2019-07-03 2019-10-18 广州大学 基于遥感图像的土地利用分类方法、存储介质和计算设备
CN111242224A (zh) * 2020-01-16 2020-06-05 贵州省草业研究所 一种基于无人机提取分类样本点的多源遥感数据分类方法
CN111291818A (zh) * 2020-02-18 2020-06-16 浙江工业大学 一种面向云掩膜的非均匀类别的样本均衡化方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732240B (zh) * 2015-04-07 2018-06-19 河海大学 一种应用神经网络敏感性分析的高光谱影像波段选择方法
US10025983B2 (en) * 2015-09-21 2018-07-17 The Climate Corporation Ponding water detection on satellite imagery
US9721181B2 (en) * 2015-12-07 2017-08-01 The Climate Corporation Cloud detection on remote sensing imagery
CN105930863A (zh) * 2016-04-14 2016-09-07 航天东方红卫星有限公司 一种卫星相机谱段设置的确定方法
US20190012749A1 (en) * 2017-07-05 2019-01-10 International Business Machines Corporation Dynamic cost function calculation for agricultural users
US10302551B2 (en) * 2017-08-22 2019-05-28 Harris Corporation Intelligent sensor pointing for remote sensing applications
CN109308688B (zh) * 2018-09-25 2021-06-25 中国农业科学院农业资源与农业区划研究所 一种可见光和近红外波段厚云及阴影去除方法
CN110008905B (zh) * 2019-04-09 2021-02-12 安徽大学 基于遥感影像红边波段的区域尺度小麦条锈病监测方法
CN110111848B (zh) * 2019-05-08 2023-04-07 南京鼓楼医院 一种基于rnn-cnn神经网络融合算法的人体周期表达基因识别方法
CN110163303B (zh) * 2019-06-03 2022-01-11 中国农业大学 一种基于格网的遥感影像并行分类方法及系统
CN110287944B (zh) * 2019-07-04 2022-07-01 吉林大学 基于深度学习的多光谱遥感影像的农作物虫害监测方法
CN110647932B (zh) * 2019-09-20 2022-09-09 河南工业大学 一种种植作物结构遥感影像分类方法及装置
CN110826689A (zh) * 2019-09-30 2020-02-21 中国地质大学（武汉） 一种基于深度学习的预测县级单位时序gdp的方法
CN110852262A (zh) * 2019-11-11 2020-02-28 南京大学 基于时间序列高分一号遥感影像的农业用地提取方法
CN111126511B (zh) * 2020-01-02 2023-11-03 国智恒北斗好年景农业科技有限公司 一种基于植被指数融合的lai定量模型建立的方法
CN111259955B (zh) * 2020-01-15 2023-12-08 国家测绘产品质量检验测试中心 一种地理国情监测成果可靠性质检方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348506A (zh) * 2019-07-03 2019-10-18 广州大学 基于遥感图像的土地利用分类方法、存储介质和计算设备
CN111242224A (zh) * 2020-01-16 2020-06-05 贵州省草业研究所 一种基于无人机提取分类样本点的多源遥感数据分类方法
CN111291818A (zh) * 2020-02-18 2020-06-16 浙江工业大学 一种面向云掩膜的非均匀类别的样本均衡化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合Sentinel-2红边波段和Sentinel-1雷达波段影像的扎龙湿地信息提取;常文涛 等;《湿地科学》;20200229;第18卷(第1期);第10-19页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022254211A1 (en) * 2021-06-01 2022-12-08 Hummingbird Technologies Limited Cloud-free analytics from satellite input
GB2607577A (en) * 2021-06-01 2022-12-14 Geovisual Tech Inc Cloud-free analytics from satellite input

Also Published As

Publication number Publication date
CN111898503A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111898503B (zh) 基于云覆盖遥感影像和深度学习的作物识别方法和系统
CN110287944B (zh) 基于深度学习的多光谱遥感影像的农作物虫害监测方法
Halme et al. Utility of hyperspectral compared to multispectral remote sensing data in estimating forest biomass and structure variables in Finnish boreal forest
Rußwurm et al. Breizhcrops: A satellite time series dataset for crop type identification
CN110363246B (zh) 一种高时空分辨率植被指数ndvi的融合方法
CN113657158B (zh) 基于Google Earth Engine的大尺度大豆种植区域提取算法
CN112836725A (zh) 基于时序遥感数据的弱监督lstm循环神经网络稻田识别方法
She et al. Identification and mapping of soybean and maize crops based on Sentinel-2 data
Paymode et al. Tomato leaf disease detection and classification using convolution neural network
CN112084991A (zh) 基于多源遥感时序影像和卷积神经网络的作物早期识别方法
Olenskyj et al. End-to-end deep learning for directly estimating grape yield from ground-based imagery
Lambert et al. Estimate yield at parcel level from S2 time serie in sub-Saharan smallholder farming systems
US20230108422A1 (en) Methods and systems for use in processing images related to crops
CN109960972B (zh) 一种基于中高分辨率时序遥感数据的农林作物识别方法
CN106991449A (zh) 一种生活场景重构辅助识别蓝莓品种的方法
CN114140695A (zh) 一种基于无人机多光谱遥感的茶树氮素诊断及品质指标测定的预测方法和系统
CN117197668A (zh) 基于深度学习的作物倒伏级别的预测方法及系统
CN116597204A (zh) 基于Transformer网络的草地多时相高光谱分类方法
CN118153802A (zh) 遥感与多环境因素耦合的小麦关键物候期预测方法及装置
CN116863341B (zh) 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质
Babykalpana et al. Classification of land use land cover change detection using remotely sensed data
CN115828181A (zh) 基于深度学习算法的马铃薯病害种类识别方法
CN115063610A (zh) 基于Sentinel-1、2影像的大豆种植区识别方法及其面积测算方法
CN113989668A (zh) 一种基于时间序列特征的遥感农作物自动分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant