CN115222100A - 基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 - Google Patents
基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 Download PDFInfo
- Publication number
- CN115222100A CN115222100A CN202210716198.8A CN202210716198A CN115222100A CN 115222100 A CN115222100 A CN 115222100A CN 202210716198 A CN202210716198 A CN 202210716198A CN 115222100 A CN115222100 A CN 115222100A
- Authority
- CN
- China
- Prior art keywords
- neural network
- crop
- time
- spectrum
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 45
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 30
- 238000001228 spectrum Methods 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 241000209140 Triticum Species 0.000 claims description 30
- 235000021307 Triticum Nutrition 0.000 claims description 30
- 240000008042 Zea mays Species 0.000 claims description 22
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 claims description 22
- 235000002017 Zea mays subsp mays Nutrition 0.000 claims description 22
- 235000005822 corn Nutrition 0.000 claims description 22
- 238000012706 support-vector machine Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000003066 decision tree Methods 0.000 claims description 17
- 238000007637 random forest analysis Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000003306 harvesting Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000001413 cellular effect Effects 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 241000196324 Embryophyta Species 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 3
- 241000764238 Isis Species 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 244000037666 field crops Species 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010899 nucleation Methods 0.000 claims description 2
- 238000002310 reflectometry Methods 0.000 claims description 2
- 238000013210 evaluation model Methods 0.000 claims 2
- 230000004927 fusion Effects 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000002028 Biomass Substances 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Husbandry (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Agronomy & Crop Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于三维循环卷积神经网络农作物产量预测方法，包括以下步骤：S1构建中国农作物估产数据集；S2、基于卷积神经网络和循环神经网络构建农作物估产模型空间‑光谱‑时间神经网络（SSTNN）；S3利用数据集验证农作物估产模型空间‑光谱‑时间神经网络（SSTNN）的泛化能力。本发明采用多光谱、多时相遥感影像作为数据源，结合卷积神经网络和循环神经网络各自的优势，提出了一种新的深度学习架构来进行农作物产量预测,农作物估产模型空间‑光谱‑时间神经网络（SSTNN）将空间光谱学习模块和时间依赖捕获模块集成到一个统一的神经网络中，以识别多光谱、多时相遥感影像联合空间‑光谱‑时间表示。
Description
技术领域
本发明涉及遥感影像应用技术领域，具体涉及基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法。
背景技术
世界人口的增长推高了对食物的需求。据报道，世界上几乎有七分之一的人缺乏足够的食物，这给粮食安全带来了巨大的挑战。在这种情况下结合大面积作物监测在农作物生长成熟前进行作物产量估算，已成为解决粮食安全问题的有效方法。近年来，遥感技术的飞速发展，遥感影像具有各种空间、光谱和时间分辨率，可以提供丰富的空间-光谱-时间信息，并且其覆盖范围广，获取便捷，为大尺度区域的农作物产量预测提供了极大的便利。
遥感影像中光谱波段能描述不同地物的细微差异，通过对不同波段进行线性组合，建立了不同的植被指数来监测作物生长和估算作物产量，包括归一化植被指数、增强植被指数和土壤调整植被指数等。传统估产方法通常基于经验统计模型和作物生长模型，利用植被指数和环境因素对农作物产量进行预测。然而由于大尺度的农作物估产所需的归一化植被指数（NDVI）数据量较大，造成估产模型的计算成本增加，难以应用于大规模的作物产量预测。并且植被指数是几个（通常是两个）光谱波段的线性组合，其本质上是遥感影像光谱还原产物，会导致大量影像光谱信息的浪费。另一方面影像作物生长的环境因素多，其数据获取需要实地测量，需耗费大量的人力物力。与传统估产方法不同，深度学习方法可以利用遥感影像中所有的光谱波段进行特征挖掘，主流的深度学习网络，如卷积神经网络的局部连接和滑动窗口结构能提取图像中相邻像素之间的空间结构。因此卷积神经网络被广泛用于提取图像空间-光谱特征。总所周知，农作物的生长过程是一个物质积累过程，作物形态特征随着时间变化有明显差异，这与长时间序列的影像相关。除了卷积神经网络（CNN）从影像中提取空间光谱特征外，还需要一种合适的时间特征表示方法来关联时间序列中作物不同生育期的特征。有研究者利用作物不同生育期的VIs或将原始多时域图像转换为二维直方图，结合循环神经网络来捕捉作物整个生长周期时间序列的内在联系。但这些方法中影像的时域信息会被极大压缩，不能明确地编码多时相影像之间的序列相关性。
虽然基于卷积神经网络和循环神经网络的农作物估产方法均取得了比传统估产模型和机器学习方法更好的结果，但是，基于卷积神经网络CNN的方法侧重于挖掘单一生育期的作物光谱特征，基于循环神经网络（RNN）的方法虽然可以对作物生长过程的时间相关性建模，但由于其自身结构限制，难以获取遥感影像中的空间信息。因此，为从长时间序列遥感影像中自动挖掘空间-光谱-时间联合特征，本发明结合卷积神经网络和循环神经网络各自的优点，以多时相、多光谱遥感影像的原始光谱作为输入，构建了一种端到端的空间-光谱-时间神经网络，利用多光谱、多时相遥感影像，从多个维度识别作物生长模式，用于作物产量预测。
发明内容
基于现有技术的不足，本发明基于多光谱、多时相遥感影像提出了空间-光谱-时间神经网络（SSTNN），以遥感影像的原始光谱数据作为输入，不预加任何手工特征，完全保留影像中的农作物信息，该网络能从长时间序列的遥感影像中同时挖掘空间-光谱-时间联合特征，并且引入了一个新的损失函数，消除了作物产量标签的不平衡分布的影响。
本发明提出了一种基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法，包括以下步骤：
S1、构建农作物估产数据集
本发明以中国冬小麦和玉米为例，中国县级冬小麦和玉米的主要种植区域。农作物数据集从2001-2018年，以MODIS影像的原始波段数据作为估产模型的输入，包括地表反射数据集（MOD09A1）和年度土地覆盖数据集（MCD12Q1）。地表反射率数据集提供了500米空间分辨率的地表反射率影像，包括7个波段，如红外波段、近红外波段和蓝光波段等，能有效地描述地表作物的植株状态和不同物候期的生长变化。根据中国大田作物的常规播种和收获日期，对于冬小麦产量预测，MOD09A1数据集由次年10月至7月采集的32张图像的时间序列组成。获得5~10月采集的20张MOD09A1图像的时间序列，用于玉米产量预测。MODIS年度土地覆盖数据集(MCD12Q1)被用作作物掩模，从遥感影像中去除非作物像素。所有的影像数据均下载自Google Earth Engine。
2001-2018年的冬小麦和玉米产量数据来自于《农业统计年鉴》和资源学科创新平台。所有产量均以每公顷公吨为单位。此外，由于MODIS农田掩模不能准确地区分每种作物，因此从作物产量数据集中去除5%数值较低的玉米和冬小麦的产量，以过滤掉嘈杂的作物产量值。最终，共选择10205个冬小麦产量和8869个玉米产量作为最终产量标签。在深度学习中，数据需要被制作为特定维度大小的张量进行网络训练，需要对县域不规则形状的农田进行预处理，本发明通过采用维数变换技术来克服这个问题。基于作物产量不随作物像素位置变化的假设，我们打算将不规则数据转换为立方数据，以实现可处理性。更具体地说，我们首先计算每个县内的作物像素数，然后，确定一个微调阈值H=x×x。对于作物像素大于H的县，我们删除县内独立分布的像素，因为这些像素可能被错误地归类为噪声像素。对于作物像素小于H的县，我们用0填充。此外，在本实验中，包含小于2×2裁剪像素的图像被丢弃。最后，将所有图像调整为32×32×7个立方体，以便将其输入道深度网络。为提升网络的收敛速度，对冬小麦数据集进行标准化。
式中，
表示均值，
表示方差。
S2、基于卷积神经网络和循环神经网络构建农作物估产模型空间-光谱-时间神经网络（SSTNN）：
（1）在遥感影像中，光谱反射率会随着作物不同物候期的生物量变化而发生波动，同时农作物是一种高聚集性地物，影像中邻近作物像素通常表现出很强的空间相关性。因此，从影像中提取作物的光谱-空间特征是产量预测的关键。由于作物产量数据集的局限性，直接使用传统的计算机视觉中常用的深度2D CNN，如Resnet和VGG，不适用于预测作物产量。因此，我们设计了一个更轻的三维卷积神经网络来预测作物产量。所提出的3DCNN包括5个三维卷积层、3个池化层和1个全连接层。每个卷积层之后是一个三维批处理归一化层和一个整流器线性单元(ReLU)激活。在卷积层后生成的特征映射仍然是三维立方体。因此，通过应用三维卷积核，可以捕获空间信息和光谱信息。
我们首先标准化3DCNN的输入，将每个县域的MSI定义为
，其中h×w表示影像尺寸大小，c表示光谱通道数，t表示作物的时间序列，然后将整个县域的影像拆分为t个
作为模型输入，其中冬小麦数据中t=32，玉米数据中t=20。将不同时间序列的
，每个序列都会生产一个三维特征图，对于每个
，三维卷积可以表示为：
式中，
表示三维卷积运算，C、W和H分别表示影像的波段数、影像宽度和高度。在本研究中，第一个卷积层为7×32×32，表示三维卷积核中的权重矩阵，p、q、r表示卷积核的元素索引。最终三维卷积的输出仍然是一个三维立方体，其中的空间和光谱信息被完整的保存。
最后，将由全连接层将3DCNN的输出映射为时间序列的特征向量
，然后进一步将整个特征向量
划分为T个时间步的
输入到循环神经网络（RNN）中。
（2）基于递归子网的时间相关性建模
在农作物不同的物候期，其植株形态会有显著的变化，整合多时相影像中的时序信息对作物产量预测至关重要。因此，在空间和光谱领域学习了与作物相关的特征后，我们构建了一个时间特征模块来编码多时相影像中的农作物时间依赖性，利用SSM模块提取的
空间-光谱特征作为序列数据，来替代作物不同生育期简单的VIs叠加。我们的目的是挖掘序列特征之间的时间相关性，假设为第i个县域的序列概率，根据贝叶斯链式法则：
其中，我们需要模拟不同时间步长下的条件概率分布，因此，引入了循环神经网络（RNN）来对这种时间关系进行建模。
传统的循环神经网络（RNN）难以处理长时间序列数据，存在梯度消失的问题。长短期记忆网络（LSTM)是基于RNN改进循环神经网络，引入了门机制，不仅缓解了梯度消失的问题，还能够有效地挖掘长时间序列数据的内在联系。长短期记忆网络（LSTM）由细胞状态和三个不同的门单元组成，细胞状态
能保存长时间步的序列信息。以
作为时间步t的输入，
表示时刻t-1的隐藏状态，长短期记忆网络（LSTM)中三个门单元可表示为：
式中，
、
和
分布表示遗忘门、输入门和输出门。遗忘门被用来决定需要从特定的时刻删除哪些信息。然后，输入门用于计算当前的细胞状态
。最后，利用输出门来决定下一个隐藏状态
，以进行最终的预测。这些门单元和细胞状态使长短期记忆网络（LSTM）结构能够记住长时间序列的信息。因此，本文利用具有128个单元的长短期记忆网络（LSTM）层从长时间序列的多光谱遥感影像中获取时间依赖信息。
（3）自适应损失函数
作物产量预测评估的目的是将误差最小化。同样，训练神经网络的目的也是通过最小化损失函数来实现的。在标准回归问题中，L2损失通常作为训练神经网络的损失函数。给定一个包含m个样本的训练集：
其中
代表第i个县的图像，
是对应的预测。训练神经网络的目的是为了最小化以下损失函数：
其中，
为第i个输入的预测值，
为对应的标签产量。我们可以减少每个输入预测误差的损失函数。然而，也有一些县的产量相对较低或较高，由于样本有限，往往被严重高估或低估。在实际的作物产量预测中，对这些县的仔细预测是非常重要的；也就是说，这些县所造成的损失应该更值得关注。因此，我们在原来的L2损失上增加了一个新的权重系数：
新的损失函数是一个动态加权的L2损失，其中权重
是一个随统计产量变化的自动调整参数。更具体地说，提出了
来拟合损失值与实际产量之间的关系。a是一个超参数。新的损失函数包括两个属性。当产量接近平均产量（
）时，我们设置小麦为4，玉米为6，重量
接近于1，损失几乎不受影响。当产量相对较低或较高时，
越高，这些训练样本造成的误差会受到更严重的惩罚。直观地说，权重可以自动将模型集中在具有相对低或高产量的样本上，并降低具有平均产量的样本的贡献。
S3、利用数据集验证农作物估产模型空间-光谱-时间神经网络（SSTNN）的泛化能力：
利用农作物数据集中2001-2015年数据进行训练，2016-2018年数据进行验证。进行模型训练时，为了保证该模型的收敛性，选择Adam作为优化器来训练深度学习网络。在全连接层之后利用Dropout层，以避免过拟合。同时，采用了批处理归一化技术来加速收敛速度和保持模型的稳定性。通过训练好的估产模型预测2016-2018年县域产量数据，根据其统计产量计算模型预测精确度。为了验证所提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）的优势，我们还将其与主流的估产模型进行对比，包括深度学习模型：二维卷积神经网络（2DCNN）、长短期记忆网络（LSTM）和机器学习中的支持向量机（SVM）、随机森林（RF）、决策树（DT），比较不同模型预测的精确度。
本发明的有益效果是：
1.本发明提出了一个基于深度学习的农作物估产模型空间-光谱-时间神经网络（SSTNN），具有深度组合空间光谱学习模块和时间依赖捕获模块。充分挖掘多时相、多光谱遥感影像中的农作物空间-光谱-时间联合特征，提高了作物产量预测精度。
2.本发明提出的损失函数能有效解决训练数据中样本不平衡问题，自适应地调整训练批次中样本损失值，使估产模型更多地关注到产量相对较低或较高的样本上。
3.实验表明，所提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）有能力提前2个月预测县级尺度的全国冬小麦主产区产量，为冬小麦生育早期产量预测提供了新的思路和方法。
附图说明
图1为本发明提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）的框架图；
表1为本发明提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）关键参数设置；
表2为本发明提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）在冬小麦和玉米数据集上，与其他对比模型的性能评估，包括深度学习模型：（2DCNN、LSTM）和机器学习模型（DT、RF、SVM）；
图2为不同估产模型在中原地区冬小麦的空间误差分布图；
图3为不同估产模型在西北地区冬小麦的空间误差分布图；
图4为不同估产模型在黄淮平原地区玉米的空间误差分布图；
图5为不同估产模型在不同时间步的预测精度，以冬小麦和玉米数据集为例。
具体实施方式
以下结合附图对本发明作进一步说明。
S1、构建农作物估产数据集
本发明以中国冬小麦和玉米为例，中国县级冬小麦和玉米的主要种植区域。
步骤S2具体步骤如图1农作物估产模型空间-光谱-时间神经网络（SSTNN）的框架所示，农作物估产模型空间-光谱-时间神经网络（SSTNN）如前所述，该模型包括基于三维卷积神经网络的空间-光谱特征提取模型和基于双向循环神经网络的时态依赖性捕获模块，首先空间-光谱特征提取模型，不仅可以捕获每个波段内的联合空间光谱信息，还可以捕获不同波段之间的相关性。为进一步整合来自多时相遥感影像的时态依赖性，提出了一个包含双向循环神经网络的时态依赖性捕获模块来聚合不同时态遥感影像的时态信息。通过连接空间-光谱特征提取模型和时态依赖性捕获模块，可以充分挖掘作物生长期间的空间光谱变化和时间依赖性。
农作物估产模型空间-光谱-时间神经网络（SSTNN）的详细参数设置如表1所示，包括5个3D 卷积层、3个3D 池化层、1个包含512个神经元的全连接层和一个双向长短期记忆网络（LSTM)，其中3D 卷积层的卷积核均为3×3×3，滤波器个数依次为32，64，128，256，256；3D 池化层的核为2×2×2，池化步长均为2；双向长短期记忆网络（LSTM) 的神经元个数为128。
表1
步骤S3中各个对比模型在不同数据集上的评估效果如表2所示，
表2
本发明为验证所提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）的优势，实现了机器学习中的支持向量机（SVM）、随机森林（RF）、决策树（DT）和最先进的深度学习方法：卷积神经网络（CNN）、长短期记忆网络（LSTM）来预测作物产量。各个对比模型的关键参数如下：
（1）决策树(DT):包括树的最大深度max_depth=3,4,5,6,7，叶子节点最少样本数min_samples_leaf=10,15,20,30，内部节点再划分所需最小样本数min_samples_split=5,8,10。
（2）随机森林(RF):包括子树的数量num_estimators=20,80,100，每棵树的最大深度max_depth=3,6,9。
（3）支持向量机(SVM):使用径向基(RBF)作为SVM的核函数，惩罚因子C取值范围为1-7，松弛变量γ=10-1,10-2,10-3。
（4）长短期记忆模型(LSTM):由128个神经元的GRU和全连接层构成，批处理大小为32，初始学习率为0.001。
（5）卷积神经网络(CNN):包含4个卷积层，4个池化层，1个全连接层，批处理大小为32，初始学习率为0.0001。
机器学习方法不能处理多时间步长图像。因此，将所有时间步长的平均归一化植被指数（NDVI）作为机器学习方法的输入。对于卷积神经网络(CNN)，采用与3D CNN相同的架构，将3D内核替换为2D内核，也使用一个128个单元的长短期记忆网络（LSTM) 层进行比较。同时，单独选取不同的时间步长图像作为2D CNN的输入，并选取最优的图像作为最终结果。对于长短期记忆网络（LSTM)，将图像平展为向量作为输入。表2显示了农作物估产模型空间-光谱-时间神经网络（SSTNN）与其他基线方法在平均R2,均方根误差（RMSE）和平均绝对百分比误差（MAPE）上的差异，增强效果显著。
在冬小麦预测中，农作物估产模型空间-光谱-时间神经网络（SSTNN）方法在所有实验年份均取得了最佳的预测效果。具体来说，农作物估产模型空间-光谱-时间神经网络（SSTNN）与支持向量机（SVM）、随机森林（RF）、决策树（DT）相比，均方根误差（RMSE）分别降低了0.60、0.59和0.41。传统的预测方法中，决策树（DT）和随机森林（RF）的R2值均小于0.5，对于作物产量预测评价来说偏低。支持向量机（SVM）的性能优于其他基线方法，R2值为0.57。支持向量机的这一微小改进体现了其更高的泛化能力。同时，农作物估产模型空间-光谱-时间神经网络（SSTNN）相比于其他深度学习模型，在冬小麦预测的问题上也展现了较高的优越性。与卷积神经网络(CNN)模型相比，农作物估产模型空间-光谱-时间神经网络（SSTNN）模型的均方根误差（RMSE）和平均绝对百分比误差（MAPE）分别提高了20.2%和12.2%，与长短期记忆网络（LSTM)相比，均方根误差（RMSE）和平均绝对百分比误差（MAPE）分别提高了26.3%和26.5%。
图2和图3分别展示了中原麦区和西北麦区的误差空间分布图，相比于其他方法农作物估产模型空间-光谱-时间神经网络（SSTNN）得到的误差值更多集中于-0.5~0.5区间，其中支持向量机（SVM）、随机森林（RF）、决策树（DT）三种方法整体误差均要比三种深度学习的方法大，且在中原地区的中北部和西北地区的东部地区这种误差现象更加明显。而三种深度学习的方法产生的误差较大的区域主要集中分布在中原地区的中部以及西北地区的西部和中部部分地区。
依据表2，在玉米产量预测结果中，农作物估产模型空间-光谱-时间神经网络（SSTNN）方法预测玉米产量的均方根误差（RMSE）最低，为0.84。与基线方法支持向量机（SVM）、随机森林（RF）、决策树（DT）相比，农作物估产模型空间-光谱-时间神经网络（SSTNN）对玉米产量预测的R2分别提高了277%、195%和74%。同时，与其他深度学习模型相比，农作物估产模型空间-光谱-时间神经网络（SSTNN）方法同样在玉米产量预测上取得了令人满意的成果。与卷积神经网络(CNN)模型，农作物估产模型空间-光谱-时间神经网络（SSTNN）方法的均方根误差（RMSE）下降了0.13，R2增加了0.10。与长短期记忆网络（LSTM)相比，农作物估产模型空间-光谱-时间神经网络（SSTNN）的平均绝对百分比误差（MAPE）降低了28%。
图4则主要展示了中国县级玉米产量预测结果误差的空间分布。其中，农作物估产模型空间-光谱-时间神经网络（SSTNN）方法所得到的误差值大部分集中于-0.5~0.5之间，在黄淮海平原的中部地区存在明显的产量低估现象。但相比于其他两种深度学习方法，农作物估产模型空间-光谱-时间神经网络（SSTNN）模型在该地区的北部和南部都有着较小的误差值。而传统的方法，不仅在黄淮海地区的中部误差值较大，同时在该地区的西北部和西南部也存在着预测产量被高估的情况。
如图5所示，时间信息的引入可以显著提高作物产量预测的准确性。为了分析不同时间步长对作物产量预测的影响，我们进一步对利用所提出的模型对不同的时间序列图像进行了训练。具体来说，我们分别将收获前n个月（7月）的冬小麦产量预测图像作为农作物估产模型空间-光谱-时间神经网络（SSTNN）的输入，其中n=1（6月）、2（5月）、3（4月）、4（3月）、5（2月）、6（1月）、7（12月）等等。利用收获前m周拍摄的图像来预测玉米小麦产量，其中m的范围为6~20，每2周间隔一次。在图5中绘制了所有县在每个时间步长的平均均方根误差（RMSE）值。可以看出，由于丰富的时间信息，这些方法在接近收获时获得了最佳的性能。还观察到，在冬小麦预测中，3月份的均方根误差（RMSE）显著降低。这主要是因为小麦计划在3月份开始起来。在这个阶段，确定了穗头的大小，或每个穗的小穗数。因此，此时作物的生理特性可以在一定程度上反映最终产量。此外，所提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）与从作物生长的早期阶段拍摄的图像在冬小麦和玉米产量预测中都表现不佳。由此可见，随着时间信息的提供，作物产量预测的性能将得到显著提高。此外，我们发现所提出的农作物估产模型空间-光谱-时间神经网络（SSTNN）在小麦产量预测、收获前两个月和玉米产量预测中均取得了令人满意的性能。这些结果证明了我们的方法可以在收获前做出准确的预测，并进一步证明了该方法的推广性。
Claims (3)
1.一种基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法，其特征在于：包括以下步骤：
S1、构建农作物估产数据集：
评估所述农作物估产模型，首先以MODIS影像数据作为数据源，MODIS影像数据包括MODIS地表反射率、MODIS昼夜温度数据和MODIS年度土地覆盖数据集，提取影像中的农作物像素点，并将其进行波段融合；其次，为提升网络的收敛速度，对农作物数据集进行标准化；
S2、基于卷积神经网络和循环神经网络构建农作物估产模型空间-光谱-时间神经网络（SSTNN）：
制作基于深度学习的农作物估产模型空间-光谱-时间神经网络（SSTNN），包括空间光谱学习模块和时间依赖捕获模块；空间光谱学习模块包括三维卷积神经网络，用于提取影像中作物不同生育期的生长特征；时间特征模块用于挖掘多时相影像中的农作物时间依赖性；农作物估产模型空间-光谱-时间神经网络（SSTNN）还包括自适应损失函数L—动态加权的L2损失，用于解决农作物估产数据集中样本不平衡问题；
自适应损失函数的公式如下：
S3、利用数据集验证农作物估产模型空间-光谱-时间神经网络（SSTNN）的泛化能力：
对步骤S2所提出来的农作物估产模型空间-光谱-时间神经网络（SSTNN），利用农作物数据集中2001-2015年数据进行训练，2016-2018年数据进行验证；将其与主流的估产模型进行对比，包括深度学习中的卷积神经网络（CNN）、长短期记忆网络（LSTM）和机器学习中的支持向量机（SVM）、随机森林（RF）、决策树（DT），以验证农作物估产模型SSTNN在不同估产数据集上的整体性能。
2.根据权利要求1所述的基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法，其特征在于：所述步骤S1的具体操作如下：
S1.1农作物数据集中影像波段融合
以MODIS影像的原始波段数据作为估产模型的输入，MODIS影像的原始波段数据包括地表反射数据集（MOD09A1）和年度土地覆盖数据集（MCD12Q1）；地表反射数据集（MOD09A1）提供500米空间分辨率的地表反射率影像，包括7个波段，有效地描述地表作物的植株状态和不同物候期的生长变化；根据中国大田作物的常规播种和收获日期，对于冬小麦产量预测，年度土地覆盖数据集(MCD12Q1)被用作作物掩模，从遥感影像中去除非作物像素；
S1.2农作物数据集标准化
农作物数据集标准化是将数据按比例缩放，使得数据的每一个维度都具有零均值和单位方差，能够提升估产模型精度和收敛速度；标准化公式如下：
式中，
表示均值，
表示方差。
3.根据权利要求1所述的基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法，其特征在于：所述步骤S2的具体操作如下：
S2.1、基于卷积子网的空间光谱特征提取
农作物估产模型空间-光谱-时间神经网络（SSTNN）中的空间光谱学习模块由三维卷积神经网络构成，三维卷积神经网络包括5个三维卷积层、3个池化层和1个全连接层；每个卷积层之后是一个三维批处理归一化层和一个整流器线性单元(ReLU)激活，在卷积层后生成的特征映射仍然是三维立方体；通过应用三维卷积核，捕获空间信息和光谱信息；
标准化三维卷积神经网络的输入，将每个县域的MSI定义为
，其中h×w表示影像尺寸大小，c表示光谱通道数，t表示作物的时间序列，然后将整个县域的影像拆分为t个
作为模型输入，其中冬小麦数据中t=32，玉米数据中t=20；将不同时间序列的
，每个序列都会生产一个三维特征图，对于每个
，三维卷积可以表示为：
式中，
表示3D卷积运算，C、W和H分别表示影像的波段数、影像宽度和高度；第一个卷积层为7×32×32，表示三维卷积核中的权重矩阵，p、q、r表示卷积核的元素索引；最终三维卷积的输出仍然是一个三维立方体，其中的空间和光谱信息被完整的保存；
最后，将由全连接层将三维卷积神经网络的输出映射为时间序列的特征向
，然后进一步将整个特征向量
划分为T个时间步的
输入到循环神经网络（RNN）中；
S2.2基于递归子网的时间相关性建模
采用一个时间特征模块来编码多时相影像中的农作物时间依赖性，利用空间光谱学习模块提取的
空间-光谱特征作为序列数据，来替代作物不同生育期简单的VIs叠加，挖掘序列特征之间的时间相关性，设定
为第i个县域的序列概率，根据贝叶斯链式法则：
为了模拟不同时间步长下的条件概率分布，引入基于循环神经网络（RNN）改进的长短期记忆网络（LSTM）来对这种时间关系进行建模；长短期记忆网络（LSTM）由细胞状态和三个不同的门单元组成，细胞状态
能保存长时间步的序列信息；以
作为时间步t的输入，
表示时刻t-1的隐藏状态，长短期记忆网络（LSTM）中三个门单元可表示为：
式中，
、
和
分布表示遗忘门、输入门和输出门；遗忘门被用来决定需要从特定的时刻删除哪些信息；输入门用于计算当前的细胞状态
；最后，利用输出门来决定下一个隐藏状态
，以进行最终的预测；这些门单元和细胞状态使长短期记忆网络（LSTM）结构能够记住长时间序列的信息；
S2.3自适应损失函数
作物产量预测评估用于将误差最小化，训练神经网络的目的通过最小化损失函数来实现的；在标准回归问题中，L2损失作为训练神经网络的损失函数；给定一个包含m个样本的训练集：
其中
代表第i个县的图像，
是对应的预测；训练神经网络的目的是为了最小化以下损失函数：
其中，
为第i个输入的预测值，
为对应的标签产量；减少每个输入预测误差的损失函数；有一些县的产量相对较低或较高，由于样本有限，产量被严重高估或低估；在原来的L2损失上增加了一个新的权重系数：
所述新的损失函数是一个动态加权的L2损失，其中权重
是一个随统计产量变化的自动调整参数；
用于拟合损失值与实际产量之间的关系；a是超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210716198.8A CN115222100A (zh) | 2022-06-23 | 2022-06-23 | 基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210716198.8A CN115222100A (zh) | 2022-06-23 | 2022-06-23 | 基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115222100A true CN115222100A (zh) | 2022-10-21 |
Family
ID=83610178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210716198.8A Pending CN115222100A (zh) | 2022-06-23 | 2022-06-23 | 基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115222100A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115860269A (zh) * | 2023-02-20 | 2023-03-28 | 南京信息工程大学 | 一种基于三重注意力机制的农作物产量预测方法 |
| CN116563706A (zh) * | 2023-05-08 | 2023-08-08 | 哈尔滨工业大学 | 一种针对多光谱图像反射率多特征的作物产量估计方法 |
| CN116721361A (zh) * | 2023-06-09 | 2023-09-08 | 中国测绘科学研究院 | 一种可兼容时空不连续影像的湿地遥感提取方法 |
| CN116863341A (zh) * | 2023-08-24 | 2023-10-10 | 中国农业科学院农业资源与农业区划研究所 | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 |
| CN117556956A (zh) * | 2023-11-24 | 2024-02-13 | 中国科学院空天信息创新研究院 | 一种水稻单位面积产量估计方法及装置 |
| CN117575111A (zh) * | 2024-01-16 | 2024-02-20 | 安徽农业大学 | 一种基于迁移学习的农业遥感图像时空序列预测方法 |
-
2022
- 2022-06-23 CN CN202210716198.8A patent/CN115222100A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115860269A (zh) * | 2023-02-20 | 2023-03-28 | 南京信息工程大学 | 一种基于三重注意力机制的农作物产量预测方法 |
| CN116563706A (zh) * | 2023-05-08 | 2023-08-08 | 哈尔滨工业大学 | 一种针对多光谱图像反射率多特征的作物产量估计方法 |
| CN116563706B (zh) * | 2023-05-08 | 2024-05-17 | 哈尔滨工业大学 | 一种针对多光谱图像反射率多特征的作物产量估计方法 |
| CN116721361A (zh) * | 2023-06-09 | 2023-09-08 | 中国测绘科学研究院 | 一种可兼容时空不连续影像的湿地遥感提取方法 |
| CN116721361B (zh) * | 2023-06-09 | 2024-01-02 | 中国测绘科学研究院 | 一种可兼容时空不连续影像的湿地遥感提取方法 |
| CN116863341A (zh) * | 2023-08-24 | 2023-10-10 | 中国农业科学院农业资源与农业区划研究所 | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 |
| CN116863341B (zh) * | 2023-08-24 | 2024-01-26 | 中国农业科学院农业资源与农业区划研究所 | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 |
| CN117556956A (zh) * | 2023-11-24 | 2024-02-13 | 中国科学院空天信息创新研究院 | 一种水稻单位面积产量估计方法及装置 |
| CN117556956B (zh) * | 2023-11-24 | 2024-06-11 | 中国科学院空天信息创新研究院 | 一种水稻单位面积产量估计方法及装置 |
| CN117575111A (zh) * | 2024-01-16 | 2024-02-20 | 安徽农业大学 | 一种基于迁移学习的农业遥感图像时空序列预测方法 |
| CN117575111B (zh) * | 2024-01-16 | 2024-04-12 | 安徽农业大学 | 一种基于迁移学习的农业遥感图像时空序列预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115222100A (zh) | 基于三维循环卷积神经网络和多时相遥感影像的农作物产量预测方法 | |
| US10838936B2 (en) | Computer-implemented methods, computer readable medium and systems for generating an orchard data model for a precision agriculture platform | |
| Dharani et al. | Review on crop prediction using deep learning techniques | |
| Liu et al. | Large-scale crop mapping from multisource remote sensing images in google earth engine | |
| US11100264B2 (en) | Computer-implemented methods, computer readable medium and systems for a precision agriculture platform that integrates a satellite date model and an orchard data model | |
| Sharma et al. | Wheat crop yield prediction using deep LSTM model | |
| US10748081B2 (en) | Computer-implemented methods, computer readable medium and systems for a precision agriculture platform that identifies generic anomalies in crops | |
| US10395355B2 (en) | Computer-implemented methods, computer readable medium and systems for a precision agriculture platform | |
| US10410334B2 (en) | Computer-implemented methods, computer readable medium and systems for a precision agriculture platform with a satellite data model | |
| US10943173B2 (en) | Computer-implemented methods, computer readable medium and systems for generating a satellite data model for a precision agriculture platform | |
| CN114926748A (zh) | Sentinel-1/2微波与光学多光谱影像结合的大豆遥感识别方法 | |
| Zhang et al. | Improving wheat yield estimates using data augmentation models and remotely sensed biophysical indices within deep neural networks in the Guanzhong Plain, PR China | |
| Bai et al. | Growth simulation and yield prediction for perennial jujube fruit tree by integrating age into the WOFOST model | |
| CN115829162A (zh) | 作物产量预测方法、装置、电子设备及介质 | |
| Joshi et al. | Winter wheat yield prediction in the conterminous United States using solar-induced chlorophyll fluorescence data and XGBoost and random forest algorithm | |
| CN115861831A (zh) | 基于作物物候知识的时间序列遥感数据农作物识别方法 | |
| CN115018105A (zh) | 一种冬小麦气象产量预测方法及系统 | |
| Mathur | Satellite-based crop yield prediction using machine learning algorithm | |
| CN116227758A (zh) | 基于遥感技术和深度学习的农产品成熟度预测方法及系统 | |
| Renju et al. | A review of crop yield prediction strategies based on machine learning and deep learning | |
| Ayub et al. | Wheat Crop Field and Yield Prediction using Remote Sensing and Machine Learning | |
| CN116935206A (zh) | 一种基于sca与3d-cnn融合网络的高维多源遥感影像分类方法 | |
| CN114936699A (zh) | 一种基于深度学习的花卉栽培过程中幼苗死亡率预测方法 | |
| Mohan et al. | Temporal convolutional network based rice crop yield prediction using multispectral satellite data | |
| Shakir | Optimal Deep Learning Driven Smart Sugarcane Crop Monitoring on Remote Sensing Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |