CN114925947B - 一种物候自适应的作物生理指标深度学习估测方法及系统 - Google Patents

一种物候自适应的作物生理指标深度学习估测方法及系统 Download PDF

Info

Publication number
CN114925947B
CN114925947B CN202210207335.5A CN202210207335A CN114925947B CN 114925947 B CN114925947 B CN 114925947B CN 202210207335 A CN202210207335 A CN 202210207335A CN 114925947 B CN114925947 B CN 114925947B
Authority
CN
China
Prior art keywords
physiological
network
phenological
branch
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210207335.5A
Other languages
English (en)
Other versions
CN114925947A (zh
Inventor
史良胜
杨琦
査元源
胡小龙
韩景晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210207335.5A priority Critical patent/CN114925947B/zh
Publication of CN114925947A publication Critical patent/CN114925947A/zh
Application granted granted Critical
Publication of CN114925947B publication Critical patent/CN114925947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Primary Health Care (AREA)

Abstract

本发明公开了一种物候自适应的作物生理指标深度学习估测方法及系统，属于定量遥感、深度学习和作物监测技术领域，包括数据采集及预处理，基于作物生理指标随时间及空间变异的情况，构建时空损失函数；基于时空损失函数，构建用于作物生理指标物候自适应遥感估测的卷积神经网络；利用预处理后的数据训练构建的用于作物生理指标物候自适应遥感估测的卷积神经网络；最后利用训练好的卷积神经网络进行目标作物生理指标的估测。本发明可以同时最大化利用遥感影像中的光谱数据和空间数据对目标生理参数进行实时估测，另外基于卷积神经网络替代了“物候‑植被指数‑生理指标”之间的非线性动态关系，计算速度快，适合在大区域范围上应用。

Description

一种物候自适应的作物生理指标深度学习估测方法及系统
技术领域
本发明属于定量遥感、深度学习和作物监测技术领域，具体涉及一种物候自适应的作物生理指标深度学习估测方法及系统。
背景技术
作物生理指标的实时估测对作物实时生长模拟以及农田管理决策都至关重要。传统的作物生理指标的实时估测方法往往基于植被指数与生理指标之间的单一或分段经验关系。作物物候是作物最重要的生理指标之一，其影响作物生长发育的各个过程。然而，真实的“植被指数-生理指标”关系随作物物候发生动态变化，未能对这种变化进行自适应使得单一关系法和分段函数法存在结构误差。基于物候自适应的作物生理指标估测方法利用“物候-植被指数-生理指标”关系来减小上述结构误差。然而，传统的作物物候遥感估测方法需要生长季内的时序植被指数轨迹，因此难以做到实时估测。并且上述于物候自适应的作物生理指标估测方法是以植被指数作为输入，仅仅利用了遥感影像中的光谱信息而忽略了其中的空间信息。
卷积神经网络(CNN)作为一种新兴的机器视觉技术，可以同时从遥感影像中学习到与目标函数相关的抽象光谱特征和空间特征。然而，直接使用经典CNN架构进行作物生理指标估测，无法考虑“抽象特征-生理指标”随作物物候直接的动态关系，导致估测存在较大的不确定性。此外，CNN架构中采用经典的均方误差(MSE)损失函数可能导致网络学习到“伪相关”特征，从而大幅降低网络对区域作物生理指标的估测能力。
发明内容
本发明针对现有技术的不足，提供一种物候自适应的作物生理指标深度学习估测方法及系统。本发明通过设计一种能同时考虑估计值和观测值之前的均方误差、相关性以及方差比的新颖的时空损失函数，基于此构建了一个三分支卷积神经网络架构。基于该架构的作物生理指标估测方法解决了采用均方误差损失函数可能遇到的伪相关问题，也解决了“遥感影像，物候，除物候外其他作物生理指标”之间的自适应问题。
为了达到上述目的，本发明提供的技术方案是一种物候自适应的作物生理指标深度学习估测方法，包括以下步骤：
步骤1，数据采集及预处理，包括多光谱影像和RGB影像；
步骤2，基于作物生理指标随时间及空间变异的情况，构建时空损失函数；
步骤3，基于时空损失函数，构建用于作物生理指标物候自适应遥感估测的卷积神经网络；
步骤4，利用步骤1预处理后的数据训练步骤3构建的用于作物生理指标物候自适应遥感估测的卷积神经网络；
步骤5，利用步骤4训练好的卷积神经网络进行目标作物生理指标的估测。
进一步的，步骤2的具体实现方式为，使用无人机采集高分辨率作物冠层的空间分辨率10cm多光谱影像和空间分辨率2cm的RGB影像，然后对两种影像先针对所有样本标签值进行分组，再基于该分组样本数量占所有样本数量的比例进行自适应随机数据增强操作以克服样本不平衡问题；另外采集物候观测和目标生理观测指标作为卷积神经网络训练过程中的真值，目标生理观测指标包括叶面积指数和地上生物量；
其中采用随机裁剪、随机噪声扰动对多光谱影像进行自适应随机数据增强操作；采用随机裁剪、随机缩放、随机旋转、随机亮度、随机对比度对RGB影像进行自适应随机数据增强操作。
进一步的，自适应随机数据增强中随机裁剪的具体公式为：
nc,i＝nc,i-1-lc,i-1×Δmc,i-1   (1)
Figure BDA0003531445350000021
Δmc,i-1＝mc,i-1-E   (3)
式中，n表示样本影像随机裁剪的次数，c是对样本分布进行离散的分组编号，i是迭代次数，l是n随迭代的更新率，m是有效裁剪数，E是期待的有效裁剪数。
进一步的，步骤2中时空损失函数计算公式如下；
LossST＝β×LossS+LossT   (4)
其中：
Figure BDA0003531445350000031
Figure BDA0003531445350000032
Figure BDA0003531445350000033
Figure BDA0003531445350000034
Figure BDA0003531445350000035
式中，LossT为作物生理指标随时间变异的时间损失函数；LossS为作物生理指标随空间变异的空间损失函数；yi,t和
Figure BDA0003531445350000036
分别为观测时间t时的第i个观测值和估测值；N为样本数；
Figure BDA0003531445350000037
表示yi,t和
Figure BDA0003531445350000038
线性回归方程的斜率与1的接近程度，其值越小表明该线性方程与1:1线的夹角θ越小；
Figure BDA0003531445350000039
为yi,t和
Figure BDA00035314453500000310
线性方程的截断斜率；
Figure BDA00035314453500000311
表示yi,t和
Figure BDA00035314453500000312
的决定系数；α为针对
Figure BDA00035314453500000313
的损失缩放系数，β为空间损失缩放系数；Clamp(x,min,max)函数表示将输入x的值域限制在设定的最小值和最大值之间；ε表示一个极小的数。
进一步的，步骤4中，用于作物生理指标物候自适应遥感估测的卷积神经网络包括一个双分支CNN网络和一个空间信息分支；双分支CNN包括光谱信息分支和物候分支，替代“物候-植被指数-生理指标”之间的非线性动态关系，光谱信息分支以多光谱影像作为输入，采用全局平均池化层消除多光谱影像中的空间信息，并采用若干个全连接层提取光谱信息；物候分支以RGB图像作为输入，采用ResNet-18网络提取物候特征，将两个分支提取后的高维特征向量进行特征连接，得到物候-光谱的混合特征，该混合特征经过若干个全连接层进行非线性映射后，输出目标作物生理指标的一组估测值x1，结合该组估测值对应的观测值，计算时空损失函数作为该网络的损失；空间信息分支采用ResNet-18网络作为特征提取器，用于提取与生理指标相关的空间特征以输出估测值x2，并基于时空损失函数对网络参数进行优化，利用可学习参数w将双分支网络的输出x1与空间信息分支的输出x2进行融合：
x′＝wx1+(1-w)x2   (10)
式中，参数w为物候相关的参数，由物候分支输出的高维特征经过非线性映射而来；x′表示融合后的作物生理指标估测值。
进一步的，在训练网络时，为了保证各个分支提取特征的稳定性，在训练某一分支时对其他分支的梯度进行截断，具体为在训练双分支网络时，对物候分支的梯度进行截断，使得两个分支的梯度互不干扰，使物候分支和光谱信息分支都能学习到稳定的物候特征和光谱特征；训练空间信息分支网络后，对三个分支都进行梯度截断，再训练特征融合用到的可学习参数w。
进一步的，在网络训练过程中，训练优化器采用Adam算法，预训练参数的初始学习率为0.00001，其他参数的初始学习率为0.001，数据集内所有数据循环一次为一个epoch，学习率每个epoch衰减0.9倍，训练过程为60个epoch。
本发明还提供一种物候自适应的作物生理指标深度学习估测系统，包括如下模块：
预处理模块，用于数据采集及预处理，包括多光谱影像和RGB影像；
损失函数构建模块，用于基于作物生理指标随时间及空间变异的情况，构建时空损失函数；
卷积神经网络构建模块，用于基于时空损失函数，构建用于作物生理指标物候自适应遥感估测的卷积神经网络；
网络训练模块，用于利用预处理后的数据训练构建的用于作物生理指标物候自适应遥感估测的卷积神经网络；
估测模块，用于利用训练好的卷积神经网络进行目标作物生理指标的估测。
进一步的，损失函数构建模块中时空损失函数计算公式如下；
LossST＝β×LossS+LossT   (4)
其中：
Figure BDA0003531445350000041
Figure BDA0003531445350000051
Figure BDA0003531445350000052
Figure BDA0003531445350000053
Figure BDA0003531445350000054
式中，LossT为作物生理指标随时间变异的时间损失函数；LossS为作物生理指标随空间变异的空间损失函数；yi,t和
Figure BDA0003531445350000055
分别为观测时间t时的第i个观测值和估测值；N为样本数；
Figure BDA0003531445350000056
表示yi,t和
Figure BDA0003531445350000057
线性回归方程的斜率与1的接近程度，其值越小表明该线性方程与1:1线的夹角θ越小；
Figure BDA0003531445350000058
为yi,t和
Figure BDA0003531445350000059
线性方程的截断斜率；
Figure BDA00035314453500000510
表示yi,t和
Figure BDA00035314453500000511
的决定系数；α为针对
Figure BDA00035314453500000512
的损失缩放系数，β为空间损失缩放系数；Clamp(x,min,max)函数表示将输入x的值域限制在设定的最小值和最大值之间；ε表示一个极小的数。
进一步的，卷积神经网络构建模块中，用于作物生理指标物候自适应遥感估测的卷积神经网络包括一个双分支CNN网络和一个空间信息分支；双分支CNN包括光谱信息分支和物候分支，替代“物候-植被指数-生理指标”之间的非线性动态关系，光谱信息分支以多光谱影像作为输入，采用全局平均池化层消除多光谱影像中的空间信息，并采用若干个全连接层提取光谱信息；物候分支以RGB图像作为输入，采用ResNet-18网络提取物候特征，将两个分支提取后的高维特征向量进行特征连接，得到物候-光谱的混合特征，该混合特征经过若干个全连接层进行非线性映射后，输出目标作物生理指标的一组估测值x1，结合该组估测值对应的观测值，计算时空损失函数作为该网络的损失；空间信息分支采用ResNet-18网络作为特征提取器，用于提取与生理指标相关的空间特征以输出估测值x2，并基于时空损失函数对网络参数进行优化，利用可学习参数w将双分支网络的输出x1与空间信息分支的输出x2进行融合：
x′＝wx1+(1-w)x2   (10)
式中，参数w为物候相关的参数，由物候分支输出的高维特征经过非线性映射而来；x′表示融合后的作物生理指标估测值。
与现有技术相比，本发明具有如下优点：
相比基于传统均方误差损失函数的单分支网络，本发明提出的基于时空损失函数的三分支网络可以显著改善某一时刻下作物生理指标空间变异性的估计效果，对实际生产活动具有更强的指导意义和运用潜力。本发明可以同时最大化利用遥感影像中的光谱数据和空间数据对目标生理参数进行实时估测，另外基于卷积神经网络替代了“物候-植被指数-生理指标”之间的非线性动态关系，计算速度快，适合在大区域范围上应用。
附图说明
图1本发明实施例的方法原理图。
图2本发明实施例构建的用于作物生理指标物候自适应遥感估测的卷积神经网络的示意图。
图3本发明实施例中的空间损失函数三维可视化示意图。
图4本发明实施例中的训练数据增强原理示意图。
图5本发明实施例中的物候估测精度示意图。
图6为本发明实施例基于MSE损失函数和时空损失函数估测作物生理指标精度对比示意图，其中图6(a)为基于MSE损失函数估测LAI的估测精度示意图，图6(b)为基于时空损失函数估测LAI的估测精度示意图，图6(c)为基于MSE损失函数估测地上生物量的估测精度示意图，图6(d)为基于时空损失函数估测地上生物量的估测精度示意图。
图7为本发明实施例基于ResNet-18网络和本发明构建的估测网络估测作物生理指标精度对比示意图，其中图7(a)为基于ResNet-18网络估测LAI的估测精度示意图，图7(b)为基于本发明构建的估测网络估测LAI的估测精度示意图，图7(c)为基于ResNet-18网络估测地上生物量的估测精度示意图，图7(d)为基于本发明构建的估测网络估测地上生物量的估测精度示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明提供一种物候自适应的作物生理指标深度学习估测方法，本发明实施例的流程包括以下步骤：
步骤1，数据采集及预处理。
使用无人机采集高分辨率作物冠层的空间分辨率10cm多光谱影像和空间分辨率2cm的RGB影像，然后对两种影像先针对所有样本标签值进行分组，再基于该分组样本数量占所有样本数量的比例进行自适应随机数据增强操作(多光谱影像：随机裁剪、随机噪声扰动；RGB影像：随机裁剪、随机缩放、随机旋转、随机亮度、随机对比度)以克服样本不平衡问题，如图4所示。例如，样本少的分组将增大数据增强的次数，反之亦然。自适应随机数据增强随机裁剪的具体公式为：
nc,i＝nc,i-1-lc,i-1×Δmc,i-1   (1)
Figure BDA0003531445350000071
Δmc,i-1＝mc,i-1-E   (3)
式中，n表示此样本影像随机裁剪的次数，c是对样本分布进行离散的分组编号，i是迭代次数，l是n随迭代的更新率。m是有效裁剪数，E是期待的有效裁剪数。
采集物候观测(BBCH标准)和目标生理观测指标，包括但不限于叶面积指数、地上生物量。
步骤2，基于作物生理指标随时间及空间变异的情况，构建时空损失函数。
时空损失函数计算公式如下：
LossST＝β×LossS+LossT   (4)
其中：
Figure BDA0003531445350000072
Figure BDA0003531445350000073
Figure BDA0003531445350000074
Figure BDA0003531445350000081
Figure BDA0003531445350000082
式中，LossT为作物生理指标随时间变异的时间损失函数；LossS为作物生理指标随空间变异的空间损失函数；yi,t和
Figure BDA0003531445350000083
分别为观测时间t时的第i个观测值和估测值；N为样本数；
Figure BDA0003531445350000084
表示yi,t和
Figure BDA0003531445350000085
线性回归方程的斜率与1的接近程度，其值越小表明该线性方程与1:1线(即斜率为1的直线)的夹角θ越小；
Figure BDA0003531445350000086
为yi,t和
Figure BDA0003531445350000087
线性方程的截断斜率；
Figure BDA0003531445350000088
表示yi,t和
Figure BDA0003531445350000089
的决定系数；α为针对
Figure BDA00035314453500000810
的损失缩放系数，本实施例α取值0.01；β为空间损失缩放系数，本实施例β取值0.6；Clamp(x,min,max)函数表示将输入x的值域限制在设定的最小值和最大值之间；ε表示一个极小的数，如10e-6。
LossS的三维可视化示意图如图2，当估测值与观测值的相关性越高，线性回归斜率约接近1时，LossS的值越小。
步骤3，基于时空损失函数，构建用于作物生理指标物候自适应遥感估测的卷积神经网络。
如图2所示，用于作物生理指标物候自适应遥感估测的卷积神经网络包括一个双分支CNN网络和一个空间信息分支。双分支CNN包括光谱信息分支和物候分支，替代“物候-植被指数-生理指标”之间的非线性动态关系。光谱信息分支以多光谱影像作为输入，采用全局平均池化层消除多光谱影像中的空间信息，并采用若干个全连接层提取光谱信息。物候分支以RGB图像作为输入，采用ResNet-18网络提取物候特征。将两个分支提取后的高维特征向量进行特征连接，得到物候-光谱的混合特征，该混合特征经过若干个全连接层进行非线性映射后，输出目标作物生理指标的一组估测值(即x1)，结合该组估测值对应的观测值，计算时空损失函数(式4～9)作为该网络的损失。空间信息分支采用ResNet-18网络作为特征提取器，用于提取与生理指标相关的空间特征以输出估测值x2，并基于时空损失函数(式4～9)对网络参数进行优化。利用可学习参数w将双分支网络的输出x1与空间信息分支的输出x2进行融合：
x′＝wx1+(1-w)x2   (10)
式中，参数w为物候相关的参数，由物候分支输出的高维特征经过非线性映射而来；x′表示融合后的作物生理指标估测值。在训练网络时，为了保证各个分支提取特征的稳定性，在训练某一分支时对其他分支的梯度进行截断(截断位置见图3)。具体为在训练双分支网络时，对物候分支的梯度进行截断，使得两个分支的梯度互不干扰，使物候分支和光谱信息分支都能学习到稳定的物候特征和光谱特征。类似地，训练空间信息分支网络后，随三个分支都进行梯度截断，再训练特征融合用到的可学习参数w。
步骤4，利用步骤1预处理后的数据训练步骤3构建的用于作物生理指标物候自适应遥感估测的卷积神经网络。
在网络训练过程中，训练优化器采用Adam算法，预训练参数(ResNet-18)的初始学习率为0.00001，其他参数(包括BN参数)的初始学习率为0.001。数据集内所有数据循环一次为一个epoch，学习率每个epoch衰减0.9倍，训练过程为60个epoch。
步骤5，利用步骤4训练好的卷积神经网络进行目标作物生理指标的估测。
本实施例以估测的作物叶面积指数LAI、地上生物量和物候为例，物候估测结果如图5所示，估测准确率达85％，平均绝对误差MAE为0.198。
图6(a)-6(d)对比了采用经典MSE损失函数和本发明提出的时空损失函数对估测精度的影响。结果表明，基于MSE损失的网络倾向于收拢每个时刻下的估测值至观测值均值附近，造成每个时刻下估测值与观测值的斜率(slope)偏低，如6(a)和6(b)所示，LAI和地上生物量的斜率分别为0.554和0.311。此外，基于MSE损失的网络的估测值变异性较观测值小，LAI和地上生物量的σe/σ0分别为0.789和0.670，导致网络不能很好地在t时刻下估测区域作物生理指标的空间分布。相比之下，基于时空损失函数的估测值的变异性接近于观测值的变异性，LAI和地上生物量的σe/σ0分别为1.089和1.064，且斜率比基于MSE损失的网络有明显提高，基于MSE损失的网络LAI和地上生物量的斜率分别为0.684和0.486。结果表明基于时空损失的网络在进行区域作物生理指标估测时更有潜力。
图7(a)-7(d)对比了采用经典ResNet-18网络和采用本发明提出的网络对估测精度的影响。结果表明，由于ResNet-18仅仅基于影像中的视觉信息对作物生理参数作出估测并且忽略了物候的影响，因此估测精度较低(LAI：R2＝0.523，RMSE＝0.9；地上生物量：R2＝0.758，RMSE＝2.142)。相比之下，本发明提出的网络可以自动适应不同物候下光谱信息与作物生理指标的关系，并融合空间信息分支提取的空间高维特征一起对作物生理指标作出估测，模型估测精度比ResNet-18有显著提高(LAI：R2＝0.654，RMSE＝0.757；地上生物量：R2＝0.822，RMSE＝1.854)。
本发明实施例还提供一种物候自适应的作物生理指标深度学习估测系统，包括如下模块：
预处理模块，用于数据采集及预处理，包括多光谱影像和RGB影像；
损失函数构建模块，用于基于作物生理指标随时间及空间变异的情况，构建时空损失函数；
卷积神经网络构建模块，用于基于时空损失函数，构建用于作物生理指标物候自适应遥感估测的卷积神经网络；
网络训练模块，用于利用预处理后的数据训练构建的用于作物生理指标物候自适应遥感估测的卷积神经网络；
估测模块，用于利用训练好的卷积神经网络进行目标作物生理指标的估测。进一步的，损失函数构建模块中时空损失函数计算公式如下；
LossST＝β×LossS+LossT   (4)
其中：
Figure BDA0003531445350000101
Figure BDA0003531445350000102
Figure BDA0003531445350000103
Figure BDA0003531445350000111
Figure BDA0003531445350000112
式中，LossT为作物生理指标随时间变异的时间损失函数；LossS为作物生理指标随空间变异的空间损失函数；yi,t和
Figure BDA0003531445350000113
分别为观测时间t时的第i个观测值和估测值；N为样本数；
Figure BDA0003531445350000114
表示yi,t和
Figure BDA0003531445350000115
线性回归方程的斜率与1的接近程度，其值越小表明该线性方程与1:1线的夹角θ越小；
Figure BDA0003531445350000116
为yi,t和
Figure BDA0003531445350000117
线性方程的截断斜率；
Figure BDA0003531445350000118
表示yi,t和
Figure BDA0003531445350000119
的决定系数；α为针对
Figure BDA00035314453500001110
的损失缩放系数，β为空间损失缩放系数；Clamp(x,min,max)函数表示将输入x的值域限制在设定的最小值和最大值之间；ε表示一个极小的数。
进一步的，卷积神经网络构建模块中，用于作物生理指标物候自适应遥感估测的卷积神经网络包括一个双分支CNN网络和一个空间信息分支；双分支CNN包括光谱信息分支和物候分支，替代“物候-植被指数-生理指标”之间的非线性动态关系，光谱信息分支以多光谱影像作为输入，采用全局平均池化层消除多光谱影像中的空间信息，并采用若干个全连接层提取光谱信息；物候分支以RGB图像作为输入，采用ResNet-18网络提取物候特征，将两个分支提取后的高维特征向量进行特征连接，得到物候-光谱的混合特征，该混合特征经过若干个全连接层进行非线性映射后，输出目标作物生理指标的一组估测值x1，结合该组估测值对应的观测值，计算时空损失函数作为该网络的损失；空间信息分支采用ResNet-18网络作为特征提取器，用于提取与生理指标相关的空间特征以输出估测值x2，并基于时空损失函数对网络参数进行优化，利用可学习参数w将双分支网络的输出x1与空间信息分支的输出x2进行融合：
x′＝wx1+(1-w)x2   (10)
式中，参数w为物候相关的参数，由物候分支输出的高维特征经过非线性映射而来；x′表示融合后的作物生理指标估测值。
各模块的具体实现方式和各步骤相应，本发明不予撰述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种物候自适应的作物生理指标深度学习估测方法，其特征在于，包括如下步骤：
步骤1，数据采集及预处理，包括多光谱影像和RGB影像；
步骤2，基于作物生理指标随时间及空间变异的情况，构建时空损失函数；
步骤2的具体实现方式为，使用无人机采集高分辨率作物冠层的多光谱影像和RGB影像，然后对两种影像先针对所有样本标签值进行分组，再基于该分组样本数量占所有样本数量的比例进行自适应随机数据增强操作以克服样本不平衡问题；另外采集物候观测和目标生理观测指标作为卷积神经网络训练过程中的真值，目标生理观测指标包括叶面积指数和地上生物量；
步骤2中时空损失函数计算公式如下；
LossST＝β×LossS+LossT                                   (4)
其中：
Figure FDA0004062628390000011
Figure FDA0004062628390000012
Figure FDA0004062628390000013
Figure FDA0004062628390000014
Figure FDA0004062628390000015
式中，LossT为作物生理指标随时间变异的时间损失函数；LossS为作物生理指标随空间变异的空间损失函数；yi,t和
Figure FDA0004062628390000016
分别为观测时间t时的第i个观测值和估测值；N为样本数；
Figure FDA0004062628390000017
表示yi,t和
Figure FDA0004062628390000018
线性回归方程的斜率与1的接近程度，其值越小表明该线性方程与1:1线的夹角θ越小；
Figure FDA0004062628390000019
为yi,t和
Figure FDA00040626283900000110
线性方程的截断斜率；
Figure FDA00040626283900000111
表示yi,t和
Figure FDA00040626283900000112
的决定系数；α为针对
Figure FDA00040626283900000113
的损失缩放系数，β为空间损失缩放系数；Clamp(x,min,max)函数表示将输入x的值域限制在设定的最小值和最大值之间；ε表示一个极小的数；
步骤3，基于时空损失函数，构建用于作物生理指标物候自适应遥感估测的卷积神经网络；
用于作物生理指标物候自适应遥感估测的卷积神经网络包括一个双分支CNN网络和一个空间信息分支；双分支CNN包括光谱信息分支和物候分支，替代“物候-植被指数-生理指标”之间的非线性动态关系，光谱信息分支以多光谱影像作为输入，采用全局平均池化层消除多光谱影像中的空间信息，并采用若干个全连接层提取光谱信息；物候分支以RGB图像作为输入，采用ResNet-18网络提取物候特征，将两个分支提取后的高维特征向量进行特征连接，得到物候-光谱的混合特征，该混合特征经过若干个全连接层进行非线性映射后，输出目标作物生理指标的一组估测值x1，结合该组估测值对应的观测值，计算时空损失函数作为该网络的损失；空间信息分支采用ResNet-18网络作为特征提取器，用于提取与生理指标相关的空间特征以输出估测值x2，并基于时空损失函数对网络参数进行优化，利用可学习参数w将双分支网络的输出x1与空间信息分支的输出x2进行融合：
x′＝wx1+(1-w)x2                                      (10)
式中，参数w为物候相关的参数，由物候分支输出的高维特征经过非线性映射而来；x′表示融合后的作物生理指标估测值；
步骤4，利用步骤1预处理后的数据训练步骤3构建的用于作物生理指标物候自适应遥感估测的卷积神经网络；
步骤5，利用步骤4训练好的卷积神经网络进行目标作物生理指标的估测。
2.如权利要求1所述的一种物候自适应的作物生理指标深度学习估测方法，其特征在于：步骤2中，多光谱影像的空间分辨率为10cm，RGB影像的空间分辨率为2cm，采用随机裁剪、随机噪声扰动对多光谱影像进行自适应随机数据增强操作；采用随机裁剪、随机缩放、随机旋转、随机亮度、随机对比度对RGB影像进行自适应随机数据增强操作；
3.如权利要求2所述的一种物候自适应的作物生理指标深度学习估测方法，其特征在于：
自适应随机数据增强中随机裁剪的具体公式为：
nc,i＝nc,i-1-lc,i-1×Δmc,i-1                                      (1)
Figure FDA0004062628390000021
Δmc,i-1＝mc,i-1-E                                    (3)
式中，n表示样本影像随机裁剪的次数，c是对样本分布进行离散的分组编号，i是迭代次数，l是n随迭代的更新率，m是有效裁剪数，E是期待的有效裁剪数。
4.如权利要求1所述的一种物候自适应的作物生理指标深度学习估测方法，其特征在于：在训练网络时，为了保证各个分支提取特征的稳定性，在训练某一分支时对其他分支的梯度进行截断，具体为在训练双分支网络时，对物候分支的梯度进行截断，使得两个分支的梯度互不干扰，使物候分支和光谱信息分支都能学习到稳定的物候特征和光谱特征；训练空间信息分支网络后，对三个分支都进行梯度截断，再训练特征融合用到的可学习参数w。
5.如权利要求1所述的一种物候自适应的作物生理指标深度学习估测方法，其特征在于：在网络训练过程中，训练优化器采用Adam算法，预训练参数的初始学习率为0.00001，其他参数的初始学习率为0.001，数据集内所有数据循环一次为一个epoch，学习率每个epoch衰减0.9倍，训练过程为60个epoch。
6.一种物候自适应的作物生理指标深度学习估测系统，其特征在于，包括如下模块：
预处理模块，用于数据采集及预处理，包括多光谱影像和RGB影像；
损失函数构建模块，用于基于作物生理指标随时间及空间变异的情况，构建时空损失函数；
使用无人机采集高分辨率作物冠层的多光谱影像和RGB影像，然后对两种影像先针对所有样本标签值进行分组，再基于该分组样本数量占所有样本数量的比例进行自适应随机数据增强操作以克服样本不平衡问题；另外采集物候观测和目标生理观测指标作为卷积神经网络训练过程中的真值，目标生理观测指标包括叶面积指数和地上生物量；
时空损失函数计算公式如下；
LossST＝β×LossS+LossT                                   (4)
其中：
Figure FDA0004062628390000031
Figure FDA0004062628390000032
Figure FDA0004062628390000033
Figure FDA0004062628390000034
Figure FDA0004062628390000041
式中，LossT为作物生理指标随时间变异的时间损失函数；LossS为作物生理指标随空间变异的空间损失函数；yi,t和
Figure FDA0004062628390000042
分别为观测时间t时的第i个观测值和估测值；N为样本数；
Figure FDA0004062628390000043
表示yi,t和
Figure FDA0004062628390000044
线性回归方程的斜率与1的接近程度，其值越小表明该线性方程与1:1线的夹角θ越小；
Figure FDA0004062628390000045
为yi,t和
Figure FDA0004062628390000046
线性方程的截断斜率；
Figure FDA0004062628390000047
表示yi,t和
Figure FDA0004062628390000048
的决定系数；α为针对
Figure FDA0004062628390000049
的损失缩放系数，β为空间损失缩放系数；Clamp(x,min,max)函数表示将输入x的值域限制在设定的最小值和最大值之间；ε表示一个极小的数；
卷积神经网络构建模块，用于基于时空损失函数，构建用于作物生理指标物候自适应遥感估测的卷积神经网络；
用于作物生理指标物候自适应遥感估测的卷积神经网络包括一个双分支CNN网络和一个空间信息分支；双分支CNN包括光谱信息分支和物候分支，替代“物候-植被指数-生理指标”之间的非线性动态关系，光谱信息分支以多光谱影像作为输入，采用全局平均池化层消除多光谱影像中的空间信息，并采用若干个全连接层提取光谱信息；物候分支以RGB图像作为输入，采用ResNet-18网络提取物候特征，将两个分支提取后的高维特征向量进行特征连接，得到物候-光谱的混合特征，该混合特征经过若干个全连接层进行非线性映射后，输出目标作物生理指标的一组估测值x1，结合该组估测值对应的观测值，计算时空损失函数作为该网络的损失；空间信息分支采用ResNet-18网络作为特征提取器，用于提取与生理指标相关的空间特征以输出估测值x2，并基于时空损失函数对网络参数进行优化，利用可学习参数w将双分支网络的输出x1与空间信息分支的输出x2进行融合：
x′＝wx1+(1-w)x2                                      (10)
式中，参数w为物候相关的参数，由物候分支输出的高维特征经过非线性映射而来；x′表示融合后的作物生理指标估测值；
网络训练模块，用于利用预处理后的数据训练构建的用于作物生理指标物候自适应遥感估测的卷积神经网络；
估测模块，用于利用训练好的卷积神经网络进行目标作物生理指标的估测。
CN202210207335.5A 2022-03-04 2022-03-04 一种物候自适应的作物生理指标深度学习估测方法及系统 Active CN114925947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210207335.5A CN114925947B (zh) 2022-03-04 2022-03-04 一种物候自适应的作物生理指标深度学习估测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210207335.5A CN114925947B (zh) 2022-03-04 2022-03-04 一种物候自适应的作物生理指标深度学习估测方法及系统

Publications (2)

Publication Number Publication Date
CN114925947A CN114925947A (zh) 2022-08-19
CN114925947B true CN114925947B (zh) 2023-04-07

Family

ID=82805490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210207335.5A Active CN114925947B (zh) 2022-03-04 2022-03-04 一种物候自适应的作物生理指标深度学习估测方法及系统

Country Status (1)

Country Link
CN (1) CN114925947B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078673A (zh) * 2023-10-13 2023-11-17 武汉大学 一种高光谱图像估计光合参数的深度学习方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886496A (zh) * 2019-02-27 2019-06-14 中南大学 一种基于气象信息的农产量预测方法
CN111027752A (zh) * 2019-11-19 2020-04-17 浙江大学 一种深度时空特征联合学习的农作物产量估测方法
WO2022032329A1 (en) * 2020-08-14 2022-02-17 Agriculture Victoria Services Pty Ltd System and method for image-based remote sensing of crop plants

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146831A (zh) * 2018-08-01 2019-01-04 武汉大学 基于双支深度学习网络的遥感图像融合方法及系统
CN112487879B (zh) * 2020-08-05 2023-01-17 中国科学院空天信息创新研究院 一种基于数据增广和深度学习的玉米生长参数主被动遥感反演方法
CN113221765B (zh) * 2021-05-18 2022-08-30 河海大学 一种基于数字相机影像有效像元的植被物候期提取方法
CN113673490B (zh) * 2021-10-21 2022-01-04 武汉大学 一种物候期自适应的作物生理参数遥感估测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886496A (zh) * 2019-02-27 2019-06-14 中南大学 一种基于气象信息的农产量预测方法
CN111027752A (zh) * 2019-11-19 2020-04-17 浙江大学 一种深度时空特征联合学习的农作物产量估测方法
WO2022032329A1 (en) * 2020-08-14 2022-02-17 Agriculture Victoria Services Pty Ltd System and method for image-based remote sensing of crop plants

Also Published As

Publication number Publication date
CN114925947A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN113449680B (zh) 一种基于知识蒸馏的多模小目标检测方法
Xiong et al. Visual detection of green mangoes by an unmanned aerial vehicle in orchards based on a deep learning method
CN107818571B (zh) 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
CN111126662B (zh) 基于大数据的灌溉决策制定方法、装置、服务器和介质
CN113486000B (zh) 基于多源数据和深度学习的地表蒸散发数据降尺度方法
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割系统及方法
CN113920474B (zh) 一种智能监管柑橘种植态势的物联网系统及方法
CN110069993A (zh) 一种基于深度学习的目标车辆检测方法
CN114925947B (zh) 一种物候自适应的作物生理指标深度学习估测方法及系统
CN112949407B (zh) 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN113657028A (zh) 一种基于多源信息的气溶胶光学厚度在线预测方法
CN116051996A (zh) 一种基于多模态信息的二阶段农作物生长预测方法
CN115880487A (zh) 基于深度学习方法的林木激光点云枝叶分离方法
CN111931738B (zh) 用于遥感影像的神经网络模型预训练方法、装置
CN112949645A (zh) 一种基于深度学习的田间地块分割算法
Zou et al. The fusion of satellite and unmanned aerial vehicle (UAV) imagery for improving classification performance
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
Rong et al. Picking point recognition for ripe tomatoes using semantic segmentation and morphological processing
CN113643248B (zh) 一种基于改进卷积神经网络的小麦生育进程监测方法
Jin et al. An improved mask r-cnn method for weed segmentation
CN113947616B (zh) 一种基于层级化感知机的智能目标跟踪及丢失重检方法
CN111681176B (zh) 自适应卷积的残差修正单幅图像去雨方法
CN114663791A (zh) 一种非结构化环境下面向剪枝机器人的枝条识别方法
Fan et al. An improved Deeplab based model for extracting cultivated land information from high definition remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant