CN117078673A - 一种高光谱图像估计光合参数的深度学习方法和系统 - Google Patents
一种高光谱图像估计光合参数的深度学习方法和系统 Download PDFInfo
- Publication number
- CN117078673A CN117078673A CN202311324714.3A CN202311324714A CN117078673A CN 117078673 A CN117078673 A CN 117078673A CN 202311324714 A CN202311324714 A CN 202311324714A CN 117078673 A CN117078673 A CN 117078673A
- Authority
- CN
- China
- Prior art keywords
- photosynthetic
- network
- parameters
- hyperspectral image
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000243 photosynthetic effect Effects 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 94
- 238000001228 spectrum Methods 0.000 claims abstract description 82
- 238000013508 migration Methods 0.000 claims abstract description 22
- 230000005012 migration Effects 0.000 claims abstract description 22
- 230000003595 spectral effect Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 33
- 229910002092 carbon dioxide Inorganic materials 0.000 claims description 27
- 239000001569 carbon dioxide Substances 0.000 claims description 27
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 230000027756 respiratory electron transport chain Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 17
- 230000021523 carboxylation Effects 0.000 claims description 14
- 238000006473 carboxylation reaction Methods 0.000 claims description 14
- 238000002310 reflectometry Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 108010003581 Ribulose-bisphosphate carboxylase Proteins 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008929 regeneration Effects 0.000 claims description 3
- 238000011069 regeneration method Methods 0.000 claims description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 2
- 241000894007 species Species 0.000 description 14
- 241000209094 Oryza Species 0.000 description 12
- 235000007164 Oryza sativa Nutrition 0.000 description 12
- 241000209140 Triticum Species 0.000 description 12
- 235000021307 Triticum Nutrition 0.000 description 12
- 235000009566 rice Nutrition 0.000 description 12
- 230000004913 activation Effects 0.000 description 8
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 5
- 229910052799 carbon Inorganic materials 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000012010 growth Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000029553 photosynthesis Effects 0.000 description 2
- 238000010672 photosynthesis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000002028 Biomass Substances 0.000 description 1
- 240000000359 Triticum dicoccon Species 0.000 description 1
- 230000003851 biochemical process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000005070 ripening Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高光谱图像估计光合参数的深度学习方法和系统，包括高光谱图像的获取和分割以及基于FvCB模型光合参数的获取和拟合计算；针对三维高光谱图像和光合参数构造融合空间注意力和光谱指数计算模块的网络；训练的空间注意力‑光谱指数计算网络，得到光合参数的估计值；联合空间注意力‑光谱指数计算网络的输出，利用FvCB光合模型，得到光合速率估计；利用训练好的模型进行不同物种的相互迁移。本发明能够利用三维高光谱图像实现对光合参数的精准估计，避免了传统测量方法耗时费力以及传统机器学习方法和普通卷积网络精度低的缺点。此外，本发明可以进一步估计光合速率，实现物种之间的迁移，这同时也验证了模型结构和结果的稳健性和可信性。
Description
技术领域
本发明属于计算机视觉深度学习、光合表型计算技术领域，具体涉及一种高光谱图像估计光合参数的深度学习方法和系统。
背景技术
农田碳循环是全球碳循环最活跃的碳库，光合作用是农田碳循环的关键过程并且是生物量和作物产量的决定性因素。基于生化过程的FvCB模型应用十分广泛，其中，最大羧化速率和最大电子传递速率是两个关键的光合参数，它们定义了叶片的光合能力。一般叶片尺度的光合参数从气体交换测量的光合-二氧化碳响应曲线中拟合得到，但这种测量方法一条曲线耗时20-30分钟。利用叶片性状之间的关系找到一个更易测量的代理比如叶绿素和叶片氮含量也是一种光合估计的方式，但这种方法不仅仍是破坏性采样，而且精度不高。高光谱一直是一个非破坏性且高精度监测作物生理性状的工具。光谱指数，反射率数据结合传统机器学习方法已成功应用至光合参数估计问题上。随着高光谱传感器的发展，我们能够获取跨越空间位置的三维高光谱数据，这使得以创新的方式分析大量的数据成为必要。
深度学习方法是一个很好的高维特征提取器，将其用于高光谱数据特征提取能够更好的进行光合参数估计。其中，注意力机制是最近几年深度学习的重大突破，将它应用至三维光谱图像的空间域能够抓取更丰富的信息。在模型结构中融入先验知识也是一个提高模型性能的方式，针对光谱域，将光谱指数计算的先验知识融入至模型结构进行特征提取会大大优化模型结果。但是，现有的技术未充分挖掘高光谱图像空间域和光谱域的信息，导致利用高光谱图像来估计光合参数精度不高。
发明内容
针对现有技术存在的问题，本发明提出了一种基于高光谱图像的适用于光合参数估计的深度学习架构，在考虑叶片空间异质性和光谱指数计算先验的基础上，为数据驱动的高光谱光合参数估计提供了更具解释性和普适性的解决方案。
考虑传统机器学习模型的不足之处，本发明提供一种适用于三维高光谱图像估计光合参数的深度学习架构。本发明通过融合空间注意力机制和光谱指数计算模块完成光合参数的估计，并基于此架构进行水稻和小麦的物种迁移，完成不同物种之间的架构迁移。该模型完成了水稻和小麦叶片光合参数估计问题，还实现不同物种之间的相互迁移，并进一步实现对叶片的光合速率的估计。
在上述理论支撑下，本发明提供的技术方案是一种高光谱图像估计光合参数的深度学习方法，包括以下步骤：
步骤1，高光谱图像与光合-二氧化碳响应曲线数据获取；
步骤2，高光谱图像分割以及光合-二氧化碳响应曲线基于FvCB光合生化模型对光合参数的拟合计算；
步骤3，针对步骤2中分割后的三维高光谱图像和拟合得到的光合参数构造融合空间注意力和光谱指数计算模块的网络；
步骤4，训练步骤3中的空间注意力-光谱指数计算网络，得到光合参数的估计值；
步骤5，联合步骤4空间注意力-光谱指数计算网络的输出，将其代回至FvCB光合生化模型，得到光合速率估计，进一步验证网络模型估计的光合参数的可靠性；
步骤6，利用步骤4训练好的网络模型进行不同物种间的相互迁移，实现物种间知识传递，验证网络模型结构的稳定性。
进一步的，步骤2中，高光谱图像利用颜色阈值分割，掩膜是通过对应的RGB图像计算，阈值是通过叶子的绿色和背景白色确定。
进一步的，步骤2中，利用光合-二氧化碳响应曲线基于FvCB光合生化模型拟合计算光合参数，这个拟合出来的光合参数作为网络模型训练的标签值，所述光合参数为最大羧化速率和最大电子传递速率，计算公式如下：
(1)
(2)
(3)
(4)
(5)
(6)
式中，A rubisco为Rubisco酶限制的光合速率，A rubp为RuBP再生限制的光合速率，C i是胞间二氧化碳浓度，由实验测量得到，V cmax为估计的最大羧化速率，J max为估计的最大电子传递速率，J是电子传递速率，A c是实际总光合速率，K m为Rubisco羧化的米氏常数，为二氧化碳的光合补偿点，它们均由与温度相关的经验函数计算得到，Q abs为叶片吸收的光量子密度，由实验测量得到，θ J为电子传递速率曲率参数，R d为暗呼吸，由曲线拟合得到，A e为估计的光合速率，A为实测的光合速率，residualerror为拟合的目标函数，即估计光合速率与实际光合速率的残差。
进一步的，步骤3中空间注意力模块作用在空间域上，首先通过不同大小的卷积提取不同尺度光谱维度信息，得到不同光谱维度上的特征图us，然后通过压缩操作，即在光谱维度全局平均池化，也就是求每个空间块s在光谱维度上特征图us的平均值，其中，，S为空间块个数；接着将压缩后的不同尺度信息拼接，再通过激励操作，即通过两层全连接，将拼接后的信息进行不同权重值的分配，然后利用一个sigmoid函数形成门控机制，sigmoid函数将权重映射为0-1之间的值，即得到空间注意力权重矩阵：
(7)
(8)
式中，N为总光谱波段数，us为经过卷积后的光谱维度上的特征图，i为某一个波段，zs为经过压缩操作后的特征值，W1，W2为两个全连接的权重矩阵，δ为Relu函数，σ为sigmoid函数，g为门控机制。
进一步的，步骤3中光谱指数计算模块包括若干个光谱指数计算层，光谱指数计算层具体实现过程如下：
将输入的光谱反射率特征并行经过四个相同的膨胀卷积模块，得到新的反射率特征记为Q，K，V，A，然后，将新得到的特征进行如下式的一种计算，得到类似光谱指数的特征，计算公式如下：
(10)
(11)
(12)
(13)
(14)
式中，Q，K，V，A是经过膨胀卷积得到的反射率特征，，/>，/>，/>，/>分别是不同计算方式得到的类似光谱指数的特征；
将这个类似光谱指数的特征再输入一层卷积之后输出，这样即完成一层光谱指数计算层的计算。
进一步的，步骤3中，空间注意力-光谱指数计算网络的具体实现过程为：
首先对分割后的三维高光谱图像进行分辨率的调整，其次，在叶片宽度的维度进行平均，然后利用自适应平均池化将叶长维度分为S个空间块，再使用一个空间注意力模块给不同区域即空间块分配不同的权重，得到注意力分配之后的光谱维度的数据，将S个空间块的光谱维度数据进行平均，继续对光谱维度数据进行特征提取：首先利用平均池化进行下采样，接着经过一个门控卷积，这个卷积将输入数据经过卷积之后再经过sigmoid函数作为门控因子，以此来选择重要特征，门控卷积的公式如下：
(9)
式中，x为输入数据，σ为sigmoid函数，conv为普通卷积层，out为经过门控卷积选择的特征；
门控卷积的输出特征接着输入光谱指数计算模块，再经过两层全连接映射，实现光合参数的前向传播预测。
进一步的，步骤4中根据三维高光谱图像与光合参数数据设定损失函数MSE，训练步骤3中的注意力-光谱指数计算网络，损失函数为：
(15)
式中，y i是真实值，是对应预测值，n是样本个数。
进一步的，步骤5中，根据三维高光谱图像与其对应的光合参数数据设定损失函数训练步骤3中的注意力-光谱指数计算网络，完成不同物种叶片光合参数的反演，进一步将网络模型估计的光合参数代入至FvCB光合生化模型中估计出叶片在不同二氧化碳浓度下的光合速率。
进一步的，步骤6中以决定系数R2和均方根误差RMSE为评价指标验证网络模型的物种迁移效果，其计算公式如下：
(16)
(17)
式中，y i是真实值，是对应预测值，y m是所有真实值的平均值，n是样本个数。
本发明还提供一种高光谱图像估计光合参数的深度学习系统，包括如下模块：
数据获取模块，用于高光谱图像与光合-二氧化碳响应曲线数据获取；
参数拟合计算模块，用于高光谱图像分割以及光合-二氧化碳响应曲线基于FvCB模型对光合参数的拟合计算；
网络构建模块，用于针对分割后的三维高光谱图像和拟合得到的光合参数构造融合空间注意力和光谱指数计算模块的网络；
网络训练模块，用于训练空间注意力-光谱指数计算网络，得到光合参数的估计值；
光合速率估计模块，用于联合空间注意力-光谱指数计算网络的输出，将其代回至FvCB光合模型，得到光合速率估计，进一步验证网络模型估计的光合参数的可靠性；
模型迁移模块，用于利用训练好的网络模型进行不同物种间的相互迁移，实现物种间知识传递，验证网络模型结构的稳定性。
与现有技术相比，本发明具有如下优点：
与现有技术相比，本发明具有如下优点和创新性：
（1）本发明在高光谱数据估计光合参数问题上将数据信息的层次从单纯的利用光谱信息到利用跨越空间位置的三维光谱图像；
（2）相比于直接利用一维平均光谱反射率，本发明在光谱图像的空间域采用了注意力机制，针对叶片不同区域对光合的影响进行了进一步的细化；
（3）本发明相较于普通的一维卷积过程，引入了光谱指数计算的先验知识，让模型自动学习大量类似光谱指数的特征，大大提升模型的性能。
（4）本发明将模型反演的结果代入至光合模型中估计光合速率，进一步检验模型反演结果的可靠性；同时进行物种之间的相互迁移，验证模型结构的稳定性。
附图说明
图1为本发明实施例构建的用于计算光合参数的注意力-光谱指数计算网络结构图。
图2为本发明实施例构建的空间注意力模块和光谱指数计算模块。
图3为本发明实施例的注意力-光谱指数计算网络结果与传统网络对比的精度与均方根误差图，其中，对比了偏最小二乘回归算法，两层一维卷积的算法和注意力-光谱指数计算网络。
图4为本发明实施例的注意力-光谱指数计算网络估计光合参数在不同数据集（水稻数据集，小麦数据集，水稻小麦混合数据集）测试数据结果的散点图。
图5为本发明实施例估计的光合参数进一步估计光合速率的结果图，其中 (a),(b), (c)分别为水稻数据集，小麦数据集，水稻和小麦的混合数据集。横坐标表示为实际测量得到的光合速率，纵坐标表示为模型估计的光合速率。
图6为本发明实施例在水稻数据集和小麦数据集之间相互迁移结果的对比示意图，其中a表示使用普通一维卷积网络，b表示只用光谱指数计算的网络，c表示空间注意力-光谱指数计算网络。
图7为本发明实施例在空间注意力模块的权重分配示意图，(a)(b)分别表示两个光合参数的注意力权重在叶片位置上的分布。
图8为本发明实例在光谱指数计算模块的权重分配示意图，光谱指数计算模块的权重特征图是选取了平均激活最高的前三个作为具有代表性的集合，其中 (a)，(b)，(c)为输入的光谱维度数据， (d)，(e)，(f)是第一个光谱指数计算模块特征激活图， (g)，(h)，(i)是第二个光谱指数计算模块特征激活图，(j)，(k)，(l)是第三个光谱指数计算模块特征激活图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明提供一种高光谱图像估计光合参数的深度学习方法，本发明实施例的流程包括以下步骤：
步骤1，高光谱图像与光合-二氧化碳响应曲线数据获取；
步骤2，高光谱图像分割以及光合二氧化碳响应曲线基于FvCB模型对光合参数（最大羧化速率V cmax25和最大电子传递速率J max25）的拟合计算；
步骤3，针对步骤2中分割后的三维高光谱图像和拟合得到的光合参数构造融合空间注意力和光谱指数计算模块的网络；
步骤4，训练步骤3中的空间注意力-光谱指数计算网络，得到光合参数（最大羧化速率V cmax25和最大电子传递速率J max25）的估计值；
步骤5，联合步骤4空间注意力-光谱指数计算网络输出的光合参数，将其代回至FvCB光合模型，得到光合速率估计，进一步验证该深度学习模型估计的光合参数的可靠性；
步骤6，利用步骤4训练好的模型进行不同物种间（示例：水稻与小麦）的相互迁移，实现物种间知识传递；
步骤7，对步骤3中的空间注意力模块和光谱指数计算模块分别进行权重可视化和特征图可视化分析，揭示模型起作用的内在机制。
步骤1中，首先获取观测数据，即叶片的高光谱图像和光合-二氧化碳响应曲线。主要采集实验大田内水稻和小麦的叶片，叶片所处位置分别位于冠层上部，冠层中部，冠层下部，采集频率为一个生育期一到两次，采集数据的生育期有分蘖期、拔节期、孕穗期、抽穗期、灌浆期、黄熟期。
步骤2中，高光谱图像利用颜色阈值分割，其中掩膜是通过对应的RGB图像计算，阈值是通过叶子的绿色和背景白色确定。利用光合-二氧化碳响应曲线基于FvCB模型拟合计算光合参数，这个拟合出来的光合参数作为模型训练的标签值。本发明主要拟合计算FvCB模型第一二阶段，第一阶段在叶片胞间二氧化碳浓度较低时，主要受Rubisco酶的数量和活性影响，据此可以拟合计算出最大羧化速率V cmax，第二阶段胞间二氧化碳浓度升高，光合速率受到电子传递链电子传递速率大小的影响，据此可以求得最大电子传递速率J max，可以用如下公式表示：
(1)
(2)
(3)
(4)
(5)
(6)
式中，A rubisco为Rubisco酶限制的光合速率，A rubp为RuBP再生限制的光合速率，C i是胞间二氧化碳浓度，由实验测量得到，V cmax为估计的最大羧化速率，J max为估计的最大电子传递速率，J是电子传递速率，A c是实际总光合速率，K m为Rubisco羧化的米氏常数，为二氧化碳的光合补偿点，它们均由与温度相关的经验函数计算得到，Q abs为叶片吸收的光量子密度，由实验测量得到，θ J为电子传递速率曲率参数，取0.9，R d为暗呼吸，由曲线拟合得到，A e为估计的光合速率，A为实测的光合速率，residualerror为拟合的目标函数，即估计光合速率与实际光合速率的残差。
步骤3中，空间注意力-光谱指数计算网络由空间注意力和光谱指数计算模块组成。分割背景之后的高光谱影像空间维度大小为512×512，叶宽所占位置较小，所以将图像裁剪至叶宽占据的最大分辨率大小，然后统一至最大的大小即512×80，由于高光谱图像数据量大，运行占用内存大，所以在试图减少数据量的同时仍然能保留需要的信息。首先，采用数据预加载的方式，将数据读取到内存；其次，在叶片宽度的维度进行平均，主要关注叶片长度方向信息，这样既能减少数据冗余，也能提高运行速度。将原始的高光谱影像[512×512×204]转变为[1×512×204]大小。将这个数据输入模型当中，首先利用自适应平均池化将叶长维度分为4个空间块，再使用一个空间注意力模块给不同区域分配不同的权重，对光合能力影响大的区域权重大，对光合能力影响小的区域权重小。如图2中的(a)所示，空间注意力模块作用在空间域上，步骤如下，首先通过不同大小的卷积提取不同尺度光谱维度信息，得到不同光谱维度上的特征图us，然后通过压缩操作，即在光谱维度全局平均池化，也就是求每个空间块s在光谱维度上特征图us的平均值，其中，，S为空间块个数；接着将压缩后的不同尺度信息拼接，再通过激励操作，即通过两层全连接，将拼接后的信息进行不同权重值的分配，然后利用一个sigmoid函数形成门控机制，sigmoid函数将权重映射为0-1之间的值，即得到空间注意力权重矩阵。
(7)
(8)
式中，N为总光谱波段数，us为经过卷积后的光谱维度上的特征图，i为某一个波段，zs为经过压缩操作后的特征值，W1，W2为两个全连接的权重矩阵，δ为Relu函数，σ为sigmoid函数，g为门控机制。
将步骤3中经过空间注意力权重矩阵与步骤3中经过自适应平均池化的空间块进行加权求和，得到注意力分配之后的光谱维度的数据，将4个空间块的光谱维度数据进行平均，继续对光谱维度数据进行特征提取，首先利用平均池化进行下采样，接着经过一个门控卷积，这个卷积将输入数据经过卷积之后再经过sigmoid函数作为门控因子，以此来选择重要特征。门控卷积的公式如下：
(9)
式中，x为输入数据，σ为sigmoid函数，conv为普通卷积层，out为经过门控卷积选择的特征。
门控卷积的输出特征接着输入三层光谱指数计算模块，如图2中的(b)所示。光谱指数计算模块由带有光谱指数计算先验知识的网络结构组成。光谱指数是两个或者更多个光谱波段反射率经过分析运算（加、减、乘、除等线性或非线性组合方式）产生对植物生长状况等有一定指示意义的数值。每一层光谱指数计算模块的计算方式类似，以第一层为例，将门控卷积输出特征out并行经过四个相同的膨胀卷积模块，得到新的反射率特征记为Q，K，V，A。然后，将新得到的特征进行如下式的一种计算，得到的类似光谱指数的特征，计算公式如下：
(10)
(11)
(12)
(13)
(14)
式中，Q，K，V，A是经过膨胀卷积得到的反射率特征，，/>，/>，/>，/>分别是不同计算方式得到的类似光谱指数的特征。
将这个类似光谱指数的特征再输入一层卷积之后输出，这样一层光谱指数计算层完成，经过三层光谱指数计算层之后，再经过两层全连接映射，实现光合参数（最大羧化速率V cmax25和最大电子传递速率J max25）的前向传播预测。
步骤4中根据三维高光谱图像与光合参数数据设定损失函数MSE，训练步骤3中的注意力-光谱指数计算神经网络，损失函数为：
(15)
式中，y i是真实值，是对应预测值，n是样本个数。
在网络训练过程中，模型采用Adam优化器，学习率下降方式采用CyclicLR，学习率lr初始值为10-3，正则化项weight-decay为0，训练批次大小batch-size为8，训练轮数epoch为2000。训练后对训练结果进行分析，以决定系数R2和均方根误差RMSE为评价指标，其计算公式如下式：
(16)
(17)
式中，y i是真实值，是预测值，y m是所有真实值的平均值，n为样本数。本发明的网络与传统的机器学习方法以及普通卷积网络对比结果如图3所示。
结果表明，本发明的网络结构优于传统的机器学习方法和普通的简单卷积神经网络，且精度较高。虽然在不同的数据集上表现性能不一，注意力-光谱指数计算网络性能最好，不同数据集都优于传统机器学习算法和普通卷积网路。注意力-光谱指数计算网络在不同数据集上估计不同光合参数（V cmax为最大羧化速率，J max为最大电子传递速率）的散点图如图4所示。其中，在小麦数据集上表现最好，在水稻数据集表现最差，而混合数据集居中。
步骤5中的反演光合速率，根据三维高光谱图像与其对应的光合参数数据设定损失函数训练步骤3中的注意力-光谱指数计算神经网络，完成不同物种叶片光合参数的反演，进一步，将模型估计的光合参数代入至FvCB光合生化模型中估计出叶片在不同二氧化碳浓度下的光合速率。在不同数据集上估计光合速率的结果如图5所示，结果表明，利用注意力-光谱指数计算网络反演的光合参数进行光合速率估计是可行的，而且精度较高，在混合数据集表现最好，水稻数据集表现最差，小麦数据集居中，这进一步说明模型结果是可靠的。
步骤6中物种之间的模型迁移，根据步骤3中训练的水稻和小麦数据集的注意力-光谱指数计算网络，将其直接在水稻和小麦数据集之间进行相互迁移，从而验证模型结构的稳定性。微调时模型学习率为3×10-5，训练epoch为1000。迁移前后的结果对比图如图6所示，结果表明，迁移前后模型结果仍然稳定，注意力-光谱指数计算网络仍高于普通的卷积网络，大部分模型结果有小幅下降，这可以归因为数据集之间的分布不一致，而数据集之间的分布又受作物的生长状况，实验测量，以及物种影响。
步骤7中对空间注意力和光谱指数计算模块进行权重可视化分析。图7和图8分别为空间注意力模块的权重分配和光谱指数计算模块的权重分配示意图。空间注意力模块中，叶片中部位置是权重最高的区域，说明叶片中部位置的光谱信息对光合参数的影响最大，这与实际实验测量相符。光谱指数计算模块的权重特征图是选取了平均激活最高的前三个作为具有代表性的集合，其中图8中的(a)，(b)，(c)为输入的光谱维度数据，(d)，(e)，(f)是第一个光谱指数计算模块特征激活图，(g)，(h)，(i)是第二个光谱指数计算模块特征激活图，(j)，(k)，(l)是第三个光谱指数计算模块特征激活图。可以看到，部分特征图与原始输入类似，比如 (d)，(i)，(l)，另一部分特征图可见光区域影响较大，如 (e)，(f)，(k)，还有一部分特征图则是捕捉到绿色反射峰和红边特征，如 (g)，(h)，(j)。不同的通道捕捉到不同的特征，而通道之间的相互计算可以获得大量的类似光谱指数的特征，进而提高模型的性能以及可解释性。
根据不同的测试结果，本发明可以利用三维高光谱图像对光合参数进行精准反演，并能进一步估计光合速率。本发明有效避免了使用传统气体交换测量方法耗时费力，同时在传统机器学习方法和简单的一维卷积网络的基础上，利用了三维的高光谱图像，加入空间注意力和光谱指数计算的先验知识，大大提升模型性能，使得模型的鲁棒性、稳健性都有不同程度提高，并且在物种之间模型结构是稳定的。与传统的数据驱动模型相比还具有一定可解释性。
本发明实施例另一方面还提供一种高光谱图像估计光合参数的深度学习系统，包括如下模块：
数据获取模块，用于高光谱图像与光合-二氧化碳响应曲线数据获取；
参数拟合计算模块，用于高光谱图像分割以及光合-二氧化碳响应曲线基于FvCB光合生化模型对光合参数的拟合计算；
网络构建模块，用于针对分割后的三维高光谱图像和拟合得到的光合参数构造融合空间注意力和光谱指数计算模块的网络；
网络训练模块，用于训练空间注意力-光谱指数计算网络，得到光合参数的估计值；
光合速率估计模块，用于联合空间注意力-光谱指数计算网络的输出，将其代回至FvCB光合生化模型，得到光合速率估计，进一步验证网络模型估计的光合参数的可靠性；
模型迁移模块，用于利用训练好的网络模型进行不同物种间的相互迁移，实现物种间知识传递，验证网络模型结构的稳定性。
各模块的具体实现方式与各步骤相同，本发明不予撰述。
本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种高光谱图像估计光合参数的深度学习方法，其特征在于，包括如下步骤：
步骤1，高光谱图像与光合-二氧化碳响应曲线数据获取；
步骤2，高光谱图像分割以及光合-二氧化碳响应曲线基于FvCB光合生化模型对光合参数的拟合计算；
步骤3，针对步骤2中分割后的三维高光谱图像和拟合得到的光合参数构造融合空间注意力和光谱指数计算模块的网络；
步骤4，训练步骤3中的空间注意力-光谱指数计算网络，得到光合参数的估计值；
步骤5，联合步骤4空间注意力-光谱指数计算网络的输出，将其代回至FvCB光合生化模型，得到光合速率估计，进一步验证网络模型估计的光合参数的可靠性；
步骤6，利用步骤4训练好的网络模型进行不同物种间的相互迁移，实现物种间知识传递，验证网络模型结构的稳定性。
2.如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤2中，高光谱图像利用颜色阈值分割，掩膜是通过对应的RGB图像计算，阈值是通过叶子的绿色和背景白色确定。
3.如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤2中，利用光合-二氧化碳响应曲线基于FvCB光合生化模型拟合计算光合参数，这个拟合出来的光合参数作为网络模型训练的标签值，所述光合参数为最大羧化速率和最大电子传递速率，计算公式如下：
(1)
(2)
(3)
(4)
(5)
(6)
式中，A rubisco为Rubisco酶限制的光合速率，A rubp为RuBP再生限制的光合速率，C i是胞间二氧化碳浓度，由实验测量得到，V cmax为估计的最大羧化速率，J max为估计的最大电子传递速率，J是电子传递速率，A c是实际总光合速率，K m为Rubisco羧化的米氏常数，为二氧化碳的光合补偿点，它们均由与温度相关的经验函数计算得到，Q abs为叶片吸收的光量子密度，由实验测量得到，θ J为电子传递速率曲率参数，R d为暗呼吸，由曲线拟合得到，A e为估计的光合速率，A为实测的光合速率，residualerror为拟合的目标函数，即估计光合速率与实际光合速率的残差。
4.如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤3中空间注意力模块作用在空间域上，首先通过不同大小的卷积提取不同尺度光谱维度信息，得到不同光谱维度上的特征图us，然后通过压缩操作，即在光谱维度全局平均池化，也就是求每个空间块s在光谱维度上特征图us的平均值，其中，，S为空间块个数；接着将压缩后的不同尺度信息拼接，再通过激励操作，即通过两层全连接，将拼接后的信息进行不同权重值的分配，然后利用一个sigmoid函数形成门控机制，sigmoid函数将权重映射为0-1之间的值，即得到空间注意力权重矩阵：
(7)
(8)
式中，N为总光谱波段数，us为经过卷积后的光谱维度上的特征图，i为某一个波段，zs为经过压缩操作后的特征值，W1，W2为两个全连接的权重矩阵，δ为Relu函数，σ为sigmoid函数，g为门控机制。
5.如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤3中光谱指数计算模块包括若干个光谱指数计算层，光谱指数计算层具体实现过程如下：
将输入的光谱反射率特征并行经过四个相同的膨胀卷积模块，得到新的反射率特征记为Q，K，V，A，然后，将新得到的特征进行如下式的一种计算，得到类似光谱指数的特征，计算公式如下：
(10)
(11)
(12)
(13)
(14)
式中，Q，K，V，A是经过膨胀卷积得到的反射率特征，，/>，/>，/>，/>分别是不同计算方式得到的类似光谱指数的特征；
将这个类似光谱指数的特征再输入一层卷积之后输出，这样即完成一层光谱指数计算层的计算。
6.如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤3中，空间注意力-光谱指数计算网络的具体实现过程为：
首先对分割后的三维高光谱图像进行分辨率的调整，其次，在叶片宽度的维度进行平均，然后利用自适应平均池化将叶长维度分为S个空间块，再使用一个空间注意力模块给不同区域即空间块分配不同的权重，得到注意力分配之后的光谱维度的数据，将S个空间块的光谱维度数据进行平均，继续对光谱维度数据进行特征提取：首先利用平均池化进行下采样，接着经过一个门控卷积，这个卷积将输入数据经过卷积之后再经过sigmoid函数作为门控因子，以此来选择重要特征，门控卷积的公式如下：
(9)
式中，x为输入数据，σ为sigmoid函数，conv为普通卷积层，out为经过门控卷积选择的特征；
门控卷积的输出特征接着输入光谱指数计算模块，再经过两层全连接映射，实现光合参数的前向传播预测。
7. 如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤4中根据三维高光谱图像与光合参数数据设定损失函数MSE，训练步骤3中的注意力-光谱指数计算网络，损失函数为：
(15)
式中，y i是真实值，是对应预测值，n是样本个数。
8.如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤5中，根据三维高光谱图像与其对应的光合参数数据设定损失函数训练步骤3中的注意力-光谱指数计算网络，完成不同物种叶片光合参数的反演，进一步将模型估计的光合参数代入至FvCB光合生化模型中估计出叶片在不同二氧化碳浓度下的光合速率。
9. 如权利要求1所述的一种高光谱图像估计光合参数的深度学习方法，其特征在于：步骤6中以决定系数R2和均方根误差RMSE为评价指标验证网络模型的物种迁移效果，其计算公式如下：
(16)
(17)
式中，y i是真实值，是对应预测值，y m是所有真实值的平均值，n是样本个数。
10.一种高光谱图像估计光合参数的深度学习系统，其特征在于，包括如下模块：
数据获取模块，用于高光谱图像与光合-二氧化碳响应曲线数据获取；
参数拟合计算模块，用于高光谱图像分割以及光合-二氧化碳响应曲线基于FvCB光合生化模型对光合参数的拟合计算；
网络构建模块，用于针对分割后的三维高光谱图像和拟合得到的光合参数构造融合空间注意力和光谱指数计算模块的网络；
网络训练模块，用于训练空间注意力-光谱指数计算网络，得到光合参数的估计值；
光合速率估计模块，用于联合空间注意力-光谱指数计算网络的输出，将其代回至FvCB光合生化模型，得到光合速率估计，进一步验证网络模型估计的光合参数的可靠性；
模型迁移模块，用于利用训练好的网络模型进行不同物种间的相互迁移，实现物种间知识传递，验证网络模型结构的稳定性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311324714.3A CN117078673A (zh) | 2023-10-13 | 2023-10-13 | 一种高光谱图像估计光合参数的深度学习方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311324714.3A CN117078673A (zh) | 2023-10-13 | 2023-10-13 | 一种高光谱图像估计光合参数的深度学习方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117078673A true CN117078673A (zh) | 2023-11-17 |
Family
ID=88702830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311324714.3A Pending CN117078673A (zh) | 2023-10-13 | 2023-10-13 | 一种高光谱图像估计光合参数的深度学习方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078673A (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925947A (zh) * | 2022-03-04 | 2022-08-19 | 武汉大学 | 一种物候自适应的作物生理指标深度学习估测方法及系统 |
-
2023
- 2023-10-13 CN CN202311324714.3A patent/CN117078673A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925947A (zh) * | 2022-03-04 | 2022-08-19 | 武汉大学 | 一种物候自适应的作物生理指标深度学习估测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| XIANZHI DENG 等: "Estimation of photosynthetic parameters from hyperspectral images using optimal deep learning architecture", SSRN, pages 1 - 49 * |
| 王娣 等: "基于高光谱植被指数的叶片净光合速率Pn反演", 地理与地理信息科学, no. 04 * |
| 陈兵 等: "高光谱的病害棉叶光合参数提取", 光谱学与光谱分析, no. 06 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112836610B (zh) | 一种基于遥感数据的土地利用变化与碳储量定量估算方法 | |
| CN109711102B (zh) | 一种作物灾害损失快速评估方法 | |
| CN112288164B (zh) | 一种计及空间相关性和修正数值天气预报的风功率组合预测方法 | |
| CN112858632B (zh) | 一种综合考虑温度和水分胁迫的草地旱情监测方法 | |
| CN113901384A (zh) | 顾及全局空间自相关性和局部异质性的地面pm2.5浓度建模方法 | |
| CN110956207B (zh) | 一种光学遥感影像全要素变化检测方法 | |
| CN112881327B (zh) | 一种基于新型植被指数的烟叶spad值估测方法 | |
| CN114372707A (zh) | 一种基于遥感数据的高寒湿地退化程度监测方法 | |
| CN116580318A (zh) | 作物覆盖区域的土壤养分反演方法、装置、设备及介质 | |
| CN115223063A (zh) | 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统 | |
| CN117197668A (zh) | 基于深度学习的作物倒伏级别的预测方法及系统 | |
| CN114332534B (zh) | 一种高光谱图像小样本分类方法 | |
| CN112861712B (zh) | 基于人工智能与多时相遥感的农业病虫害监测方法 | |
| CN113076692B (zh) | 一种反演叶片氮素含量的方法 | |
| CN117078673A (zh) | 一种高光谱图像估计光合参数的深度学习方法和系统 | |
| CN114965300B (zh) | 基于光学水体类型和bp神经网络算法构建bp-turb的湖泊浊度制图方法 | |
| CN116091939A (zh) | 基于多尺度地理加权回归的森林地上生物量降尺度方法 | |
| CN115829163A (zh) | 基于多模式集成的长江中下游流域径流预测方法和系统 | |
| CN116168235A (zh) | 一种基于双分支注意力网络的高光谱图像分类方法 | |
| KR102576427B1 (ko) | 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체 | |
| CN114398760A (zh) | 区域植被覆盖度与降水关系非一致性识别方法 | |
| CN114611804A (zh) | 基于tso-grnn组合模型的玉米产量预测方法 | |
| CN114782835B (zh) | 作物倒伏面积比例检测方法及装置 | |
| CN117269078B (zh) | 土壤阳离子交换量的确定方法 | |
| CN117390959A (zh) | 顾及空间自相关的CatBoost-GPP遥感估算模型的构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |