CN115439754A - 一种基于时序遥感影像的大范围跨物候区农作物制图方法 - Google Patents

一种基于时序遥感影像的大范围跨物候区农作物制图方法 Download PDF

Info

Publication number
CN115439754A
CN115439754A CN202210919289.1A CN202210919289A CN115439754A CN 115439754 A CN115439754 A CN 115439754A CN 202210919289 A CN202210919289 A CN 202210919289A CN 115439754 A CN115439754 A CN 115439754A
Authority
CN
China
Prior art keywords
phenological
crop
depth
source domain
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210919289.1A
Other languages
English (en)
Inventor
张洪艳
王子桥
杨光义
张良培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210919289.1A priority Critical patent/CN115439754A/zh
Publication of CN115439754A publication Critical patent/CN115439754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Abstract

本发明提供一种基于时序遥感影像的大范围跨物候区农作物制图方法，利用深度循环网络、自注意力机制与领域自适应技术，以种植在中国不同物候区的冬小麦和冬油菜为例，搭建稳定的时序影像农作物制图深度网络，随后利用深度迁移框架实现深度模型的跨区域迁移，取得精确的跨物候区农作物制图结果。本发明将深度迁移框架应用于中国不同物候区域种植的冬季作物上，实验结果表明其相较于其它最先进算法取得了最好的跨区域分类表现，可以有效提取农作物的判别性特征，显著提高了分类精度，实现了准确的跨物候区农作物制图，具有较大的应用潜力与前景。

Description

一种基于时序遥感影像的大范围跨物候区农作物制图方法
技术领域
本发明涉及时序遥感影像农作物精细制图领域，尤其涉及一种通过深度循环网络提取作物物候信息、通过领域自适应技术对物候差异进行约束的技术方案，构建多层次深度特征的最大平均差异损失完成对不同物候区域农作物物候特征的对齐，实现精确的跨物候区农作物制图。
背景技术
面对日渐增长的粮产需求和农业生产发展不足之间的矛盾，在遥感卫星数据的帮助下，利用机器学习等方法对农作物进行精确分类可以有效减轻农户对农田的监管压力，也有助于构建现代化、智能化与精准化的农业生产体系，达成农业数字化改革和农民增产增收的战略目标。
近几十年来，一些多光谱遥感卫星发射升空并持续生产覆盖全球范围的遥感影像数据，为农作物制图提供了丰富的数据支撑。安装在多光谱遥感卫星上的传感器接收由农作物目标反射或发射的电磁辐射，构建波长覆盖可见光到微波红外波段的多层反射率图层，从而获得多光谱影像。由于多光谱影像较为全面地反映了农作物的光谱信息，许多方法将多光谱影像与农作物的特征表征联系起来，利用多光谱信息描述农作物的生物特性，完成对农作物光谱特征的提取和建模工作。在农作物制图应用中，时序遥感影像可以包含农作物在整个生长周期中的物候信息，因此可以从中提取出更具有代表性的物候特征，许多学者结合植被指数进行特征工程、设计物候特征，相较于单时相影像往往能够取得更准确的农作物制图结果。然而，人工设计的特征过于依赖专家知识，对于不同种植条件下的农作物样本普适性不强，出现阈值、植被指数特征或预训练模型失效的现象，为分类带来不确定性和精度的下降。因此，发展准确的跨物候区农作物制图技术，实现迅速、精确的农作物制图，具有很大的现实意义。
近几十年来，时序遥感影像农作物制图问题受到广泛关注并取得了丰硕成果。现有时序农作物制图方法主要可以分为两大类：基于物候学和基于监督学习的方法。其中基于监督学习的方法又可以进一步分为基于传统机器学习和基于深度网络的方法。物候学旨在建模农作物以年或一个生长周期为周期重复出现的各种生物现象的发生时间，以及其周边环境条件进行相关变化的周期模式，仔细选择一个或两个独特的阶段并将其与光谱特征相关联，随后利用全局阈值或动态阈值的方法完成对指定区域内农作物的快速提取。然而，光谱特性所联系的关键物候期和设定的阈值人工干涉过多，在农作物物候差异大时存在提取不精确、不够自动化等缺点。监督学习的理论基础为利用部分已知类别的样本建立先验信息，再通过计算未知类别样本与各类别的距离进行分类，常见的机器学习算法包括决策树、随机森林和支持向量机。基于传统机器学习的农作物制图方法仅依赖数千个高质量农作物样本便可以生成指定区域精确的制图结果。然而，手工设计的特征主观性太强，不能根据复杂或变化的分类场景而动态改变，并且传统机器学习算法并没有充分利用时序遥感影像中包含的农作物时序信息，导致得到的特征和分类模型鲁棒性差、泛化能力不足，不能适用于类内方差较大的农作物样本。
2015年以来，作为机器学习分支之一的深度学习迅速发展，鉴于其“数据驱动”的模式及强大的非线性拟合能力，复杂的特征工程可以从样本本身自动化、智能化地完成，可以从时序遥感影像中更充分地提取鲁棒、泛化的特征，相较于传统机器学习算法往往可以取得更高的精度和更稳定的分类表现。常见的深度网络结构包括卷积神经网络和循环神经网络，通过对农作物特征进行卷积或递归计算操作，完成精确的农作物制图。然而深度学习方法也有自身局限之处，首先是可解释性差，网络整体相当于一个黑盒子；其次是训练样本需求量大，深度网络的训练过程需消耗十万甚至百万量级的标签样本，大大增加了真实标签搜集所需的人力物力和时间成本。
综上，基于深度学习的方法可以有效利用时序遥感影像中农作物的物候信息，进行稳定的农作物制图。然而，由于不同物候区域存在不同的气候条件、季度积温和种植模式，同一种农作物在不同物候区往往呈现截然不同的物候特征，包括关键物候期的起止时间、持续时间和植被指数峰值。这导致在扩展分类区域、进行跨物候区农作物制图时往往遇到目标区域真实标签搜集难度大、目标区域农作物样本具有差异化的时序-光谱特征和跨区域分类精度低等问题，导致跨物候区农作物制图精度受限。
因此，考虑利用深度循环网络提取农作物泛化的深度特征，随后基于领域自适应技术搭建一个跨物候区农作物制图框架，显得十分有意义。
发明内容
本发明的目的在于解决跨物候区农作物制图应用中存在的同类别农作物光谱差异、物候期不匹配等问题，提出一个鲁棒的深度迁移农作物制图框架。以地处不同种植条件和气候环境的中国冬季作物为例，深入分析存在的时序-光谱特征差异，利用深度循环网络充分挖掘时序遥感影像中的农作物物候信息，并结合领域自适应技术对齐深度物候特征，实现精确的跨物候区农作物制图。
本发明的技术方案提供一种基于时序遥感影像的大范围跨物候区农作物制图方法，包括以下步骤：
步骤1，构建时序光谱网络(Temporal Spectral Network，TSNet)，利用堆叠的循环神经网络结构从源域的时序遥感影像中提取农作物样本具有表征性和判别性的深度特征，通过自注意力模型自适应地提取泛化的深度物候特征，利用交叉熵损失完成时序光谱网络在源域的预训练；
步骤2，利用步骤1得到的预训练TSNet，构建物候对齐网络(Phenology AlignmentNetwork，PAN)，利用双分支结构分别接收源域和目标域的农作物样本，提取源域和目标域农作物样本各自的多层次深度物候特征；
步骤3，构建多层次深度特征对齐损失，约束源域和目标域农作物样本深度物候特征的分布距离，将源域得到的预训练TSNet迁移到目标域上，完成准确的跨物候区农作物制图。
进一步地，步骤1中，假设从时序遥感影像中提取的多光谱-多时相输入数据为
Figure BDA0003776942060000031
其中LT为样本的时序长度，LS为样本的光谱通道个数。因此x可以被进一步展开为
Figure BDA0003776942060000032
且每个时相的输入xi包含作物在该时刻的多光谱信息。序列数据被第一层门循环单元(Gated Recurrent Units，GRU)层接收作为输入数据并被编码成隐藏层状态
Figure BDA0003776942060000033
其中
Figure BDA0003776942060000034
表示第i层GRU所输出的隐藏层状态，h为隐藏向量的维度。H1被当作第二层GRU的序列输入数据，进一步被编码得到
Figure BDA0003776942060000035
如此直至最后一层，堆叠循环神经网络模块从原始多光谱-多时相数据中提取多尺度、由浅到深的深度物候特征并输出。
进一步地，堆叠循环神经网络模块包括m个循环神经网络模块。
进一步地，利用自注意力机制对深度隐藏特征Hm进行非局部信息提取，其中m为循环神经网络模块的个数，堆叠循环神经网络模块的输出Hm尺寸为(LT,h)，将深度隐藏特征Hm转置得到
Figure BDA0003776942060000036
其尺寸为(h,LT)，再将Hm与
Figure BDA0003776942060000037
进行矩阵相乘操作便可得到尺寸为(LT,LT)的注意力图A，利用Softmax函数将注意力图A归一化到0到1的范围，此时A便包含各时相之间的相关依赖关系，越接近1则连接强度越高，同时也表明此时相具有关键判别性信息；将注意力图A与原始隐藏特征Hm相乘得到加权隐藏特征
Figure BDA0003776942060000038
再将
Figure BDA0003776942060000039
与Hm通过残差结构相加，得到自注意力模块的最终输出HA；
进一步地，使用特征展平层将运算得到的时序光谱网络内部隐藏状态转化为可以输出的特征形式，如下公式所示，展平层将尺寸为(LT,h)的自注意力模块输出深层物候特征HA展平为尺寸(1,LT×h)的一维向量HF。
HF＝Flatten(HA) (1)
之后利用线性层改变矩阵或张量的维度属性，将尺寸为(LT×h,4)的加权矩阵WLinear，与展平后深度特征HF进行矩阵相乘将其特征维度从LT×h降至K，对应于分类任务中的K个类别。
Figure BDA0003776942060000041
其中，K表示输入数据中训练标签的类别数，之后使用Softmax函数对向量的值加权，得到样本属于每个类别的概率，并将概率最大的类别被视为预测类别。一维向量HL可以展开表示为HL＝[hL,1,hL,2,…,hL,K]，通过Softmax函数得到概率软输出S＝[s1,s2,…,sK]，再计算交叉熵损失用于训练时序光谱网络。
进一步地，步骤2中，物候对齐网络包含两条共享权重的时序光谱网络，用于分别接收源域和目标域的农作物样本输入。源域时序输入数据可以表示为
Figure BDA0003776942060000042
其中s表示源域上农作物样本的总数量，且每个样本
Figure BDA0003776942060000043
即同时包含多光谱和多时相信息的二维特征矩阵。源域样本对应的标签可以表示为
Figure BDA0003776942060000044
每个标签
Figure BDA0003776942060000045
的取值为0到 K-1之间的数值，对应本研究所使用数据集中的K个类别。相似的，目标域时序输入数据和相应的标签可以表示为
Figure BDA0003776942060000046
和
Figure BDA0003776942060000047
其中t表示目标域上农作物样本的总数量。双分支结构保证了两个时序光谱网络可以被共同训练，同时学习源域和目标域上农作物的物候特征分布。源域分支提取出的多层次深度物候特征可以表示为 {HS,1,HS,2,…,HS,m,HS,A}，对应m层循环神经网络结构(GRU结构)和自注意力模块的输出， Hs,1～Hs,m对应源域分支中m层循环神经网络结构(GRU结构)输出的深度物候特征；Hs,A对应源域分支中自注意力模块输出的深度物候特征，其中m为循环神经网络模块的个数；。相似的，目标域分支的隐藏特征可以表示为{HT,1,HT,2,…,HT,m,HT,A}。
进一步地，步骤3中，建立多尺度特征对齐模块以定量衡量并约束源域和目标域所提取的深度物候特征分布之间的不相似性，对齐损失
Figure BDA0003776942060000051
由网络中层次特征对(HS，2/m，HT，2/m)与深层次特征对(HS,A,HT,A)的最大平均差异(Maximum Mean Discrepancy，MMD)损失组成，其中φ为将数据映射至希尔伯特空间的映射函数，n为农作物样本的总数量。
Figure BDA0003776942060000052
物候对齐网络的整体损失由对齐损失
Figure BDA0003776942060000053
和交叉熵损失加权组成，使用Adam优化器调整梯度，最小化损失函数。
与现有技术相比，本发明的有益效果：
本发明提出的基于深度循环网络和自注意力机制的时序光谱网络TSNet，针对传统机器学习算法无法充分捕捉农作物时序特征的问题，选取深度循环网络中的门循环单元GRU结构，搭建多层双向GRU模型提取时序遥感影像中包含的农作物深层物候信息，并在之后级联自注意力模块处理不同地貌景观下的异质农作物样本，自适应地提取农作物关键物候期特征，提高深度模型的泛化能力和可拓展性，可以高效地提取鲁棒的作物物候特征，对时序遥感影像的农作物进行准确的分类。
本发明提出的基于领域自适应的物候对齐网络PAN，针对不同物候区域农作物间存在的物候差异现象及其导致的模型失效问题，在时序光谱网络的基础上构建双分支网络接收源域和目标域农作物样本，嵌入多层次深度特征对齐模块，从特征层面约束不同物候区农作物的分布距离，对失效的深度模型进行微调，在不需要目标域标签信息的前提下完成预训练模型的迁移，实现精确的跨物候区农作物制图。因此，基于时序遥感影像的大范围跨物候区农作物制图方法不仅具有非常重要的学术价值，而且具有重要的现实意义和应用潜力。
附图说明
图1是时序光谱网络的网络结构图；
图2是本发明的整体网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，将结合实例对基于时序遥感影像的大范围跨物候区农作物制图方法进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
本发明主要针对传统机器学习分类器无法充分提取农作物时序特征、以及跨物候区分类时存在的农作物物候差异大、深度模型失效问题，构建一个像素级时序农作物制图网络：时序光谱网络，挖掘时序影像中农作物的多层次深度物候特征，并利用自注意力机制自适应地聚焦作物关键物候期信息；搭建一个双分支深度迁移框架：物候对齐网络，使用在源域上得到的预训练参数初始化网络，随后利用双分支分别接收到的源域、目标域农作物样本联合训练网络，设计多层次特征对齐模块，从特征层面约束双分支提取的深层物候特征，削弱物候差异对跨区域分类带来的负面影响，将源域深度模型迁移至目标域，完成精确的跨物候区农作物制图。
步骤1，构建时序光谱网络(Temporal Spectral Network，TSNet)，利用堆叠的循环神经网络结构从源域的时序遥感影像中提取农作物样本具有表征性和判别性的深度特征，通过自注意力模型自适应地提取泛化的深度物候特征，利用交叉熵损失完成时序光谱网络在源域的预训练；
步骤2，利用步骤1得到的预训练TSNet，构建物候对齐网络(Phenology AlignmentNetwork，PAN)，利用双分支结构分别接收源域和目标域的农作物样本，提取源域和目标域农作物样本各自的多层次深度物候特征；
步骤3，构建多层次深度特征对齐损失，约束源域和目标域农作物样本深度物候特征的分布距离，将源域得到的预训练TSNet迁移到目标域上，完成准确的跨物候区农作物制图。
进一步地，步骤1中，假设从时序遥感影像中提取的多光谱-多时相输入数据为
Figure BDA0003776942060000061
其中LT为样本的时序长度，LS为样本的光谱通道个数。因此x可以被进一步展开为
Figure BDA0003776942060000062
且每个时相的输入xi包含作物在该时刻的多光谱信息。序列数据被第一层 GRU层接收作为输入数据并被编码成隐藏层状态
Figure BDA0003776942060000063
其中
Figure BDA0003776942060000064
表示第 i层GRU所输出的隐藏层状态，h为隐藏向量的维度。H1被当作第二层GRU的序列输入数据，进一步被编码得到
Figure BDA0003776942060000065
如此直至最后一层，堆叠循环神经网络模块从原始多光谱-多时相数据中提取多尺度、由浅到深的深度物候特征并输出。
进一步地，本实施例中，叠循环神经网络模块包括4个循环神经网络模块，利用自注意力机制对深度隐藏特征H4进行非局部信息提取，堆叠循环网络模块的输出H4尺寸为(LT,h)，将深度隐藏特征H4转置得到
Figure BDA0003776942060000071
其尺寸为(h,LT)，再将H4与
Figure BDA0003776942060000072
进行矩阵相乘操作便可得到尺寸为(LT,LT)的注意力图A，利用Softmax函数将注意力图A归一化到0到1的范围，此时 A便包含各时相之间的相关依赖关系，越接近1则连接强度越高，同时也表明此时相具有关键判别性信息。将注意力图A与原始隐藏特征H4相乘得到加权隐藏特征
Figure BDA0003776942060000073
再将
Figure BDA0003776942060000074
与H4通过残差结构相加，得到自注意力模块的最终输出HA。
进一步地，使用特征展平层将运算得到的网络内部隐藏状态转化为可以输出的特征形式，如下公式所示，展平层将尺寸为(LT,h)的自注意力模块输出深层物候特征HA展平为尺寸 (1,LT×h)的一维向量HF；
HF＝Flatten(HA) (4)
之后利用线性层改变矩阵或张量的维度属性，将尺寸为(LT×h,4)的加权矩阵WLinear，与展平后深度特征HF进行矩阵相乘将其特征维度从LT×h降至4，对应于分类任务中的四个类别。
Figure BDA0003776942060000075
之后使用Softmax函数对向量的值加权，得到样本属于每个类别的概率，并将概率最大的类别被视为预测类别。一维向量HL可以展开表示为HL＝[hL,1,hL,2,hL,3,hL,4]，通过Softmax函数得到概率软输出S＝[s1,s2,s3,s4]，再计算交叉熵损失用于训练时序光谱网络。
进一步地，步骤2中，物候对齐网络包含两条共享权重的时序光谱网络，用于分别接收源域和目标域的农作物样本输入。源域时序输入数据可以表示为
Figure BDA0003776942060000076
其中s表示源域上农作物样本的总数量，且每个样本
Figure BDA0003776942060000077
即同时包含多光谱和多时相信息的二维特征矩阵。源域样本对应的标签可以表示为
Figure BDA0003776942060000078
每个标签
Figure BDA0003776942060000079
的取值为0到 3之间的数值，对应本研究所使用数据集中的四个类别。相似的，目标域时序输入数据和相应的标签可以表示为
Figure BDA00037769420600000710
和
Figure BDA00037769420600000711
其中t表示目标域上农作物样本的总数量。双分支结构保证了两个时序光谱网络可以被共同训练，同时学习源域和目标域上农作物的物候特征分布。源域分支提取出的多层次深度物候特征可以表示为 {HS,1,HS,2,HS,3,HS,4,HS,A}，对应四层GRU结构和自注意力模块的输出。相似的，目标域分支的隐藏特征可以表示为{HT,1,HT,2,HT,3,HT,4,HT,A}。
进一步地，步骤3中，建立多尺度特征对齐模块以定量衡量并约束源域和目标域所提取的深度物候特征分布之间的不相似性，对齐损失
Figure BDA0003776942060000081
由网络中层次特征对(HS,2,HT,2)与深层次特征对(HS,A,HT,A)的最大平均差异(Maximum Mean Discrepancy，MMD)损失组成，其中φ为将数据映射至希尔伯特空间的映射函数，n为农作物样本的数量。
Figure BDA0003776942060000082
物候对齐网络的整体损失由对齐损失
Figure BDA0003776942060000083
和交叉熵损失加权组成，使用Adam优化器调整梯度，最小化损失函数。
本发明可采用计算机软件技术进行实现。以下结合图1和图2详述实施例跨物候区农作物制图方法的具体步骤。
步骤1，构建时序光谱网络(Temporal Spectral Network，TSNet)，利用堆叠的循环神经网络结构和自注意力模型提取农作物样本判别性、泛化的深度物候特征，并利用交叉熵损失完成时序光谱网络在源域的预训练。
实例中，如图1网络图所示，时序光谱网络中包含4个双向的门循环单元(GatedRecurrent Units，GRU)，GRU模型的隐藏层维度为128。时序遥感影像中提取的多光谱-多时相输入数据尺寸为(21，10)，每个样本包含21的时序特征维度和10的光谱特征维度。经第一层GRU 处理后，得到的隐状态尺寸为(21，128)，即每个时序上的特征维度由原始的10提升到128。第一层GRU输出的隐状态进一步作为第二层GRU的输入，得到新的隐状态输出尺寸为(21， 128)，重复此操作直至第四层GRU。之后利用自注意力模块学习时序尺度上的自相关矩阵，尺寸为(21，21)，经softmax和求和处理后得到尺寸为(1，21)的加权向量，与尺寸为(21， 128)的第四层GRU隐状态相乘后得到尺寸为(1，128)的深度特征，随后经过线性层、softmax 函数得到预测标签。预测标签与真实标签间的交叉熵损失使用Adam优化器进行求解，训练批次选择为256，初始学习率为0.0005，训练共持续200次迭代。
步骤2，利用步骤1得到的预训练TSNet，构建物候对齐网络(Phenology AlignmentNetwork，PAN)，利用双分支结构分别接收源域和目标域的农作物样本，提取源域和目标域农作物样本各自的多层次深度物候特征。
实例中，如图2网络图所示，使用两个完全一样的源域预训练TSNet构建双分支结构，分别接收源域和目标域的农作物样本，源域和目标域的农作物样本的尺寸均为(21，10)，包含21的时序特征维度和10的光谱特征维度。源域分支提取出的多层次深度物候特征可以表示为{HS,1,HS,2,HS,3,HS,4,HS,A}，对应四层GRU结构和自注意力模块的输出。相似的，目标域分支的隐藏特征可以表示为{HT,1,HT,2,HT,3,HT,4,HT,A}，其中每个向量的尺寸均为(21，128)。
步骤3，构建多层次深度特征对齐损失，约束源域和目标域农作物样本深度物候特征的分布距离，将源域得到的预训练TSNet迁移到目标域上，完成准确的跨物候区农作物制图。
实例中，对齐损失和交叉熵损失的加权系数为0.001，训练批次选择为256，使用Adam 优化器进行求解，初始学习率为0.0005，训练共持续100次迭代。
本领域普通技术人员可以理解，本发明首次从深度特征分布角度看待跨区域农作物制图问题，在没有利用目标域标签的前提下有效学习了不同物候区域农作物样本的特征分布，有效对齐不同区域农作物样本对应的深度物候特征，使失效的深度模型重新具有判别性，显著提升了制图精度，以及将多尺度特征对齐模块嵌入其它深度网络以进行跨物候区农作物制图的潜力。
应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (7)

1.一种基于时序遥感影像的大范围跨物候区农作物制图方法，其特征在于，包括以下步骤：
步骤1，构建时序光谱网络TSNet，利用堆叠的循环神经网络结构从源域的时序遥感影像中提取农作物样本具有表征性和判别性的深度特征，通过自注意力模型自适应地提取泛化的深度物候特征，利用交叉熵损失完成时序光谱网络在源域的预训练；
步骤2，利用步骤1得到的预训练TSNet，构建物候对齐网络，利用双分支结构分别接收源域和目标域的农作物样本，提取源域和目标域农作物样本各自的多层次深度物候特征；
步骤3，构建多层次深度特征对齐损失，约束源域和目标域农作物样本深度物候特征的分布距离，将源域得到的预训练TSNet迁移到目标域上，完成准确的跨物候区农作物制图。
2.如权利要求1所述一种基于深度迁移网络和时序遥感影像的跨物候区农作物制图方法，其特征在于：步骤1中，从时序遥感影像中提取的多光谱-多时相输入数据为
Figure FDA0003776942050000011
其中LT为样本的时序长度，LS为样本的光谱通道个数，因此x可以被进一步展开为
Figure FDA0003776942050000012
且每个时相的输入xi包含作物在该时刻的多光谱信息；序列数据被第一层门循环单元层接收作为输入数据并被编码成隐藏层状态
Figure FDA0003776942050000013
其中
Figure FDA0003776942050000014
表示第i层GRU所输出的隐藏层状态，h为隐藏向量的维度；H1被当作第二层GRU的序列输入数据，进一步被编码得到
Figure FDA0003776942050000015
如此直至最后一层，堆叠循环神经网络模块从原始多光谱-多时相数据中提取多尺度、由浅到深的深度物候特征并输出；循环神经网络模块即为门循环单元层。
3.如权利要求1所述一种基于时序遥感影像的大范围跨物候区农作物制图方法，其特征在于：堆叠循环神经网络模块包括m个循环神经网络模块。
4.如权利要求1所述一种基于时序遥感影像的大范围跨物候区农作物制图方法，其特征在于：利用自注意力机制对深度隐藏特征Hm进行非局部信息提取，其中m为循环神经网络模块的个数，堆叠循环神经网络模块的输出Hm尺寸为(LT,h)，将深度隐藏特征Hm转置得到
Figure FDA0003776942050000016
其尺寸为(h,LT)，再将Hm与
Figure FDA0003776942050000017
进行矩阵相乘操作便可得到尺寸为(LT,LT)的注意力图A，利用Softmax函数将注意力图A归一化到0到1的范围，此时A便包含各时相之间的相关依赖关系，越接近1则连接强度越高，同时也表明此时相具有关键判别性信息；将注意力图A与原始隐藏特征Hm相乘得到加权隐藏特征
Figure FDA0003776942050000021
再将
Figure FDA0003776942050000022
与Hm通过残差结构相加，得到自注意力模块的最终输出HA；
使用特征展平层将运算得到的时序光谱网络内部隐藏状态转化为可以输出的特征形式，如下公式所示，展平层将尺寸为(LT,h)的自注意力模块输出深层物候特征HA展平为尺寸(1,LT×h)的一维向量HF；
HF＝Flatten(HA) (1)
之后利用线性层改变矩阵或张量的维度属性，将尺寸为(LT×h,K)的加权矩阵WLinear，与展平后深度特征HF进行矩阵相乘将其特征维度从LT×h降至K，对应于分类任务中的K个类别；
Figure FDA0003776942050000023
其中，K表示输入数据中训练标签的类别数，之后使用Softmax函数对向量的值加权，得到样本属于每个类别的概率，并将概率最大的类别被视为预测类别；一维向量HL可以展开表示为HL＝[hL,1,hL,2,…,hL,K]，通过Softmax函数得到概率软输出S＝[s1,s2,…,sK]，再计算交叉熵损失用于训练时序光谱网络。
5.如权利要求1所述一种基于时序遥感影像的大范围跨物候区农作物制图方法，其特征在于：步骤2中，物候对齐网络包含两条共享权重的时序光谱网络，用于分别接收源域和目标域的农作物样本输入；源域时序输入数据可以表示为
Figure FDA0003776942050000024
其中s表示源域上农作物样本的总数量，且每个样本
Figure FDA0003776942050000025
即同时包含多光谱和多时相信息的二维特征矩阵；源域样本对应的标签可以表示为
Figure FDA0003776942050000026
每个标签
Figure FDA0003776942050000027
的取值为0到K-1之间的数值，对应数据集中的K个类别；相似的，目标域时序输入数据和相应的标签可以表示为
Figure FDA0003776942050000028
和
Figure FDA0003776942050000029
其中t表示目标域上农作物样本的总数量；双分支结构保证了两个时序光谱网络可以被共同训练，同时学习源域和目标域上农作物的物候特征分布；源域分支提取出的多层次深度物候特征可以表示为{HS,1,HS,2,…,HS,m,HS,A}，对应m层循环神经网络结构和自注意力模块的输出，Hs,1～Hs,m对应源域分支中m层循环神经网络结构输出的深度物候特征，Hs,A对应源域分支中自注意力模块输出的深度物候特征，其中m为循环神经网络模块的个数；相似的，目标域分支的隐藏特征可以表示为{HT,1,HT,2,…,HT,m,HT,A}。
6.如权利要求5所述一种基于时序遥感影像的大范围跨物候区农作物制图方法，其特征在于：步骤3中，建立多尺度特征对齐模块以定量衡量并约束源域和目标域所提取的深度物候特征分布之间的不相似性，对齐损失
Figure FDA0003776942050000031
由网络中层次特征对(HS，2/m，HT，2/m)与深层次特征对(HS,A,HT,A)的最大平均差异损失组成，其中φ为将数据映射至希尔伯特空间的映射函数，n为农作物样本的总数量；
Figure FDA0003776942050000032
物候对齐网络的整体损失由对齐损失
Figure FDA0003776942050000033
和交叉熵损失加权组成，使用Adam优化器调整梯度，最小化损失函数。
7.如权利要求6所述一种基于时序遥感影像的大范围跨物候区农作物制图方法，其特征在于：对齐损失和交叉熵损失的加权系数为0.001，训练批次选择为256，使用Adam优化器进行求解，初始学习率为0.0005，训练共持续100次迭代。
CN202210919289.1A 2022-08-02 2022-08-02 一种基于时序遥感影像的大范围跨物候区农作物制图方法 Pending CN115439754A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210919289.1A CN115439754A (zh) 2022-08-02 2022-08-02 一种基于时序遥感影像的大范围跨物候区农作物制图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210919289.1A CN115439754A (zh) 2022-08-02 2022-08-02 一种基于时序遥感影像的大范围跨物候区农作物制图方法

Publications (1)

Publication Number Publication Date
CN115439754A true CN115439754A (zh) 2022-12-06

Family

ID=84242198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210919289.1A Pending CN115439754A (zh) 2022-08-02 2022-08-02 一种基于时序遥感影像的大范围跨物候区农作物制图方法

Country Status (1)

Country Link
CN (1) CN115439754A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310840A (zh) * 2023-05-11 2023-06-23 天地信息网络研究院(安徽)有限公司 一种融合多关键物候期光谱特征的冬小麦遥感识别方法
CN116523147A (zh) * 2023-06-30 2023-08-01 广东省农业科学院植物保护研究所 基于无人机红外探测的农田碳排放预测方法及系统
CN117094430A (zh) * 2023-07-19 2023-11-21 青海师范大学 一种农作物分布预测方法、系统、设备及介质
CN117575111A (zh) * 2024-01-16 2024-02-20 安徽农业大学 一种基于迁移学习的农业遥感图像时空序列预测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310840A (zh) * 2023-05-11 2023-06-23 天地信息网络研究院(安徽)有限公司 一种融合多关键物候期光谱特征的冬小麦遥感识别方法
CN116523147A (zh) * 2023-06-30 2023-08-01 广东省农业科学院植物保护研究所 基于无人机红外探测的农田碳排放预测方法及系统
CN116523147B (zh) * 2023-06-30 2023-09-05 广东省农业科学院植物保护研究所 基于无人机红外探测的农田碳排放预测方法及系统
CN117094430A (zh) * 2023-07-19 2023-11-21 青海师范大学 一种农作物分布预测方法、系统、设备及介质
CN117094430B (zh) * 2023-07-19 2024-04-26 青海师范大学 一种农作物分布预测方法、系统、设备及介质
CN117575111A (zh) * 2024-01-16 2024-02-20 安徽农业大学 一种基于迁移学习的农业遥感图像时空序列预测方法
CN117575111B (zh) * 2024-01-16 2024-04-12 安徽农业大学 一种基于迁移学习的农业遥感图像时空序列预测方法

Similar Documents

Publication Publication Date Title
Ghaderizadeh et al. Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks
Kong et al. Multi-stream hybrid architecture based on cross-level fusion strategy for fine-grained crop species recognition in precision agriculture
Rußwurm et al. Self-attention for raw optical satellite time series classification
Mascarenhas et al. A comparison between VGG16, VGG19 and ResNet50 architecture frameworks for Image Classification
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN114067160B (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN115439754A (zh) 一种基于时序遥感影像的大范围跨物候区农作物制图方法
Camps-Valls et al. Robust support vector method for hyperspectral data classification and knowledge discovery
Lanjewar et al. Convolutional Neural Networks based classifications of soil images
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
Alguliyev et al. Plant disease detection based on a deep model
Bramhe et al. Extraction of built-up areas using convolutional neural networks and transfer learning from sentinel-2 satellite images
CN111339978A (zh) 利用卷积神经网络模型识别交通指数时间序列模式的方法
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Wang et al. A pseudoinverse incremental algorithm for fast training deep neural networks with application to spectra pattern recognition
CN112560826A (zh) 图像分类模型的训练方法、图像分类方法及装置
Xu et al. Weakly supervised facial expression recognition via transferred DAL-CNN and active incremental learning
Goumiri et al. A new hybrid model of convolutional neural networks and hidden Markov chains for image classification
Dreyfus et al. Self-organizing maps and unsupervised classification
Pal Factors influencing the accuracy of remote sensing classifications: a comparative study
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
Kumawat et al. Time-Variant Satellite Vegetation Classification Enabled by Hybrid Metaheuristic-Based Adaptive Time-Weighted Dynamic Time Warping
Kumari et al. Deep learning techniques for remote sensing image scene classification: A comprehensive review, current challenges, and future directions
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
Zhu et al. Computer image analysis for various shading factors segmentation in forest canopy using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination