CN117132884A - 一种基于地块尺度的农作物遥感智能提取方法 - Google Patents
一种基于地块尺度的农作物遥感智能提取方法 Download PDFInfo
- Publication number
- CN117132884A CN117132884A CN202310849650.2A CN202310849650A CN117132884A CN 117132884 A CN117132884 A CN 117132884A CN 202310849650 A CN202310849650 A CN 202310849650A CN 117132884 A CN117132884 A CN 117132884A
- Authority
- CN
- China
- Prior art keywords
- model
- crop
- land
- attention
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 78
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 230000007787 long-term memory Effects 0.000 claims abstract description 8
- 230000015654 memory Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 27
- 238000013145 classification model Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 19
- 238000011160 research Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000002779 inactivation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 230000002457 bidirectional effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 238000003062 neural network model Methods 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000013136 deep learning model Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 241000208125 Nicotiana Species 0.000 description 4
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于地块尺度的农作物遥感智能提取方法。首先将高分辨率遥感影像地块提取视为图像语义分割问题，集成卷积神经网络和Transformer网络，构建一个顾及空间细节和远距离上下文语义的神经网络模型；基于提取的精细地块，利用中等分辨率影像构建时序遥感数据集，结合长短期记忆模型和全卷积神经网络模型在时间特征和空间特征上的表征优势，构建一个新的时序深度学习模型用于农作物精准分类。本发明充分利用卷积神经网络、Transformer模型、长短期记忆模型在空间细节、远距离上下文信息建模和时序特征提取方面的优势，通过集成先进的深度网络模型，有效地提取了不同层级的地块图像特征、作物物候特征，实现了地块尺度农作物种植结构的精准分类。
Description
技术领域
本发明涉及耕地地块提取和农作物种植结构提取研究领域，特别是一种基于地块尺度的农作物遥感智能提取方法。
背景技术
农作物种植信息是作物长势监测和产量估算的重要基础数据，及时准确地获取作物种植类型及其时空变化信息对作物种植结构优化调整和水土资源合理配置具有重要意义。现有的农作物分类方法大多是以像元为分析单元，开展利用以地块为基本分析单元的研究相对较少，尤其是针对于南方复杂地形区。目前对地块和农作物的提取方法大都是借助单一的卷积神经网络或者面向对象分割技术，但是这些方法仍然难以有效准确的识别不同地区的耕地地块及其作物种植结构。
卷积神经网络擅长提取局部的语义特征，但在远距离上下文信息建模方面存在不足，而Transformer模型则相反。基于此，对于地块提取模型设计，可通过集成卷积神经网络和Transformer网络，构建双分支的特征提取器，并通过特征融合模块进一步利用两者提取的信息，进而改善遥感影像专题信息的提取能力。另外，长短期记忆网络模型擅长提取时序特征，全卷积神经网络擅长提取空间特征。因此，对于作物分类模型设计，可通过集成全卷积神经网络和长短期记忆网络模型来充分有效的挖掘作物的物候特征和空间特征，从而改善模型的特征提取能力，进而提升作物分类的精准度。
卷积神经网络、Transformer网络和长短期记忆神经网络在自然影像分割、实例分割和目标检测等方面上得到了广泛应用，本发明将集成这些网络模型应用于遥感影像地块尺度的农作物种植结构信息提取的研究中。
发明内容
本发明的目的在于提供一种基于地块尺度的农作物遥感智能提取方法，克服了传统方法泛化能力不强、特征提取不充分的问题，有效提升了农作物分类的精准度。
为实现上述目的，本发明的技术方案是：一种基于地块尺度的农作物遥感智能提取方法，包括如下步骤：
步骤S1、获取研究区的高空间分辨率遥感影像，对影像进行预处理操作，包括正射校正、辐射校正、全色融合、影像裁剪、影像重采样；
步骤S2、构建集成空间细节和远距离上下文语义的深度网络模型，即地块提取模型CLCFormer；具体地，基于双分支网络框架，引入不同类型的特征提取网络，提取不同层级的图像语义特征；其中，特征提取网络分别由擅长局部特征提取的卷积神经网络和擅长远距离全局上下文语义建模的Transformer网络构成；
步骤S3、基于专家知识构建注意力机制模块，融合不同层级、有差异的语义特征；
步骤S4、农田地块数据集构建；
步骤S5、地块提取模型训练与测试；
步骤S6、获取研究区的长时序中等分辨率遥感影像数据集，对遥感影像进行预处理操作，包括辐射校正、大气校正、去云处理、融合镶嵌；
步骤S7、引入擅长时序特征提取的注意力长短期记忆网络模型AttentionLSTM和擅长空间信息表达的全卷积神经网络FCN，构建一个多变量注意力的长短期记忆网络模型即作物分类模型ALSTM-FCN；
步骤S8、以地块为基本分析单元，构建地块级作物时序特征数据集；
步骤S9、作物分类模型ALSTM-FCN训练与测试；
步骤S10、集成已经训练和测试过的地块提取模型CLCFormer和作物分类模型ALSTM-FCN，完成研究区地块级作物分类。
在本发明一实施例中，步骤S2中，分别选择卷积神经网络EfficientNet-B3和Transformer网络SwinV2-transformer作为双分支架构的特征提取器，以捕捉不同层级M1、M2…Mn(n≤4)的、有差异的、鲁棒的图像语义特征。
在本发明一实施例中，步骤S3具体包括以下步骤：
步骤S31、根据步骤S2获得的多层级特征，基于注意力机制理念，构建双向特征融合模块BiFFM，融合来自于不同分支的有差异的、鲁棒的图像语义；
步骤S32、根据步骤S31融合后的特征，基于注意力机制，构建带有膨胀卷积的注意力门模块ATG改善特征；
步骤S33、基于步骤S32改善后的特征，使用注意力残差块ATR提升模型的特征表达能力。
在本发明一实施例中，步骤S31中，所述双向特征融合模块BiFFM形成如下：
首先对于卷积神经网络CNN分支产生的特征，处理方式如下：
Pc＝δ(DSCscSEDFCCn)×Cn
式中，δ是Sigmoid函数，DSC是深度可分离卷积，scSE是集成空间和通道注意力的卷积模块，Cn是来自于CNN分支中第n个层级的特征，Pc是细化后的特征；
对于Transformer分支产生的特征，处理方式如下：
Sm＝DSC(AvgPoolTn+DSC(MaxPool(Tn))
SF＝δ(DSCReLUSm)×Tn
式中，Tn是来自于Transformer分支中第n个层级的特征，Sm是增强后的特征，ReLU是修正线性单元，AvgPool是平均池化层，MaxPool是最大池化层，SF是细化后的特征；
最后，通过使用串联操作和注意力残差块ATR来增强模型的特征表达能力，具体实现方式如下：
SF＝Drop(ATRConcatPc,SF)
式中，Drop是随机失活层用来防止模型过拟合。
步骤S32中，所述注意力门模块ATG定义如下：
SED＝δ(BNDSCBR(DSCEF+DSCDF))×EF
式中，BR是批归一化层BN和修正线性单元ReLU的组合，EF来自于BiFFM融合后的特征，DF来自于解码器产生的特征；
步骤S33中，所述注意力残差块ATR的定义如下：
OF＝cSeσBR(σBRSED+BN(σSED))
式中，σ是3×3卷积，SED是经过注意力门模块ATG后的特征，cSe是空间注意力机制模块。
在本发明一实施例中，步骤S4具体实现方式为：基于步骤S1预处理后的影像数据，选择标签制作方法，对遥感影像中的地块进行矢量化，并将地块的像素值赋值为A，非地块像素值赋值为B，最后采用矢量转栅格算法获得研究区内的地块样本标签数据集。
在本发明一实施例中，步骤S5具体包括以下步骤：
步骤S51、基于S41构建的地块样本标签数据集，将影像和标签数据裁剪成N×N像素大小的数据集，并将数据集按C：D：E划分为训练集、验证集和测试集，采用翻转、旋转、颜色抖动的数据增强操作，扩大数据集；
步骤S52、采用初始学习率为Lr的AdamW优化器作为地块提取模型的优化器，使用加权交叉熵损失WBCE和加权交并比损失WIoU作为地块提取模型的损失函数，模型的训练批次设置为N，模型迭代次数设置为R；
步骤S53、使用在大数据集ImageNet上预训练的EfficientNet和Swin-transformer模型来初始化网络模型权重，以加快模型收敛速度，提高模型训练效率，得到最优的模型权重文件；
步骤S54、基于步骤S53获得的模型权重文件，在测试数据集上开展模型精度评估，使用测试时间增强方法TTA来进一步提升模型在测试集上的预测效果。
在本发明一实施例中，步骤S7具体包括以下步骤：
步骤S71、分别选择全卷积神经网络FCN和注意力长短期记忆网络AttentionLSTM模型作为作物分类模型的主干，通过构建双分支的特征提取器，以捕获强有力的空间特征和物候特征；
步骤S72、在FCN分支中集成卷积注意模块CBAM，具体地，CBAM由空间注意力模块和通道注意力模块组成：
Oi＝ISA(ICA(xF))
ICA＝δ(MLP(Pmax(xF))+MLP(Pavg(xF))))×xF
ISA＝δ(θ(Concat(Smax(xF),Savg(xF))))×xF
式中，ICA是特征xF经过通道注意力模块后的结果，ISA是特征xF经过空间注意力模块后的结果，MLP是多层感知机，Concat表示串联操作，θ是7×7卷积，Pmax是Pavg分别是自适应最大池化和自适应平均池化操作，Smax和Savg是沿着通道维度的特征的最大值和平均值。
在本发明一实施例中，步骤S8具体实现方式为：基于步骤S6预处理后的影像数据，以地块边界为约束，取边界范围内的像元平均值作为该地块的特征值，进行地块尺度的物候特征计算，根据特征赋予地块不同的农作物类型，使用S-G滤波算法平滑物候序列，获得地块级作物时序特征数据集。
在本发明一实施例中，步骤S9具体包括以下步骤：
步骤S91、构建训练样本数据，将目标作物的地块样本标签赋值为1，2…n，n为需分类的作物类别数，非目标作物的地块标签赋值为0，时序数据集维度为(N，QT×M)，N为样本总数，QT为时序数据集的时间步长，M为在每个时间步长中需处理的变量数；
步骤S92、模型训练：采用初始学习率为Lr的Adam优化器作为作物分类模型ALSTM-FCN的优化器，使用交叉熵损失作为模型的损失函数，模型的训练批次设置为N，模型迭代次数设置为R，获取模型最优的权重文件；
步骤S93、模型预测：基于步骤S92获得的权重文件开展作物分类模型ALSTM-FCN的测试与精度评估。
在本发明一实施例中，步骤S10具体包括以下步骤：
步骤S101、利用已经训练和测试过的地块提取模型CLCFormer，完成研究耕地地块提取；
步骤S102、基于已提取的耕地地块，利用已经训练和测试过的作物分类模型ALSTM-FCN，完成研究区地块级作物分类。
相较于现有技术，本发明具有以下有益效果：本发明既克服了传统卷积神经网络在复杂地形区地块提取精度较低的问题，又克服了传统长短期记忆神经网络对作物空间特征提取不足的问题。本发明的方法通过集成卷积神经网络和Transformer网络进一步提高了复杂地形区地块提取的精度，通过集成长短期记忆网络和全卷积网络进一步改善了作物分类的精准度，为地方发展精准农业和高标准农田数据库建设提供技术参考。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的地块提取模型CLCFormer的结构图。
图3为本发明实施例的CLCFormer中的相关模块的结构图。
图4为本发明实施例的作物分类模型ALSTM-FCN的结构图。
图5为本发明实施例的部分提取结果的细节图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于地块尺度的农作物种植结构遥感智能提取方法，包括以下步骤：
步骤S1、获取研究区的高空间分辨率遥感影像，对影像进行预处理操作，包括正射校正、辐射校正、全色融合、影像裁剪、影像重采样等操作；
步骤S2、集成空间细节和远距离上下文语义的深度网络模型构建，即CLCFormer模型(如图3所示)。具体地，基于双分支网络框架，引入不同类型的特征提取网络，提取不同层级的图像语义特征。其中，特征提取网络分别由擅长局部特征提取的卷积神经网络和擅长远距离全局上下文语义建模的Transformer网络构成；
步骤S3、基于步骤S2，基于专家知识构建注意力机制模块，充分融合不同层级、有差异的语义特征，改善复杂地形下地块提取的精准度；具体地，通过引入注意力融合模块和特征优化模块，改善模型的特征表达能力，提升模型泛化能力；
步骤S4、农田地块数据集构建；
步骤S5、地块提取模型训练与测试；
步骤S6、获取研究区的长时序中等分辨率遥感影像数据集，对遥感影像进行预处理操作，包括辐射校正、大气校正、去云处理、融合镶嵌等；
步骤S7、引入擅长时序特征提取的注意力长短期记忆网络模型AttentionLSTM和擅长空间信息表达的全卷积神经网络FCN，构建一个多变量注意力的长短期记忆网络模型ALSTM-FCN，改善不同地区、不同季相的作物分类的精准度；
步骤S8、以地块为基本分析单元，构建地块级作物时序特征数据集；
步骤S9、作物分类模型ALSTM-FCN训练与测试；
步骤S10、集成已经训练和测试过的地块提取模型CLCFormer和作物分类模型ALSTM-FCN，完成研究区地块级作物分类。
在本实施例中，步骤S2具体包括以下步骤：
步骤S21、分别选择卷积神经网络EfficientNet-B3和Transformer网络SwinV2-transformer作为双分支架构的特征提取器，以捕捉不同层级M1、M2…Mn(n≤4)的、有差异的、鲁棒的图像语义特征。
在本实施例中，步骤S3具体包括以下步骤：
步骤S31、基于步骤S2获得的多层级特征，基于注意力机制理念，构建双向特征融合模块BiFFM，充分融合来自于不同分支的有差异的、鲁棒的图像语义，提高模型对类间相似性高的地块的识别；
步骤S32、基于步骤S31融合后的特征，基于注意力机制，构建带有膨胀卷积的注意力门模块ATG，以增强模型对不同大小、不同形状的地块的特征学习能力；
步骤S33、基于步骤S32改善后的特征，使用注意力残差块ATR进一步提升模型的特征表达能力，缓解由作物遮挡引起的地块边界模糊问题。
在本实施例中，步骤S31中，所述的双向特征融合模块BiFFM形成如下：
首先对于卷积神经网络CNN分支产生的特征，处理方式如下：
Pc＝δ(DSCscSEDFCCn)×Cn
式中，δ是Sigmoid函数，DSC是深度可分离卷积，scSE是集成空间和通道注意力的卷积模块，Cn是来自于CNN分支中第n个层级的特征，Pc是细化后的特征。
对于Transformer分支产生的特征，处理方式如下：
Sm＝DSC(AvgPoolTn+DSC(MaxPool(Tn))
SF＝δ(DSCReLUSm)×Tn
式中，Tn是来自于Transformer分支中第n个层级的特征，Sm是增强后的特征，ReLU是修正线性单元，AvgPool是平均池化层，MaxPool是最大池化层，SF是细化后的特征；
最后，通过使用串联操作和注意力残差块ATR来增强模型的特征表达能力，具体实现方式如下：
SF＝Drop(ATRConcatPc,SF)
式中，Drop是随机失活层用来防止模型过拟合。
在本实施例中，步骤S32中，所述的注意力门模块ATG定义如下：
SED＝δ(BNDSCBR(DSCEF+DSCDF))×EF
式中，BR是批归一化层BN和修正线性单元ReLU的组合,EF来自于BiFFM融合后的特征，DF来自于解码器产生的特征。
在本实施例中，步骤S33中，所述的注意力残差块ATR的定义如下：
OF＝cSeσBR(σBRSED+BN(σSED))
式中，σ是3×3卷积，SED是经过注意力门模块ATG后的特征，cSe是空间注意力机制模块，用于增强通道间显著的特征。
在本实施例中，步骤S4具体实现方式为：基于步骤S1预处理后的影像数据，选择常用的标签制作方法，如ArcGIS软件内置的面矢量构建方法，对遥感影像中的地块进行矢量化，并将地块的像素值赋值为A，非地块像素值赋值为B，最后采用矢量转栅格算法获得研究区内的地块样本标签数据集；
在本实施例中，步骤S5具体包括以下步骤：
步骤S51、基于S41构建的样本数据集，为方便实验，将影像和标签数据裁剪成N×N像素大小的数据集，并将数据集按C：D：E划分为训练集、验证集和测试集，采用翻转、旋转、颜色抖动等数据增强操作，用来扩大训练样本数据集，提高模型泛化能力；
步骤S52、采用初始学习率为Lr的AdamW优化器作为地块提取的优化器，使用加权交叉熵损失WBCE和加权交并比损失WIoU作为地块提取模型的损失函数，模型的训练批次设置为N，模型迭代次数设置为R；
步骤S53、使用在大数据集ImageNet上预训练的EfficientNet和Swin-transformer模型来初始化网络模型权重，以加快模型收敛速度，提高模型训练效率，得到最优的模型权重文件；
步骤S54、基于步骤S53获得的模型权重文件，在测试数据集上开展模型精度评估，使用测试时间增强方法TTA来进一步提升模型在测试数据集上的预测效果。
在本实施例中，步骤S7具体包括以下步骤：
步骤S71、分别选择全卷积神经网络FCN和注意力长短期记忆网络Attention LSTM模型的作为作物分类模型的主干，通过构建双分支的特征提取器，以捕获强有力的空间特征和物候特征；
步骤S72、在FCN分支中集成卷积注意模块CBAM,进一步增强模型对空间细节的捕捉能力，并减少背景区域的干扰。具体地，CBAM模块由空间注意力模块和通道注意力模块组成：
Oi＝ISA(ICA(xF))
ICA＝δ(MLP(Pmax(xF))+MLP(Pavg(xF))))×xF
ISA＝δ(θ(Concat(Smax(xF),Savg(xF))))×xF
式中，ICA是特征xF经过通道注意力模块后的结果，ISA是特征xF经过空间注意力模块后的结果，MLP是多层感知机，Concat表示串联操作，θ是7×7卷积，Pmax是Pavg分别是自适应最大池化和自适应平均池化操作，Smax和Savg是沿着通道维度的特征的最大值和平均值。
在本实施例中，步骤S8具体实现如下：
基于步骤S6预处理后的影像数据，以地块边界为约束，取边界范围内的像元平均值作为该地块的特征值，进行地块尺度的物候特征计算，根据特征赋予地块不同的农作物类型，使用S-G滤波算法平滑物候序列，获得地块级作物时序特征数据集。
在本实施例中，步骤S9具体包括以下步骤：
步骤S91、构建训练样本数据，将目标作物的地块样本标签赋值为1，2…n(n为需分类的作物类别数)，非目标作物的地块标签赋值为0，时序数据集维度为(N，QT×M)，N为样本总数，QT为时序数据集的时间步长，M为在每个时间步长中需处理的变量数；
步骤S92、模型训练：采用初始学习率为Lr的Adam优化器作为作物分类模型ALSTM-FCN的优化器，使用交叉熵损失作为模型的损失函数，模型的训练批次设置为N，模型迭代次数设置为R，获取模型最优的权重文件；
步骤S93、模型预测：基于步骤S92获得的权重文件开展作物分类模型ALSTM-FCN的测试与精度评估。
在本实施例中，步骤S10具体包括以下步骤：
步骤S101、利用已经训练和测试过的地块提取模型CLCFormer，完成研究耕地地块提取；
步骤S102、基于已提取的耕地地块，利用已经训练和测试过的作物分类模型ALSTM-FCN，完成研究区地块级作物分类。
在本实施例中，使用了某省某镇2019年9月19日的GF-2PMS影像作为耕地地块提取的数据源，经过预处理后的影像空间分辨率为1m，波段为红、绿、蓝三波段。本实施例使用了5000张像素大小为256×256的影像和对应的地块标签用于地块提取模型训练。基于提取的地块，采用某镇的2019年2月至7月的15景Sentinel-1A雷达时间序列遥感影像，经过预处理后获取VH和VV后向散射系数值，并构建了VV和VH的地块级烟草物候特征时序数据集。本实施例使用了29234个烟草样本和41993个非烟草样本用于模型训练。
如图2所示，为本实施例构建的地块提取模型CLCFormer的结构图。从图可以看出，CLCFormer由两个不同的网络分支组成，即EfficientNet-B3和SwinV2-Transformer，使用这两个主干网络来增强CNN捕捉远距离全局语义的能力并修复Transformer对细粒度空间细节的不充分提取。接下来，使用双向特征融合模块BiFFM来聚合两个分支不同层级的、有差异的语义特征，并利用带有空洞卷积的注意力门模块ATG来扩大模型感受野，以捕获更多的上下文语义信息。最后，使用注意力残差块ATR来进一步改善模型的特征表达能力，提升模型的性能。
如图4所示，为本实施例构建的作物提取模型ALSTM-FCN的结构图。模型基于注意力长短记忆神经网络(AttentionLSTM)提取作物生长的时间特征，并集成全卷积神经网络(FCN)，提取作物类型的空间特征，最后通过融合双分支的特征，得到最终的作物空间分布图。具体地，ALSTM-FCN输入为时序遥感影像数据，分别经过ALSTM和FCN分支，ALSTM分支首先进行维度翻转操作，再经过AttentionLSTM层和随机失活层，以捕获鲁棒的作物时序特征。FCN分支由3个编码器和1个全局池化层构成，每个编码器均包括一个时空卷积层、归一化层和激活函数，前两个编码器以CBAM注意力结尾，时序影像数据经FCN模块得到作物类型的空间特征。最后，通过串联层融合作物的时序和空间特征，以完成对目标作物的提取。
如图5所示，为本实施例在某省某镇的部分实验结果图。从图中可以看出，使用提议的地块提取模型提取的地块具有清晰的边界和良好的形状，提议的方法能够准确识别不同形状和尺寸的地块，其次，提议的方法忽视了无关区域的干扰，减少了漏提和误提；另外，在地块边界的约束下，使用提议的作物分类模型提取的烟草具有规则的边界和良好的形状。实验结果表明了提议方法用于地块级作物种植结构信息提取的有效性。
本发明的耕地地块提取模型充分集成了CNN和Transformer的优点，克服了传统方法特征提取能力不足、地块提取精度较低的问题，改善了复杂地形区地块提取的效果；另外，本发明的作物分类模型有效利用了FCN和LSTM在空间和时序特征提取上的优势，改善了作物分类的精准度。本发明的方法充分考虑了不同神经网络模型和不同特征对耕地地块提取结果和作物提取结果的影响。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (10)
1.一种基于地块尺度的农作物遥感智能提取方法，其特征在于，包括如下步骤：
步骤S1、获取研究区的高空间分辨率遥感影像，对影像进行预处理操作，包括正射校正、辐射校正、全色融合、影像裁剪、影像重采样；
步骤S2、构建集成空间细节和远距离上下文语义的深度网络模型，即地块提取模型CLCFormer；具体地，基于双分支网络框架，引入不同类型的特征提取网络，提取不同层级的图像语义特征；其中，特征提取网络分别由擅长局部特征提取的卷积神经网络和擅长远距离全局上下文语义建模的Transformer网络构成；
步骤S3、基于专家知识构建注意力机制模块，融合不同层级、有差异的语义特征；
步骤S4、农田地块数据集构建；
步骤S5、地块提取模型训练与测试；
步骤S6、获取研究区的长时序中等分辨率遥感影像数据集，对遥感影像进行预处理操作，包括辐射校正、大气校正、去云处理、融合镶嵌；
步骤S7、引入擅长时序特征提取的注意力长短期记忆网络模型Attention LSTM和擅长空间信息表达的全卷积神经网络FCN，构建一个多变量注意力的长短期记忆网络模型即作物分类模型ALSTM-FCN；
步骤S8、以地块为基本分析单元，构建地块级作物时序特征数据集；
步骤S9、作物分类模型ALSTM-FCN训练与测试；
步骤S10、集成已经训练和测试过的地块提取模型CLCFormer和作物分类模型ALSTM-FCN，完成研究区地块级作物分类。
2.根据权利要求1所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S2中，分别选择卷积神经网络EfficientNet-B3和Transformer网络SwinV2-transformer作为双分支架构的特征提取器，以捕捉不同层级M1、M2…Mn(n≤4)的、有差异的、鲁棒的图像语义特征。
3.根据权利要求1所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S3具体包括以下步骤：
步骤S31、根据步骤S2获得的多层级特征，基于注意力机制理念，构建双向特征融合模块BiFFM，融合来自于不同分支的有差异的、鲁棒的图像语义；
步骤S32、根据步骤S31融合后的特征，基于注意力机制，构建带有膨胀卷积的注意力门模块ATG改善特征；
步骤S33、基于步骤S32改善后的特征，使用注意力残差块ATR提升模型的特征表达能力。
4.根据权利要求3所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S31中，所述双向特征融合模块BiFFM形成如下：
首先对于卷积神经网络CNN分支产生的特征，处理方式如下：
Pc＝δ(DSC(scSE(DFC(Cn))))×Cn
式中，δ是Sigmoid函数，DSC是深度可分离卷积，scSE是集成空间和通道注意力的卷积模块，Cn是来自于CNN分支中第n个层级的特征，Pc是细化后的特征；
对于Transformer分支产生的特征，处理方式如下：
Sm＝DSC(AvgPool(Tn)+DSC(MaxPool(Tn))
SF＝δ(DSC(ReLU(Sm)))×Tn
式中，Tn是来自于Transformer分支中第n个层级的特征，Sm是增强后的特征，ReLU是修正线性单元，AvgPool是平均池化层，MaxPool是最大池化层，SF是细化后的特征；
最后，通过使用串联操作和注意力残差块ATR来增强模型的特征表达能力，具体实现方式如下：
SF＝Drop(ATR(Concat(Pc,SF)))
式中，Drop是随机失活层用来防止模型过拟合；
步骤S32中，所述注意力门模块ATG定义如下：
SED＝δ(BN(DSC(BR((DSC(EF)+DSC(DF))))))×EF
式中，BR是批归一化层BN和修正线性单元ReLU的组合，EF来自于BiFFM融合后的特征，DF来自于解码器产生的特征；
步骤S33中，所述注意力残差块ATR的定义如下：
OF＝cSe(σ(BR(σ(BR(SED))))+BN(σ(SED)))
式中，σ是3×3卷积，SED是经过注意力门模块ATG后的特征，cSe是空间注意力机制模块。
5.根据权利要求1所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S4具体实现方式为：基于步骤S1预处理后的影像数据，选择标签制作方法，对遥感影像中的地块进行矢量化，并将地块的像素值赋值为A，非地块像素值赋值为B，最后采用矢量转栅格算法获得研究区内的地块样本标签数据集。
6.根据权利要求5所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S5具体包括以下步骤：
步骤S51、基于构建的地块样本标签数据集，将影像和标签数据裁剪成N×N像素大小的数据集，并将数据集按C：D：E划分为训练集、验证集和测试集，采用翻转、旋转、颜色抖动的数据增强操作，扩大数据集；
步骤S52、采用初始学习率为Lr的AdamW优化器作为地块提取模型的优化器，使用加权交叉熵损失WBCE和加权交并比损失WIoU作为地块提取模型的损失函数，模型的训练批次设置为N，模型迭代次数设置为R；
步骤S53、使用在大数据集ImageNet上预训练的EfficientNet和Swin-transformer模型来初始化网络模型权重，以加快模型收敛速度，提高模型训练效率，得到最优的模型权重文件；
步骤S54、基于步骤S53获得的模型权重文件，在测试数据集上开展模型精度评估，使用测试时间增强方法TTA来进一步提升模型在测试集上的预测效果。
7.根据权利要求1所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S7具体包括以下步骤：
步骤S71、分别选择全卷积神经网络FCN和注意力长短期记忆网络Attention LSTM模型作为作物分类模型的主干，通过构建双分支的特征提取器，以捕获强有力的空间特征和物候特征；
步骤S72、在FCN分支中集成卷积注意模块CBAM，具体地，CBAM由空间注意力模块和通道注意力模块组成：
Oi＝ISA(ICA(xF))
ICA＝δ(MLP(Pmax(xF))+MLP(Pavg(xF))))×xF
ISA＝δ(θ(Concat(Smax(xF),Savg(xF))))×xF
式中，ICA是特征xF经过通道注意力模块后的结果，ISA是特征xF经过空间注意力模块后的结果，MLP是多层感知机，Concat表示串联操作，θ是7×7卷积，Pmax是Pavg分别是自适应最大池化和自适应平均池化操作，Smax和Savg是沿着通道维度的特征的最大值和平均值。
8.根据权利要求1所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S8具体实现方式为：基于步骤S6预处理后的影像数据，以地块边界为约束，取边界范围内的像元平均值作为该地块的特征值，进行地块尺度的物候特征计算，根据特征赋予地块不同的农作物类型，使用S-G滤波算法平滑物候序列，获得地块级作物时序特征数据集。
9.根据权利要求1所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S9具体包括以下步骤：
步骤S91、构建训练样本数据，将目标作物的地块样本标签赋值为1，2…n，n为需分类的作物类别数，非目标作物的地块标签赋值为0，时序数据集维度为(N，QT×M)，N为样本总数，QT为时序数据集的时间步长，M为在每个时间步长中需处理的变量数；
步骤S92、模型训练：采用初始学习率为Lr的Adam优化器作为作物分类模型ALSTM-FCN的优化器，使用交叉熵损失作为模型的损失函数，模型的训练批次设置为N，模型迭代次数设置为R，获取模型最优的权重文件；
步骤S93、模型预测：基于步骤S92获得的权重文件开展作物分类模型ALSTM-FCN的测试与精度评估。
10.根据权利要求1所述的一种基于地块尺度的农作物遥感智能提取方法，其特征在于，步骤S10具体包括以下步骤：
步骤S101、利用已经训练和测试过的地块提取模型CLCFormer，完成研究耕地地块提取；
步骤S102、基于已提取的耕地地块，利用已经训练和测试过的作物分类模型ALSTM-FCN，完成研究区地块级作物分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310849650.2A CN117132884A (zh) | 2023-07-12 | 2023-07-12 | 一种基于地块尺度的农作物遥感智能提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310849650.2A CN117132884A (zh) | 2023-07-12 | 2023-07-12 | 一种基于地块尺度的农作物遥感智能提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117132884A true CN117132884A (zh) | 2023-11-28 |
Family
ID=88851706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310849650.2A Pending CN117132884A (zh) | 2023-07-12 | 2023-07-12 | 一种基于地块尺度的农作物遥感智能提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132884A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094430A (zh) * | 2023-07-19 | 2023-11-21 | 青海师范大学 | 一种农作物分布预测方法、系统、设备及介质 |
-
2023
- 2023-07-12 CN CN202310849650.2A patent/CN117132884A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094430A (zh) * | 2023-07-19 | 2023-11-21 | 青海师范大学 | 一种农作物分布预测方法、系统、设备及介质 |
| CN117094430B (zh) * | 2023-07-19 | 2024-04-26 | 青海师范大学 | 一种农作物分布预测方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN111191736B (zh) | 基于深度特征交叉融合的高光谱图像分类方法 | |
| CN111461258B (zh) | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 | |
| CN111598174B (zh) | 基于半监督对抗学习的模型训练方法及图像变化分析方法 | |
| CN111914611B (zh) | 城市绿地高分遥感监测方法与系统 | |
| CN114187450B (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| Zhang et al. | Deep learning-based automatic recognition network of agricultural machinery images | |
| CN113780149A (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
| CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
| CN115049841A (zh) | 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法 | |
| CN113269182A (zh) | 一种基于变体transformer对小区域敏感的目标果实检测方法及系统 | |
| CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN117132884A (zh) | 一种基于地块尺度的农作物遥感智能提取方法 | |
| CN111178304A (zh) | 基于全卷积神经网络的高分辨率遥感影像像素级解译方法 | |
| CN114841961A (zh) | 基于图像增强和改进YOLOv5的小麦赤霉病检测方法 | |
| CN113610035A (zh) | 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法 | |
| CN114494910B (zh) | 一种基于遥感图像的设施农用地多类别识别与分类方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN112464172A (zh) | 生长参数主被动遥感反演方法及装置 | |
| CN115496934A (zh) | 一种基于孪生神经网络的高光谱图像分类方法 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN118314353A (zh) | 一种基于双分支多尺度特征融合的遥感图像分割方法 | |
| Kumawat et al. | Time-Variant Satellite Vegetation Classification Enabled by Hybrid Metaheuristic-Based Adaptive Time-Weighted Dynamic Time Warping | |
| CN113343861A (zh) | 一种基于神经网络模型的遥感图像水体区域提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |