CN116912578A - 一种农作物分类方法、系统及电子设备 - Google Patents

一种农作物分类方法、系统及电子设备 Download PDF

Info

Publication number
CN116912578A
CN116912578A CN202310872294.6A CN202310872294A CN116912578A CN 116912578 A CN116912578 A CN 116912578A CN 202310872294 A CN202310872294 A CN 202310872294A CN 116912578 A CN116912578 A CN 116912578A
Authority
CN
China
Prior art keywords
feature
crop
scale
detected
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310872294.6A
Other languages
English (en)
Inventor
王宏
黄熙枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202310872294.6A priority Critical patent/CN116912578A/zh
Publication of CN116912578A publication Critical patent/CN116912578A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种农作物分类方法、系统及电子设备，涉及农作物分类技术领域。方法包括基于待测区域的遥感图像提取待测区域不同尺度的特征图；将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图；将融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类；根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。本发明通过多尺度特征融合策略模型能够提高农作物分类时的特征提取的合理度，进而提高农作物分类的精度。

Description

一种农作物分类方法、系统及电子设备
技术领域
本发明涉及农作物分类技术领域，特别是涉及一种农作物分类方法、系统及电子设备。
背景技术
作为中国重要基础产业，农业在保障国民生存、支持经济发展、保护环境和维护文化等方面具有重要意义；但随着城镇化发展，耕地和生产用地受到挤压和限制，降低了农业生产能力，同时带来了诸多挑战。近些年来，随着遥感技术的快速发展，卫星遥感数据的高空间分辨率、高影像重返周期的特性对于大范围识别提供了强有力的数据支撑，相较于传统的农作物调查表现出极大的便捷与优势。
随着影像空间分辨率的增加，同类作物中的种植结构细节信息被放大，地块内部差异性增大，不同地块之间的差异性减弱，使得农作物特征提取复杂化。使用传统的分类方法对于上述问题较难有效解决、在分类精度提升突破上出现瓶颈。针对这一现状，不少学者将深度学习应用在遥感影像上进行深入研究应用，遥感影像作物分类也从传统的光谱特征提取分析升级为自动化的深度学习特征提取挖掘，深度学习通过逐层层次化的提取遥感影像中的低级局部和高级全局语义特征，在遥感影像地物分类识别中取得了优于传统分类方法的精度。
卷积神经网络(Convolutional Neural Network，CNN)是深度学习技术中非常具有代表性的神经网络之一，能够从原始像素数据中自动学习到抽象的特征表示，并且在处理大规模图像数据时具有高效性和准确性，相比于传统分类方法提高了计算效率。全卷积网络(Fully Convolutional Network，FCN)采用跳跃连接的方式突破性的构建了一个端到端的像素级语义分割模型。通过将FCN与编解码器进行结合，保存了各个特征点的空间位置，利用特征提取策略对影像的多尺度语义特征进行多维度信息提取，挖掘获取影像在不同语义表达情景下的空间结构特征，由此提出的DeconvNet、UNet和SegNet等模型有助于目标边界轮廓的恢复，还原了图像的空间维度和像素的位置信息。在编解码器的基础上，耦合空洞卷积金字塔池化、膨胀空间金字塔池化等方法可对输入的特征图提取不同感受野大小的特征，采用级联和并联的多尺度特征融合方式将浅层和深层语义进行融合，由此提出的PSPNet、DeepLab系列和DenseASPP等模型有效降低了模型计算成本，丰富拓展了语义分割在多尺度特征融合与挖掘上的应用。近年来，学者开始将自然语言处理中的Transformer模型迁移到语义分割中来，利用注意力机制能更好的捕捉图像中需要的特征信息，减少对外部信息的依赖。使用深度学习作为核心技术手段开展遥感影像分类研究具可现对目标语义信息的像素级别语义分割，并在有限样本下完成对大区域影像的精准、快速、高效、低成本分类识别，并表现出较大的性能优越性。
利用光谱特征构建长时间序列数据集并作为输入数据在遥感影像分类中广泛应用。在作物的不同物候生长期内，其光谱和纹理特征具有明显的时相特征，通过作物生长季内的多种植被指数以及遥感数据集提取物候信息，筛选多时相数据集的光谱和时相特征，结合决策树规则、RF模型等机器学习分类器进行农作物分类，可以得到高精度的农作物识别结果。但将大量未经优选的特征直接输入到分类模型中容易对分类结果起到“负优化”，引发维度灾难，并未合理挖掘利用遥感影像特征信息。在利用深度学习进行遥感影像语义分割任务中，分割的连贯性具有与分割的精细程度同等重要的地位。对地物边界轮廓的连贯语义分割要求设计的分类模型具有较好的鲁棒性，能适应与复杂地形下的异质作物结构特征。遥感影像中不同尺度上像元间的邻近关系存在较大差异，大小地物块在不同尺度下的特征表达解释能力不尽相同，浅层高分辨率的特征大多响应图像中的高频边角细节，而深层中的低分辨率特征往往蕴含着与全局抽象相关的语义信息。通过对影像进行多尺度范围的特征提取映射，构建高斯特征金字塔，可实现对地物的多尺度分类。对多尺度语义特征信息进行上下文语义聚集融合可使在单一尺度下的特征兼顾不同语义特征量级的信息，实现对不同特征图的综合互补应用，提高作物分类识别精度。当前对多尺度特征融合从原先的简单直接堆叠发展成采用并行网络结构，其通过对不同类型的光谱、纹理、几何形状特征设计并行网络，分类型进行单独特征融合后合并，这种融合策略会增加网络结构复杂度，降低模型计算效率。在此基础上，采用层级语义特征自级联的融合策略可将浅层局部和深层全局语义特征信息进行融合，以像元为基础分层分顺序融合不同多级语义信息，在保留高阶抽象语义特征信息的前提下兼顾了局部细节特征，使用单一网络对特征融合有效增加了特征融合效率，对于在浅层特征中具有重要信息的破碎小地块的恢复识别具有重要意义。多尺度特征融合分类方法在一定程度上保证上语义分割的完整性，但是当前多尺度特征融合的组合方案有限，常对特征进行机械式的“一融到底”，忽略特征之间的空间信息，对于地块边缘信息恢复与小地块的捕捉存在较大的短板。
目前，针对遥感影像大规模数据有效特征信息利用有限，复杂农田场景下不同尺度特征的上下文语义信息间的依赖关系利用不充足，分类结果出现大量的“错分”、“漏分”问题。
发明内容
本发明的目的是提供一种农作物分类方法、系统及电子设备，能够提高农作物分类的精度。
为实现上述目的，本发明提供了如下方案：
一种农作物分类方法，包括：
获取待测区域的遥感图像；
基于待测区域的遥感图像提取待测区域不同尺度的特征图；
将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图；
将所述融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类；所述多尺度特征融合策略模型和所述农作物分类模型是利用不同区域标注农作物种类后的遥感图像对初始多尺度特征融合策略模型和初始农作物分类模型进行联合训练后得到的；
根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。
一种农作物分类系统，包括：
遥感图像获取模块，用于获取待测区域的遥感图像；
特征图确定模块，用于基于待测区域的遥感图像提取待测区域不同尺度的特征图；
融合特征图确定模块，用于将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图；
农作物分类模块，用于将所述融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类；所述多尺度特征融合策略模型和所述农作物分类模型是利用不同区域标注农作物种类后的遥感图像对初始多尺度特征融合策略模型和初始农作物分类模型进行联合训练后得到的；
农作物分布图确定模块，用于根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种农作物分类方法。
可选的，所述存储器为可读存储介质。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种农作物分类方法、系统及电子设备，获取待测区域的遥感图像；基于待测区域的遥感图像提取待测区域不同尺度的特征图；将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图；将融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类；多尺度特征融合策略模型和农作物分类模型是利用不同区域标注农作物种类后的遥感图像对初始多尺度特征融合策略模型和初始农作物分类模型进行联合训练后得到的；根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。本发明通过多尺度特征融合策略模型能够提高农作物分类时的特征提取的合理度，进而提高农作物分类的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中农作物分类方法流程图；
图2为本发明实施例1中基于ReliefF-RFE的最优特征选择算法示意图；
图3为本发明实施例1中农作物分类多尺度特征融合框架示意图；
图4为本发明实施例1中自顶而下、自底而上特征融合策略示意图；
图5为本发明实施例1中上下文语义特征聚集模块示意图；
图6为本发明实施例1中残差校正模块结构图；
图7为本发明实施例1中空间通道注意力结构图；
图8为本发明实施例1中通道注意力模块示意图；
图9为本发明实施例1中空间注意力模块示意图；
图10为本发明实施例1中编码-解码器策略的特征层级融合精修示意图；
图11为本发明实施例1中前90个特征权重得分图；
图12为本发明实施例1中不同特征数对总体精度的影响示意图；
图13为本发明实施例1中MsFF模型下不同特征组合的冬小麦分类结果示意图；
图14为本发明实施例1中MsFF模型下不同特征组合的玉米分类结果示意图；
图15为本发明实施例1中不同模型的冬小麦分类结果示意图；
图16为本发明实施例1中不同模型的玉米分类结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种农作物分类方法、系统及电子设备，能够提高农作物分类的精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本实施例提供了一种农作物分类方法，包括：
步骤101：获取待测区域的遥感图像。
步骤102：基于待测区域的遥感图像提取待测区域不同尺度的特征图。
步骤103：将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图。
步骤104：将融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类；多尺度特征融合策略模型和农作物分类模型是利用不同区域标注农作物种类后的遥感图像对初始多尺度特征融合策略模型和初始农作物分类模型进行联合训练后得到的。
步骤105：根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。
其中，初始多尺度特征融合策略模型包括依次连接的自顶而下-自底而上特征融合策略、基于空间通道注意力机制构建的上下文语义特征聚集模块和编码-解码器策略；自顶而下-自底而上特征融合策略用于对不同尺度的特征图分别加权融合其他尺度的特征图的语义特征信息，得到不同尺度的语义特征图；基于空间通道注意力机制构建的上下文语义特征聚集模块包括多个并联的上下文语义特征聚集分支；上下文语义特征聚集分支与尺度一一对应；确定任一上下文语义特征聚集分支为当前上下文语义特征聚集分支；确定当前上下文语义特征聚集分支对应尺度为当前尺度；当前上下文语义特征聚集分支用于将经空间通道注意力机制处理后的当前尺度的语义特征图与经空间通道注意力机制处理后的上一尺度的语义特征图进行融合并进行残差修正处理，得到当前尺度的上文语义特征图，将当前尺度的上文语义特征图与经空间通道注意力机制处理后的下一尺度的语义特征图进行融合并进行残差修正处理，得到当前尺度的上下文语义特征图；编码-解码器策略用于根据不同尺度的特征图和不同尺度的上下文语义特征图，确定融合特征图。其中，残差修正处理是基于残差修正处理模块完成的；残差修正处理模块包括依次连接的第一卷积块、第一激活函数、第二卷积块、第二激活函数、第三卷积块和第三激活函数；第一卷积块的输入为当前尺度的语义特征图与经空间通道注意力机制处理后的上一尺度的语义特征图进行融合后的图像或当前尺度的上文语义特征图与经空间通道注意力机制处理后的下一尺度的语义特征图进行融合后的图像；第三激活函数的输入还包括当前尺度的语义特征图与经空间通道注意力机制处理后的上一尺度的语义特征图进行融合后的图像或当前尺度的上文语义特征图与经空间通道注意力机制处理后的下一尺度的语义特征图进行融合后的图像。第一卷积块和第三卷积块的尺寸为1×1；第二卷积块的尺寸为3×3。
在步骤105之前，还包括：
步骤106：搭建初始多尺度特征融合策略模型和初始农作物分类模型。
步骤107：获取不同区域的历史遥感图像。
步骤108：对多张历史遥感图像中每个地块的农作物种类进行标注，得到不同区域的历史遥感标注图像。
步骤109：以历史遥感图像为初始多尺度特征融合策略模型的输入，以初始多尺度特征融合策略模型的输出为初始农作物分类模型输入得到历史遥感农作物分类预测图像。
步骤1010：根据历史遥感农作物分类预测图像和历史遥感标注图像调整初始多尺度特征融合策略模型和初始农作物分类模型的参数，并返回步骤109直至迭代次数达到预设迭代次数，得到多尺度特征融合策略模型和农作物分类模型。
下面，以中国山西省西南部的运城-临汾盆地为例，对本发明进行具体说明；
1研究区概况与数据源
1.1研究区概况
运城-临汾盆地内广泛种植冬小麦、玉米等粮食作物，属于山西省的主要产粮区之一，玉米常与冬小麦套种种植，以麦后套种或直播玉米较为常见，此外种植有苹果等果树类经济作物。
1.2研究区典型作物物候情况
冬小麦和玉米在运城-临汾盆地内的粮食生产中占有非常重要的地位，其播种面积占粮食类作物播种面积的83％以上，是研究区内的典型作物。冬小麦的播种生长情况受研究区年际内气温降水影响较大，结合多年气象和农情资料，可以将研究区冬小麦的生长情况分为：(1)播种期、(2)越冬期、(3)返青期、(4)抽穗期、(5)灌浆成熟期这五个关键阶段。研究区内冬小麦一般在9月下旬至10月上旬播种，于次年6月上中旬收获。冬小麦物候情况如表1所示。
表1研究区冬小麦物候情况表
研究区玉米的生长状况可以分为：(1)播种期、(2)拔节期、(3)抽穗期、(4)乳熟期、(5)收获期这五个关键阶段。玉米一般在五月中下旬播种，于9月中下旬收获。玉米的物候情况如表2所示。
表2研究区玉米物候情况表
根据表1和表2可以发现冬小麦和玉米在物候期上存在一定的重叠，部分玉米种植区在冬小麦成熟收割后直接播种，因此在后续分类识别中若将冬小麦和玉米同时分类制图会出现较大的分类误差。因此，本实施例在后续的分类识别任务中，均使用同一分类模型对冬小麦和玉米进行单独分类制图研究。
1.3Sentinel-2遥感影像
Sentinel-2是欧洲空间局(ESA)推出的一组地球观测卫星，其由两颗卫星组成，双星组网互补可实现5天的重返周期，具有空间分辨率高、重返周期短、波段范围广、数据获取容易等显著的优势特点。此外，Sentinel-2具备三个与植被生长状况敏感的红边波段，通过红边波段的光谱反射率可动态获取农作物的生长情况并对其类型进行划分。
结合研究区的地理位置及作物物候情况，综合考虑卫星影像成像质量及覆盖情况，选择覆盖作物2020-2021年内关键作物物候期的8期长时间序列序列Sentinel-2遥感影像(覆盖研究区的单期影像由5景Sentinel-2遥感影像镶嵌裁剪形成)。
使用欧洲空间局开发的SNAP(SentinelApplication Platform)软件对L1C级影像数据进行大气校正生成L2A级数据。考虑到Sentinel-2各个波段的适用性，剔除海岸深蓝波段(Band 1)、水汽波段(Band 9)、短波红外波段-卷云(Band 10)这三个波段，并将其余10个波段统一重采样融合裁剪生成10m的多光谱影像数据集。由此构建了一套经过预处理的长时间序列农作物遥感分类影像数据集。
1.4地面调查数据
为保证训练样本的准确性，于2020-2021年先后前往研究区开展野外实地样本调查采集，获取了各类农作物、地表类型的地面调查样本数据集。使用手持差分GPS设备记录各个地物块的经纬度坐标信息以及作物种植类别。并通过相机拍照获取每处样本点的作物种植结构信息，方便掌握各农作物的长势特征以及核对野外作物采集的准确性。考虑到野外人力调查的效率与时间成本，为进一步丰富农作物调查样本数据，利用无人机获取部分低空影像数据，并在此基础上结合Google Earth影像，使用目视解译的方式手动标记若干作物样本标签数据集。
2研究方法
2.1样本数据集构建
针对不同的分类任务需构建特定的样本数据集，样本数据集的准确性直接影响分类识别效果。遥感影像具有丰富的坐标信息，因此本实施例使用ArcGIS10.2进行样本集数据标注，采用Sentinel-2影像与野外调查数据经纬度匹配的策略，确保作物标记的准确与样本数据集构建的合理性。
为增加数据样本的多样性，提高后续模型的泛化能力，防止模型过拟合，对数据集扩增增强，共得到1560个影像-标签数据对。按照70％：20％：10％的比例对样本数据集随机划分成训练、验证和测试数据集，各数据集之间相互独立存在。
2.2Sentinel-2影像多维特征提取
使用遥感影像的光谱特征信息进行作物分类识别极易造成“同物异谱”、“异物同谱”的问题。Sentinel-2遥感影像除具备多光谱信息、高空间分辨率的优势之外，还具备丰富的纹理、几何特征信息，可供提取的各类特征信息众多且复杂，因此通过挖掘遥感影像中的多维度特征信息可有效提高农作物分类识别精度。
根据不同农作物类型在绿、红波段上特有的光谱吸收峰谷和特征曲线能有效对不同作物类型进行划分，在此基础上发展形成的各类植被指数较好的强化了地物光谱信息与细节特征。本实施例设计构建提取了NDVI、EVI、DVI、RVI、TVI、GVI、GDVI、SAVI、GNDVI、MSR、RDVI、GI这十二类植被指数(Qiu et al.，2017；王晓晓，2022)，充分挖掘利用遥感影像的光谱特征信息，为后续准确提取作物类别提供潜在光谱辅助信息支撑。植被指数计算公式如表3所示。
表3利用Sentinel-2提取的植被指数表
表中，NDVI为归一化植被指数，EVI为增强型植被指数，DVI为差值植被指数，RVI为比值植被指数，TVI为三角植被指数，GVI为绿度植被指数，GDVI为绿色植被指数，SAVI为土壤调节植被指数，GNDVI为绿色归一化差异植被指数，MSR为改进红边比值植被指数，RDVI为重归一化植被指数，GI为绿度指数。B2表示Sentinel-2中的蓝光波段，B3表示Sentinel-2中的绿光波段，B4表示Sentinel-2中的红光波段，，B8表示Sentinel-2中的近红外波段。
不同作物的空间种植结构信息存在较大差异，在遥感影像上表现为丰度的纹理信息，利用灰度共生矩阵(GLCM)分析图像中的灰度级、颜色和方向等信息，可有效反映作物块空间分布结构与排列组合规律。通过对灰度共生矩阵的统计分析，本实施例选取角二阶矩、对比度、相关性、熵、同质性等来提取农作物的纹理特征信息。纹理特征计算公式如表4所示。
表4使用Sentinel-2提取的纹理特征表
表中，P(i，j)归一化后的灰度共生矩阵；i代表行数，j代表列数；∑表示求和；u、v表示均值；log表示对数函数。
不同地物类型及其地块交界边缘通常具有较明显的“分界线”，因此当地物类别的其他特征区分性较弱时，利用地物块的形状轮廓特征提取形状特征仍能够有效地识别出对应的地物类型。本实施例选择基于轮廓的一阶Canny算子来提取影像中农作物的边缘形状特征。
2.3基于ReliefF-RFE的最优特征子集构建
特征优选是指从原始数据中提取出具有代表性、可区分性和稳定性的特征，将高维数据转换为低维数据，剔除冗余数据与噪声，增强数据的代表性与可解释性。尤其是针对遥感数据集而言，海量数据对于分类任务而言易起到“负优化”，在不改变原始特征的含义及数值的基础上，建立最适宜的优选特征组合成为后续分类识别的重要一环。
ReliefF算法是一种多变量过滤式特征选择算法，通过在样本空间中寻找相邻样本之间最近的相同类别样本和最近的不同类别样本，计算特征权重得分来衡量评估每个特征对于分类的贡献，特征权重计算公式如下：
式中，Wj表示第j个特征的权重；表示第i个样本值中特征j与特征j′的差值；/>表示第i个样本值中特征j与特征j″的差值；k表示迭代次数。
RFE算法是一种基于贪心策略的包裹式特征优选算法，通过迭代的方式，逐步地去掉模型中最不重要的特征，并在剩余特征上进行模型训练，直到达到指定的特征数目或者指定的性能阈值为止，构建出最具有预测、可解释性的特征子集(Chen et al.，2007)。其计算过程包括基础模型确定、特征重要性计算、特征剔除剪枝、迭代循环、输出最佳特征子集。
综合ReliefF算法的计算高效性与RFE算法的高抗噪能力，本实施例构建一种耦合过滤式ReliefF和包裹式RFE算法的特征优选算法，筛选构建了具有强解释性的最优特征子集，用于后续分类识别模型输入。基于ReliefF-RFE的最优特征选择算法如图2所示。
2.4多尺度语义特征融合
本实施例提出一种适应于农作物分类的多尺度特征融合策略模型(Multi-scaleFeature Fusion Model，MsFF)，该模型通过分层逐级提取得到一系列具有不同语义尺度特征信息的特征图，浅层尺度特征图对局部细节信息的表达能力较好，深层尺度特征图则具备更抽象的语义特征概括性能。使用多尺度特征图对不同大小地物块以及破碎地块进行信息提取，充分挖掘地块语义特征信息。整个模型分由特征提取与特征融合两部分组成，利用特征金字塔和空洞卷积实现对特征的提取，特征融合由自顶而下和自底而上特征融合、上下文语义特征聚集、空间通道注意力机制、编码-解码器策略的特征层级融合精修这四部分组成。MsFF模型的结构如图3所示。
利用特征金字塔的尺度不变形，其可在不同尺度下正确识别目标并执行分割任务，较好兼顾的提取了遥感影像不同尺度的语义特征信息。为充分挖掘不同感受野下的特征，提高多尺度特征提取表达能力，使用空洞卷积获取不同感受野下的语义特征图，将其与特征金字塔的特征进行融合，一同构建原始多尺度特征图，减少特征图中冗余的信息。
2.4.1自顶而下、自底而上特征融合
“自顶而下、自底而上”特征融合策略通过复杂加权双向融合，充分利用不同语义特征层之间的语义特征信息(如图4)。自顶而下通过卷积上采样操作既利用了顶层较强的语义特征，又保留了底层高分辨率的细节信息，实现了对特征信息的恢复还原。将经自顶而下的特征融合过程生成的低层交叉中间特征图与其进行融合，是网络能进一步学习底层特征中蕴含的细节信息，提高对小地物块的识别精度。此外，为进一步提高特征融合效率，使用跳跃连接对主干网络中提取的各个特征图与自底向上融合后的特征图在相同分辨率大小下进行连接，在不改变时间复杂度的前提下融合利用更多特征信息，并对各级特征融合时使用加权策略，对不同特征进行区分并赋予不同的权重属性，增强算法性能，融合后单一特征图兼顾多尺度语义信息。整个融合策略的计算公式如下：
式中，表示经过自顶而下的特征融合策略得到的中间融合特征；BI表示双线性内插；/>表示特征融合堆叠；Conv_1表示1×1卷积操作；/>表示输出融合特征图；Fi表示原始提取的特征层。
2.4.2上下文语义特征聚集
为实现农作物分类识别的连续完整连贯性，本实施例构建了一个基于特征金字塔的上下文语义聚集模块，该模块对相邻近的三个上下文全局、局部尺度特征并行分批级联聚集，建立不同尺度特征下的空间位置联系(如图5)，减少单一尺度对特征信息提取的片面局限性，实现多尺度语义特征层次性依赖。首先将两个高层特征图进行特征上下文特征聚集融合，然后再将其与低层特征进行聚集，融合得到的特征对上下文信息进行了更加全面的抽象提炼与细节信息补充，具备跨尺度的语义特征信息表达能力。
为避免多尺度特征在融合时出现“负融合”，丢失大量有效的特征信息，对每一个融合操作后均叠加一次残差运算(如图6)，使得模型能够更好的捕捉输入输出之间的映射关系，大幅度降低了残差累积效应，更容易学习到残差特征，保证信息传递的完整性，提高模型的表达泛化能力。本模块计算公式如下所示：
式中，表示经过上下文语义聚集得到新融合多尺度特征图；Res表示残差校正。DownS表示下采样操作。
残差校正模块由两个1×1卷积块和一个3×3卷积块组成，Conv表示卷积操作；ReLU表示激活函数，提高模型非线性拟合能力。第一个1×1卷积块用于特征降维，第二个1×1卷积块用于特征升维。将两个上下文语义特征进行聚集后使用一个残差校正块，可实现一个从全局到局部的层级精修，避免因网络加深导致的模型不易拟合，利用不同特征层间信息传递的梯度反转。
2.4.3空间通道注意力机制
不同尺度的特征具有丰富的空间和通道维度信息，每类维度信息具有不同的贡献能力，其对于地物类型具有特定的相应状况能力。因此本实施例在上下文特征聚集模块中增加空间通道注意力机制来引导网络模型学习特定的空间通道信息，剔除抑制无关特征信息的表达，提高特征的表征能力和区分度。空间通道注意力模块的结构如图7所示。通道注意力模块和空间注意力模块如图8和图9。GAP表示空间通道注意力结构图；GMP表示通道注意力模块。
将构建的空间通道注意力模块应用于上下文语义聚集模块中的各上下文特征块操作，通过加权的方式依次从通道和空间两个维度进行注意力融合，获得一维通道注意力图和二维空间注意力图。这一过程的计算公式如下：
通道注意力模块包含挤压(Squeeze)和激励(Excitation)两个重要步骤。挤压通过全局平均池化将H×W×C维特征转换为1×1×C维特征；激励操作通过学习各个通道的权重依赖程度，调整计算每个通道的重要性。其计算公式如下：
FCA＝F·Fex (7)
式中，Fsq表示挤压操作，获得1×1×C特征向量；Wex表示各通道权重；σ表示Sigmoid激活函数；Fex表示激励操作，对各个通道赋予权重；表示卷积操作；·表示特征逐像素点乘。
空间注意力模块对输入特征分别计算全局平均池化和全局最大池化，使用Sigmoid激活函数计算各个特征层各像元的特征权重，将特征权重与输入特征进行相乘即得到了空间注意力特征图，其计算公式如下：
式中，GAP和GMP分别表示全局平均池化和全局最大池化；conv表示通道为1的卷积操作；σ表示Sigmoid激活函数；表示特征卷积相乘。
将空间通道注意力模块应用于上下文语义聚集模块中的各上下文块，通过加权的方式依次从通道和空间两个维度进行注意力融合，获得一维通道注意力图和二维空间注意力图。
2.4.4编码-解码器策略的特征层级融合精修
本实施例中的深层特征图分辨率只有原图的1/8，语义特征信息高度抽象概括，在局部细节信息表达上过于粗糙，不利于识别恢复作物的细节特征。本实施例基于端到端的思想构建编码-解码器策略的特征层级融合精修模块，对特征图进行逐层细节特征精细化重建还原(如图10)。通过将低级别高分辨率细节特征图与具备多尺度语义信息的特征图进行跳跃渐进融合，以上采样方式逐层恢复至原始特征图大小，减少了长跨度传递中的特征信息丢失问题，实现对农作物细节特征的精细化重建还原。模块计算公式如下：
式中，Ri表示经过双线性内插上采样得到的新特征图；Wcont和WF分别表示与Fi的卷积权重。Res表示对层级融合精修后得到特征的残差校正；UpS表示上采样操作，可将特征图恢复到浅层高分辨率特征图大小。
2.5分类结果精度评价
利用深度学习对Sentinel-2遥感影像进行农作物分类制图后，为评价分类模型算法的精度和性能，需引进精度评价指标对分类结果进行定量分析。本实施例采取基于混淆矩阵的精度评价指标对农作物分类结果进行量化评估，具体采用的精度评价指标包括：总体精度(Overall Accuracy)、召回率(Recall)、Kappa系数、F1分数(F1 score)、平均交并比(MIoU)等。
式中，TP表示被正确识别的正样本；TN表示被正确识别的负样本；FP表示被错误识别的负样本；FN表示被错误识别的正样本；N表示分类的类别数，Pi，j表示第i类地物被分类识别到第j类地物中的像元总数，Pi+表示第i类地物该行的像元总数，P+i表示第i类地物该列的像元总数；A和B两个不同的地物类别。
3实验结果与分析
3.1基于ReliefF和RFE算法的最优特征子集
3.1.1基于ReliefF算法的最优特征初筛降维
利用覆盖研究区农作物关键物候期的长时间序列Sentinel-2遥感影像，共提取224个特征：80个原始光谱特征、96个植被指数特征、40个影像纹理特征、8个影像形状特征。使用ReliefF算法对原始特征进行初筛并计算特征权重，前90个特征权重如图11所示。
从图8中统计分析特征权重值大于0.2并与目标农作物相关性的大的56个特征，其较好的对原始224个特征空间进行解释，将特征数减少近四分之三，有效降低信息冗余。ReliefF算法初筛特征及其权重如表5所示。
表5经ReliefF算法初筛得到的56个最优特征及其权重表
根据表5可得，56个优选特征中包含18个原始光谱特征、26个植被指数特征、9个纹理特征、3个形状特征。对于权重超过0.3的特征进行分析可以发现，光谱和植被指数特征的占比大，这揭示影像的光谱特征对于农作物精准识别的重要作用。不同农作物之间独特的种植结构和空间分布特点，使得最优特征空间中有的纹理特征对后续农作物地块边缘的精准识别划分起到关键作用。本实施例选择的研究区的地形主要以平原为主，涉及部分地形复杂破碎的山区丘陵，这在一定程度上增加的作物地块识别难度，经过ReliefF算法初筛得到的3个形状几何特征通过构建地物轮廓边缘信息对提高作物分类识别精度影响较大。
3.1.2耦合ReliefF和RFE算法的最优特征子集
考虑不同特征之间的相关性以及计算开销，利用RFE算法进行特征子集搜索，并使用随机森林对对特征子集进行精度评价，RFE迭代过程中不同特征数量对于分类识别准确率的影响如图12所示。
在RFE进行迭代时，模型的总体精度整体上呈现随输入特征数递增先增后减的趋势，总体精度从55.26％上升到97.25％，随后下降至94.88％。过少、过多特征会因特征解释性弱和信息重叠冗余对总体精度起到抑制。本实施例中，当输入特征个数为31时，不同样本地块的识别效果达到最佳。
本实施例构建的最优特征子集由9个原始光谱特征、15个植被指数特征、5个纹理特征、2个形状结合特征累计31个特征共同组成。特征权重较大的特征主要为EVI、RVI、MSR、GNDVI等植被指数和红边波段，其特征时相为冬小麦和玉米关键生长物候期的4、5、6、7、9月。在这一时间段内农作物处于生长旺盛期、植被叶片茂盛，利用综合多波段光谱反射率的植被指数和原始光谱数据能高效准确的对不同农作物类型进行区分。此外，纹理特征和形状几何特征也具有一定的贡献，通过该类特征能较好的反映不同各农作物地块之间的边缘轮廓种植结构信息，对于恢复地物边界信息起到重要贡献。
3.2基于多尺度特征融合的遥感农作物分类结果
3.2.1不同输入特征下农作物分类结果
优选特征下不同模型的冬小麦、玉米分类精度如表6和表7所示。
表6不同特征下MsFF模型的冬小麦分类精度表
表7不同特征下MsFF模型的玉米分类精度表
由表6和表7可知，使用最优特征空间进行冬小麦和玉米分类制图均能最优分类结果，就冬小麦分类而言，使用最优特征空间子集的总体精度相较于原始光谱特征和多维混合特征分别提高2.58％、4.21％，在各类精度评价指标上最优特征空间>原始光谱特征>多维混合特征；就玉米分类而言，总体精度分别提高3.61％和2.01％，在各类精度评价指标上最优特征空间>多维混合特征>原始光谱特征。从分类性能上看，使用较多的特征作为模型输入在一定程度上造成了特征冗余，对分类精度没有实质性提高并产生“负分类”，ReliefF-RFE特征优选组合能取得优异的模型性能。
不同地形地块下的冬小麦、玉米的局部分类结果细节情况如图13和图14所示。
以不同的特征组合输入对冬小麦进行分类，使用多维混合特征因信息冗余会出现大量的像元误分现象，在不同地形条件下分类识别效果均较差；使用原始光谱特征作为输入没有考虑不同地形条件下形状纹理特征在空间领域属性上的相关性，不利于对地块边缘轮廓完整性还原；最优特征空间综合遴选了具有强解释性的有限多维特征，在不同地块上取得了较好的分类效果。
对玉米进行分类可以看出，原始光谱特征和多维混合特征在不同地形上的分类结果中存在较为明显的椒盐和漏分问题，但由于输入特征信息量的冗余与缺失，在输入源层面对模型性能造成制约，在最优输入特征下，通过多尺度交叉语义融合，能够较好的减弱不同地形中与玉米光谱相似的地物对分类结果的影响，消除像元孤岛与椒盐问题。
3.2.2最优特征下农作物分类结果
为了客观探讨本实施例构建的多尺度语义特征融合策略的性能及可靠性使用，最优特征子集作为数据输入，引入UNet和ResNet模型客观比较衡量多尺度特征融合MsFF的算法优越性。同时分析不同地形条件下不同分类模型的局部性能差异。
优选特征下不同模型的冬小麦、玉米分类精度如表8和表9所示。
表8优选特征下不同模型的冬小麦分类精度表
表9优选特征下不同模型的玉米分类精度表
由表8和表9可知，使用MsFF在进行冬小麦和玉米分类识别时均能取得最优分类效果，冬小麦总体精度为95.76％、Kappa系数为90.53％，玉米总体精度为93.44％、Kappa系数为90.13％；冬小麦的召回率、F1分数、MIoU分别为93.61％、92.44％、90.27％，玉米的召回率、F1分数、MIoU分别为92.76％、91.81％、90.68％，从这三类指标来看UNet和ResNet均存在一定的错分漏分问题，在玉米识别上尤为明显。从分类性能上看，多尺度特征融合MsFF分类结果准确性要较大的优于UNet和ResNet。
仅以分类结果准确率去评判不同模型的分类效果相对片面，不能较好的反映模型在不同场景下的稳定性与鲁棒性。本实施例分别从大地物块、小地物块、复杂地物块三个层面进行模型性能分析，局部细节分类结果如图15和图16所示。
针对冬小麦在不同地形下的分类结果：在大地物块中，ResNet将田块间的地物大量识别成冬小麦，MsFF相较于UNet能更好的对细微非冬小麦地块进行剔除。在小地物块上，UNet和ResNet对于长条窄地块的识别提取结果破碎不完整，MsFF能实现在小地物块上的连贯完整性。在复杂地物块上，UNet对与冬小麦具有相似特征的地物错误识别，ResNet抗噪声能力弱，只能较好识别具有典型特征的冬小麦地块，MsFF在复杂地形条件下的冬小麦识别较好。
针对玉米在不同地形下的分类结果：UNet和ResNet分别表现为错分和漏分，MsFF对边缘的还原度高；在小地物块中，UNet和ResNet均在一定的像元“椒盐”和“孤岛”，只是对地物轮廓形状进行了恢复，而对地块内部识别不完整，MsFF则较好的缓解了这一不足；在复杂地物块上，UNet和ResNet存在一定数量的“椒盐”，抗噪声能力弱，在不规则复杂地形上识别结果较差。
4讨论
4.1ReliefF-RFE特征优选子集组成
本实施例中，提出了一种渐进的耦合过滤式和包裹式的ReliefF-RFE特征优选算法，通过ReliefF算法有效的将原始224个特征降维至56个，在此基础上通过RFE进行贪婪搜索获得了最优的31个特征空间子集。通过实验可以发现经过初期特征优筛得到的特征优选集并不一定“最优”，结果表明以56个特征全部作为输入进行作物分类仅能取得94.88％的总体精度，其低于使用以31个特征进行数据输入得到的97.25％的总体精度，对未经RFE遴选的剩余25个特征进行分析可以发现，这一部分特征与31个最优特征空间存在一定的信息冗余重复，使得部分特征对于冬小麦和玉米的可解释性发生改变，对总体精度起到抑制作用。因此，在构建遥感影像农作物最优特征空间集时，应尽可能的从多个角度对特征的贡献程度进行评价，避免陷入“局部最优”的误区中，影响后续的分类识别精度。
本实施例初始构建了一套覆盖作物完整生长季的包括光谱、植被指数、纹理特征、几何形状特征的原始特征数据集，各个特征均能在一定程度上将待分农作物与背景值相分类，但是其区分能力仅在某一方面具有较好性能。因此，通过构建最优特征空间，一方面通过信息互补使得特征空间具备较强的解释表征能力，另一方面也能够降低特征维数削弱模型冗余度、提高模型计算效率。通过使用不同分类模型也进一步验证了本实施例提出的ReliefF-RFE特征优选算法的合理与可行性。
进一步讨论分析经ReliefF-RFE算法筛选得到的最优特征空间的特征贡献与组成情况可以发现，在具有极强特征共享能力的前14个特征中，仅有两个特征为纹理或几何形状特征，这强有力的表明植被指数、红边波段特征对于农作物精准识别具有突出贡献，这也是我们在以往研究中常以影像光谱特征进行影像分类的主要原因。但是针对于农田场景下的作物空间种植结构信息的准确提取而言，不同作物地块之间的大小形状差异显著，尤其是在中高分辨率影像上“同物异谱”、“异物同谱”的问题显著，光谱特征信息对于恢复重建地块边缘轮廓信息存在较大不足。因此，本实施例在设计特征类别时相较于以往研究增加了纹理特征和具有完整边缘轮廓特点的几何形状特征作为辅助去精细化提取农作物地物块空间位置，在最优特征空间中，5月和9月的Canny几何现状特征以0.3084和0.2676的特征贡献值被用于作物识别，这两个特征也正好指针了冬小麦和玉米种植区的最佳边界信息。
通过本实施例构建的ReliefF-RFE特征优选算法，可以发现使用单一特征优选算法并不能取得理想化最优特征子集，需要结合实际应用场景耦合其他方法进行辅助判断。此外，针对于农田地块精细化识别分类而言，应考虑非光谱特征以消除影像成像质量低或地物植被可区分度差带来误差，通过地块的空间语义属性与空间位置进行划分识别，以此来为后续精细化作物分类提供了高效准确的输入数据特征集合。
本实施例设计的特征类型有限，尚未对更加丰富的多类特征进行特征构建与优选，下一步在验证模型的大区域快速作物制图研究时，需在已有特征优选子集的基础上，进一步探索其他特征对于目标任务的特征贡献情况，构建具有普适性的农作物遥感分类特征优选数据集，应用于不同区域、不同场景的农作物精准识别。
4.2作物多尺度特征融合分类模型性能评价
本实施例中，设计构建了一个基于多尺度特征融合的遥感农作物分类识别模型MsFF，该模型通过对跨尺度的上下文语义特征信息进行自级联聚集，有效对深浅层全局局部粗糙、精细特征进行融合。进一步验证不同输入特征在MsFF模型下的分类结果，使用经过ReliefF-RFE特征算法的31维特征作为特征输入能在不同地形条件下对冬小麦和玉米取得较好的分类效果，一方面论证了特征优选子集构建的合理性，也佐证了MsFF模型针对于农作物分类的适用可行性。
通过横向对比另外两类广泛使用的经典语义分割模型UNet和ResNet对冬小麦和玉米分类精度可以发现，使用MsFF能在冬小麦和玉米的分类识别上均取得远优于UNet和ResNet的分类精度，冬小麦和玉米的总体精度分别为95.76％、93.44％，分别比UNet和ResNet高2.28％、3.13％和4.47％、3.16％。通过对结果进一步分析可以得出，MsFF对于冬小麦的识别效果要优于玉米，本实施例提出的MsFF通过多次跨尺度融合浅层局部细节特征，针对在玉米周围邻近的与玉米相似性较大、地物区分性较差的像元，经典的UNet和ResNet模型较难将区分性弱的玉米像元地块准确识别使得，玉米的分类结果中较难避免的出现了一些“椒盐”像元，“错分”、“漏分”现象显著，这也从侧面印证了本实施例构建的MsFF对于复杂作物的精准识别能力。
在本实施例中，通过设计“自顶而下、自底而上”特征融合、上下文语义特征聚集、空间通道注意力、编码-解码器策略的特征层级融合精修等策略，实现了对不同特征尺度的特征融合。UNet利用跳跃连接是一类经典的多尺度特征融合语义分割模型，但其特征融合相对简单，提取的尺度特征也较单一，当地块大小趋于复杂时，分类识别的效果变差。进一步从多尺度特征融合效果层面讨论MsFF的分类性能可以发现，MsFF相较于UNet而言更能较好的在不同复杂异质场景下对不同大小的冬小麦和玉米进行地物提取，UNet针对未预先设计的固定感受野下的地块识别效果识别差，表现未不识别或过度识别，MsFF针对这一分类任务场景具有明显的识别优势。
本实施例设计了一系列复杂特征融合策略，随着特征融合加深，融合特征图之间的语义信息表现出巨大差异，为保证反向梯度更新的正常进行，设计残差校正模块解决过拟合、梯度爆炸问题。通过比较召回率、F1分数、MIoU这三个评价指标在冬小麦和玉米的识别精度可以发现，MsFF>ResNet>UNet，从这一结果可以发现ResNet相较于UNet特有的残差网络结构在加深网络深度提取深层次特征的前提下避免了模型的梯度消失、爆炸，使得模型不会出现过拟合和欠拟合等拟合失调的问题；MsFF在引入残差校正模块的同时通过设计多尺度特征融合，既具备了ResNet的深层特征提取能力，也具备了上下文语义聚集特性，其召回率、F1分数、MIoU相较于ResNet整体提高3-4％，这一结果也表明了MsFF模型能更好的进行深层特征提取而不因网络退化导致模型性能下降。
通过本实施例构建的多尺度特征融合模块可以得出，本实施例构建的MsFF模型以视觉语义特征镶嵌至卷积网络中，以视觉语义特征上下文聚集为核心，较好的解决了在中等分辨率遥感影像上的地物分类提取的连贯性，其在不同异质场景下均能取得优于传统深度学习方式的分类精度，为大规模遥感分类精准制图提供了可能性。
本实施例对于冬小麦和玉米的分类识别设计了一系列特征融合策略，特征融合组合方案尝试有限，在后续的针对不同地物类型和影像数据源的模型分类应用中还需要进行深入研究，以期实现本实施例构建的MsFF模型的“即插即用”高效性应用。
5结论
本实施例以山西省运城-临汾盆地为研究区，选择冬小麦和玉米作为研究对象，针对当前农作物分类研究中对遥感影像多维特征挖掘利用不足、多尺度信息融合策略有限、在破碎地块上识别不佳等一系列问题，使用覆盖研究区整个作物生长季的Sentinel-2遥感影像，设计构建了一种顾及特征优选的多尺度特征融合的农作物遥感分类模型，较好的实现了对大区域农作物的快速分类提取制图，模型具有较强的鲁棒性。
通过实验对比分析，本实施例得到了以下3个方面的结论：
(1)基于特征优选的特征空间构建。通过Relief-RFE算法从224维特征中构建了只有31个特征的最优特征子集，其由覆盖作物关键物候期具有强解释性的EVI、RVI、MSR、GNDVI等植被指数、红边波段，植被种植区边缘轮廓信息丰富的纹理几何特征组成，这些特征对农作物精准分类发挥重要贡献作用，其中各类植被指数和光谱特征在作物关键物候能对地物起到有效区分，纹理特征和形状几何特征对于重建恢复作物地块边界起到关键作用。
(2)基于多尺度特征融合的作物分类。通过对多尺度特征进行上下文语义特征级联融合。使用最优特征空间子集能在冬小麦和玉米分类中取得最优结果，在该特征输入下对比不同分类模型的性能，针对冬小麦分类而言，其总体精度为95.76％，相较于UNet和ResNet分别提高2.28％和3.13％；玉米分类总体精度为93.44％，相较于UNet和ResNet分别提高4.47％和3.16％。此外，使用多尺度特征融合在破碎小地块的提取效果好，较好的在小地物块和复杂破碎地块上对地块进行边缘轮廓提取与属性地类属性识别，对地物局部细微细节的还原性显著优于其他模型。
(3)本实施例构建的多尺度特征融合MsFF模型通过对多尺度语义特征信息进行有效跨尺度特征融合，使得单一特征图具备丰富的上下文多尺度语义信息，使深层次抽象特征兼具局部细节特征，极大的促进其在不同地物块上的精准识别。通过优化模型结构，提高了模型的拟合能力和抗噪性能。
实施例2
为了执行上述实施例1对应的方法，以实现相应的功能和技术效果，下面提供了一种农作物分类系统，包括：
遥感图像获取模块，用于获取待测区域的遥感图像。
特征图确定模块，用于基于待测区域的遥感图像提取待测区域不同尺度的特征图。
融合特征图确定模块，用于将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图。
农作物分类模块，用于将融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类。多尺度特征融合策略模型和农作物分类模型是利用不同区域标注农作物种类后的遥感图像对初始多尺度特征融合策略模型和初始农作物分类模型进行联合训练后得到的。
农作物分布图确定模块，用于根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。
实施例3
本实施例提供了一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例1所述的一种农作物分类方法。其中，存储器为可读存储介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本实施例中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种农作物分类方法，其特征在于，包括：
获取待测区域的遥感图像；
基于待测区域的遥感图像提取待测区域不同尺度的特征图；
将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图；
将所述融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类；所述多尺度特征融合策略模型和所述农作物分类模型是利用不同区域标注农作物种类后的遥感图像对初始多尺度特征融合策略模型和初始农作物分类模型进行联合训练后得到的；
根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。
2.根据权利要求1所述的一种农作物分类方法，其特征在于，
所述初始多尺度特征融合策略模型包括依次连接的自顶而下-自底而上特征融合策略、基于空间通道注意力机制构建的上下文语义特征聚集模块和编码-解码器策略；
所述自顶而下-自底而上特征融合策略用于对不同尺度的特征图分别加权融合其他尺度的特征图的语义特征信息，得到不同尺度的语义特征图；
基于空间通道注意力机制构建的上下文语义特征聚集模块包括多个并联的上下文语义特征聚集分支；所述上下文语义特征聚集分支与所述尺度一一对应；
确定任一上下文语义特征聚集分支为当前上下文语义特征聚集分支；确定当前上下文语义特征聚集分支对应尺度为当前尺度；
当前上下文语义特征聚集分支用于将经空间通道注意力机制处理后的当前尺度的语义特征图与经空间通道注意力机制处理后的上一尺度的语义特征图进行融合并进行残差修正处理，得到当前尺度的上文语义特征图，将当前尺度的上文语义特征图与经空间通道注意力机制处理后的下一尺度的语义特征图进行融合并进行残差修正处理，得到当前尺度的上下文语义特征图；
所述编码-解码器策略用于根据不同尺度的特征图和不同尺度的上下文语义特征图，确定融合特征图。
3.根据权利要求2所述的一种农作物分类方法，其特征在于，所述残差修正处理是基于残差修正处理模块完成的；
所述残差修正处理模块包括依次连接的第一卷积块、第一激活函数、第二卷积块、第二激活函数、第三卷积块和第三激活函数；
所述第一卷积块的输入为当前尺度的语义特征图与经空间通道注意力机制处理后的上一尺度的语义特征图进行融合后的图像或当前尺度的上文语义特征图与经空间通道注意力机制处理后的下一尺度的语义特征图进行融合后的图像；
所述第三激活函数的输入还包括当前尺度的语义特征图与经空间通道注意力机制处理后的上一尺度的语义特征图进行融合后的图像或当前尺度的上文语义特征图与经空间通道注意力机制处理后的下一尺度的语义特征图进行融合后的图像。
4.根据权利要求3所述的一种农作物分类方法，其特征在于，
所述第一卷积块和所述第三卷积块的尺寸为1×1；
所述第二卷积块的尺寸为3×3。
5.根据权利要求4所述的一种农作物分类方法，其特征在于，在获取待测区域的遥感图像之前，还包括：
搭建初始多尺度特征融合策略模型和初始农作物分类模型；
获取不同区域的历史遥感图像；
对多张历史遥感图像中每个地块的农作物种类进行标注，得到不同区域的历史遥感标注图像；
以历史遥感图像为初始多尺度特征融合策略模型的输入，以初始多尺度特征融合策略模型的输出为初始农作物分类模型输入得到历史遥感农作物分类预测图像；
根据历史遥感农作物分类预测图像和历史遥感标注图像调整初始多尺度特征融合策略模型和初始农作物分类模型的参数，并返回步骤“以历史遥感图像为初始多尺度特征融合策略模型的输入，以初始多尺度特征融合策略模型的输出为初始农作物分类模型输入得到历史遥感农作物分类预测图像”直至迭代次数达到预设迭代次数，得到所述多尺度特征融合策略模型和所述农作物分类模型。
6.一种农作物分类系统，其特征在于，包括：
遥感图像获取模块，用于获取待测区域的遥感图像；
特征图确定模块，用于基于待测区域的遥感图像提取待测区域不同尺度的特征图；
融合特征图确定模块，用于将待测区域不同尺度的特征图输入到多尺度特征融合策略模型中，得到待测区域的融合特征图；
农作物分类模块，用于将所述融合特征图输入到农作物分类模型中，确定待测区域中每个物块的农作类种类；所述多尺度特征融合策略模型和所述农作物分类模型是利用不同区域标注农作物种类后的遥感图像对初始多尺度特征融合策略模型和初始农作物分类模型进行联合训练后得到的；
农作物分布图确定模块，用于根据待测区域中每个物块的农作类种类，构建待测区域中农作物分布图。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的一种农作物分类方法。
8.根据权利要求7所述的一种电子设备，其特征在于，所述存储器为可读存储介质。
CN202310872294.6A 2023-07-17 2023-07-17 一种农作物分类方法、系统及电子设备 Pending CN116912578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310872294.6A CN116912578A (zh) 2023-07-17 2023-07-17 一种农作物分类方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310872294.6A CN116912578A (zh) 2023-07-17 2023-07-17 一种农作物分类方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN116912578A true CN116912578A (zh) 2023-10-20

Family

ID=88350617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310872294.6A Pending CN116912578A (zh) 2023-07-17 2023-07-17 一种农作物分类方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN116912578A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292282A (zh) * 2023-11-09 2023-12-26 星景科技有限公司 一种基于高分辨率无人机遥感的园林绿化长势监测方法及系统
CN117763361A (zh) * 2024-02-22 2024-03-26 泰山学院 一种基于人工智能的学生成绩预测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292282A (zh) * 2023-11-09 2023-12-26 星景科技有限公司 一种基于高分辨率无人机遥感的园林绿化长势监测方法及系统
CN117763361A (zh) * 2024-02-22 2024-03-26 泰山学院 一种基于人工智能的学生成绩预测方法及系统
CN117763361B (zh) * 2024-02-22 2024-04-30 泰山学院 一种基于人工智能的学生成绩预测方法及系统

Similar Documents

Publication Publication Date Title
Turkoglu et al. Crop mapping from image time series: Deep learning with multi-scale label hierarchies
Ok et al. Evaluation of random forest method for agricultural crop classification
Clark et al. A scalable approach to mapping annual land cover at 250 m using MODIS time series data: A case study in the Dry Chaco ecoregion of South America
CN116912578A (zh) 一种农作物分类方法、系统及电子设备
González-Yebra et al. Methodological proposal to assess plastic greenhouses land cover change from the combination of archival aerial orthoimages and Landsat data
CN112818749B (zh) 一年两熟地区大宗粮油作物复种模式遥感监测方法
CN108710864B (zh) 基于多维度识别及图像降噪处理的冬小麦遥感提取方法
CN111462223B (zh) 基于Sentinel-2影像的江淮地区大豆和玉米种植面积识别方法
Chen et al. Predicting individual apple tree yield using UAV multi-source remote sensing data and ensemble learning
Peters et al. Synergy of very high resolution optical and radar data for object-based olive grove mapping
Zhu et al. Estimating and mapping mangrove biomass dynamic change using WorldView-2 images and digital surface models
Aguilar et al. Comparison of spectral indices extracted from Sentinel-2 images to map plastic covered greenhouses through an object-based approach
She et al. Identification and mapping of soybean and maize crops based on Sentinel-2 data
CN115641412A (zh) 基于高光谱数据的三维语义地图的生成方法
CN112906537A (zh) 一种基于卷积神经网络的农作物识别方法及系统
Ghosh et al. Calcrop21: A georeferenced multi-spectral dataset of satellite imagery and crop labels
CN116883853B (zh) 基于迁移学习的作物时空信息遥感分类方法
Roy et al. Comparative analysis of object based and pixel based classification for mapping of mango orchards in Sitapur district of Uttar Pradesh
Dehkordi et al. Performance Evaluation of Temporal and Spatial-Temporal Convolutional Neural Networks for Land-Cover Classification (A Case Study in Shahrekord, Iran)
GASTELLU-ETCHEGORRY et al. Computer-assisted land cover mapping with SPOT in Indonesia
Singla et al. Extraction of Crop Information from Reconstructed Landsat Data in Himalayan Foothills Region
Aguilar Torres et al. Comparison of spectral indices extracted from Sentinel-2 images to map plastic covered greenhouses through an object-based approach
Orny et al. Characterization of maritime pine forest structure changes with vhr satellite imagery: application to the 24th january 2009 windfall damages cartography
김예화 Classification of Deforested and Degraded Areas in North Korea Using Phenology-based Indices and Spatiotemporal Data Fusion Method
CN117934662A (zh) 无样本标注的区域大豆制图方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination