CN116883853A - 基于迁移学习的作物时空信息遥感分类方法 - Google Patents

基于迁移学习的作物时空信息遥感分类方法 Download PDF

Info

Publication number
CN116883853A
CN116883853A CN202310039170.XA CN202310039170A CN116883853A CN 116883853 A CN116883853 A CN 116883853A CN 202310039170 A CN202310039170 A CN 202310039170A CN 116883853 A CN116883853 A CN 116883853A
Authority
CN
China
Prior art keywords
crop
image
remote sensing
model
transfer learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310039170.XA
Other languages
English (en)
Other versions
CN116883853B (zh
Inventor
王利军
白杨
王家耀
周正
程士源
胡纪元
黄继磊
张建辰
李贺颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202310039170.XA priority Critical patent/CN116883853B/zh
Publication of CN116883853A publication Critical patent/CN116883853A/zh
Application granted granted Critical
Publication of CN116883853B publication Critical patent/CN116883853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于迁移学习的作物时空信息遥感分类方法，包括：地面样本数据获取；Sentinel‑2多特征影像获取与预处理；参考直方图匹配；训练与验证区域选择；样本集制作与精度验证；语义分割模型选择与参数改进；迁移学习模型训练与性能评价；作物时空信息预测分类与精度评价；作物时空信息专题图制作。本发明旨在构建一个适用于多特征影像且兼容不同时相和分类任务的作物时空信息智能分类方法体系，将多时相卫星遥感影像特征差异通过直方图匹配方法进行一致性处理，结合空间通道联合注意力机制，完成迁移学习模型的训练及复杂农业种植区作物时空信息的快速自动化分类预测和制图，对落实耕地保护和保障粮食安全具有重要的意义。

Description

基于迁移学习的作物时空信息遥感分类方法
技术领域
本发明涉及作物信息遥感监测技术领域，尤其涉及一种基于迁移学习的作物时空信息遥感分类方法。
背景技术
快速准确地获取作物时空信息是分析农业生产动态演变机制、建立农田生态系统碳汇和农业面源污染等模拟模型的基础信息，对农业生产管理、粮食安全预警和农田生态系统评价具有重要意义。河南省作为全国粮食生产大省，以占全国约6％的耕地面积生产了约10％的粮食产量。河南省农业种植具有空间多样性、季节多变性和类型复杂性等特征，小农种植模式使其对影像和分类方法的选择都提出了更高的要求。长期以来，作物种植面积主要是通过抽样调查或遥感影像监督分类来完成，这种传统监测方法不仅依赖于大量的地面样本和人工编辑工作，也难以完成大范围复杂种植条件下多作物信息的智能化提取。深度学习作为一种专注于大型和深层人工神经网络重要的语义分割工具，其较强的模型泛化和迁移学习能力可以根据少量的训练样本进行特征提取和模型训练，实现在不同年份和大范围内遥感影像无样本下的信息自动化分类提取，对推动落实国家耕地保护和粮食安全保障等决策的具体实施具有重要的现实意义。
目前，采用遥感技术进行多种作物信息提取的研究主要采用的是传统机器学习分类方法和深度学习语义分割方法。2021年姜伊兰等基于Google Earth Engine平台和多时相Sentinel-2影像数据以及构建的NDVI时序差异指数，完成了河南省开封市杞县冬小麦和大蒜的分类；2019年樊东东等为解决分类过程中的不均衡样本问题，融合GF-2号卫星4个光谱波段、10个植被指数和8种纹理特征，结合地面调查样本完成了小麦、蔬菜、大棚、西瓜等9种地物的分类；2020年杨蜀秦等基于DeepLab V3+深度语义分割模型和无人机多光谱遥感数据，分析了不同特征波段组合下向日葵、玉米和西葫芦等作物的分类精度；2021年杨颖频等利用D-LinkNet深度学习模型以及Landsat8和Sentinel-2多源遥感数据，完成了广西扶绥县耕地地块和甘蔗、水稻、香蕉、柑橘等作物的分类。但是，以上分类方法并未考虑不同时相及不同成像条件下影像的特征差异，且模型的泛化能力和迁移学习能力较弱，无法有效解决样本的依赖性问题，以及满足大范围多年份的影像作物时空信息智能预测分类的需求，因此，急需构建一种新的迁移学习方法实现遥感作物时空信息的智能化提取监测。
发明内容
针对现有利用卫星遥感数据进行遥感影像作物时空信息智能化提取中样本的依赖性、影像特征差异化和模型泛化和迁移学习能力弱等技术问题，本发明提出一种基于迁移学习的作物时空信息遥感分类方法，将遥感影像一致性等预处理、样本集构建及非均衡样本处理、迁移学习模型训练及预测结果精度评价等方法组合，借助Sentinel-2多特征融合卫星数据实现大范围作物时空信息的智能化提取，不仅降低了对地面调查数据的依赖性，还大大提高了遥感作物的分类精度和效率，突破了传统的技术。
为了实现上述目的，本发明采用以下技术方案：
一种基于迁移学习的作物时空信息遥感分类方法，包括：
步骤1，地面调查样本数据获取：利用手持GPS设备获取秋季主要作物地面样方和样本点数据，并建立Sentinel-2卫星影像解译标志库；
步骤2，多特征卫星遥感影像获取：利用Google Earth Engine平台获取作物生长关键期内云量小于10％，且已完成大气校正和辐射校正的Sentinel-2卫星遥感影像光谱及其植被指数和纹理特征，并融合为10m的*.GIF数据，保存云盘并下载存储于本地电脑中；
步骤3，基于参考影像的直方图匹配处理：选择一景无云、高质量且作物类型丰富的影像为参考影像，采用直方图匹配方法对其他影像进行校正，使不同成像日期和成像条件下的影像保持色调的一致性，达到不同幅影像上同名地物具有相同灰度值的目的，并将处理后的影像各波段特征值拉伸为0-255，以满足深度学习模型的需求，得到处理后的影像数据集；
步骤4，遥感影像作物分类标签数据集制作：利用面向对象多尺度分割、监督分类和人工编辑矢量化的方法，根据步骤1的数据，完成选择区域内训练样本和验证样本影像分类标签数据集的制作、地面验证和结果修正，使其精度满足训练模型和验证的需求，最后，将矢量样本数据集转换为与卫星影像分辨率和空间坐标系一致的栅格数据，其像元值对应不同的作物类别；
步骤5，训练样本数据集制作：将步骤3中的影像数据集和步骤4中的训练样本标签数据集进行规则格网裁切，并与原坐标系统和空间位置保持一致，其裁切尺寸为256×256像元，裁切结果分别放在image和label两个文件夹中，均以*.GIF文件进行保存；
步骤6，深度学习模型选择与改进：选择用于图像语义分割的全卷积神经网络UNet++模型，并对其进行改进和训练，得到迁移学习模型；
步骤7，作物时空信息分类预测：根据步骤6得到的迁移学习模型，分别对预测的影像按照步骤5中方式进行裁切，裁切结果以*.GIF文件保存，对于边缘裁切尺寸不够的区域，以背景值进行填充裁切，保障裁切后影像区域与原影像大小一致，预测结果以相同名词和*.png格式进行保存；基于预测的tif影像将png结果转换为tif格式，并使其与原预测影像的坐标系统和空间位置保持一致性，完成预测结果的镶嵌处理；
步骤8，作物时空信息分布专题图制作：对步骤7中迁移学习模型预测的作物时空信息进行专题图制作和结果分析。
进一步地，所述步骤2中植被指数包括归一化差值植被指数NDVI、改进的归一化差异水体指数MNDWI、归一化建筑指数NDBI、红边归一化差值植被指数NDVIre：
NDVI＝(B8-B4)/(B8+B4) (1)
MNDWI＝(B3-B11)/(B3+B11) (2)
NDBI＝(B11-B8)/(B11+B8) (3)
NDVIre＝(B8-B5)/(B8+B5) (4)
其中B3、B4、B5、B8和B11分别对应为Sentinel-2卫星影像的绿色、红色、红端、近红外和短波红外波段光谱的反射率值。
进一步地，所述步骤3中，在遥感影像处理软件中采用直方图匹配算法进行基于参考影像的直方图匹配处理。
进一步地，所述步骤4中，采用随机森林监督分类方法。
进一步地，所述步骤5中，将步骤3中的影像数据集和步骤4中的训练样本标签数据集以零重复率的规则格网裁切。
进一步地，所述步骤6包括：
选择用于图像语义分割的全卷积神经网络UNet++模型；
对训练数据集进行旋转、镜像和线性增强处理；
统计不同类别遥感影像所占的比例，对其非均衡性样本中的小样本进行多次上采样处理，以降低其数量差异；
采用余弦退火重启动学习率机制来代替固定不变的学习速率，以加速训练模型的收敛并防止在训练过程中使模型陷入局部最优解，并利用基于ImageNet数据集预先训练的骨干网络提供的参数，以增强模型性能并加快目标任务的收敛；
联合不同损失函数用于增强模型泛化能力并降低类别非均衡性造成的影响，利用空间通道联合注意力机制在解码器子网络中用于强调图像的通道和空间维度特征；
基于上述步骤完成对UNet++模型的改进，得到迁移学习模型，对迁移学习模型进行训练，将训练好的迁移学习模型文件、训练过程结果分别以*.pth格式、*.txt格式保存至指定文件夹。
进一步地，在所述步骤6之后，还包括：
迁移学习模型性能评价：对步骤6得到txt文件数据进行结果评价，评价指标包括模型的联合损失函数值、平均交并比、epoch次数、总运行时间、平均运行时间。
进一步地，通过组合标签平滑交叉熵损失函数和骰子损失函数构建模型的联合损失函数。
进一步地，在所述步骤7之后，还包括：
预测分类结果精度评价：采用步骤4中的地面样方和样本点结合验证的方法对所预测的分类结果进行精度验证，评价指标包括总体精度和平均F1分数。
进一步地，所述步骤8中，通过ArcMap软件制作作物时空信息分布专题图。
与现有技术相比，本发明具有的有益效果：
通过直方图匹配进行影像特征的一致性处理，结合地面数据和融合后的多特征卫星影像完成训练样本和验证样本数据集的制作，基于样本增强、非均衡样本处理、模型参数改进等技术方法完成迁移学习模型的训练评价、作物时空信息分类结果的预测和后处理，并与地面调查数据进行精度验证和评价，以获取多年份大范围的作物种植时空分布信息。本发明基于改进的深度学习网络模型，完成多特征Sentinel-2影像作物时空信息的智能化分类提取，突破了传统分类方法需要大量地面样本依赖的问题，并提升了模型的泛化能力和迁移学习能力，可以快速地进行大范围复杂农业种植区近实时的作物时空信息分类监测，精确、迅速估计和完成长时序的作物种植面积和空间分布制图，对于不同作物灾害损失评估、作物估产和农业保险快速理赔等具有重要的意义。
附图说明
图1为本发明实施例一种基于迁移学习的作物时空信息遥感分类方法的流程示意图；
图2为本发明实施例影像直方图匹配结果示例图；
图3为本发明实施例研究区及作物时空信息分类结果示例图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
如图1所示，一种基于迁移学习的作物时空信息遥感分类方法，其步骤如下：
步骤(1)、地面调查样本数据获取：利用手持GPS设备获取秋季主要作物地面样方和样本点数据，并建立Sentinel-2卫星影像解译标志库；
作为一种可实施方式，2019-2021年7月初，在秋季作物生长约一个月后，调查小组采用GPS定位仪获取地面样本和样本点的位置信息、地块边界和属性信息，其中每年固定调查地面样本3个，约2.94hm2，每年沿途获取地面样本点数分别为368、407和380个。
步骤(2)、多特征卫星遥感影像获取：利用Google Earth Engine(GEE)平台获取作物生长关键期内云量小于10％，且已完成大气校正和辐射校正的Sentinel-2卫星遥感影像光谱及其植被指数和纹理特征，并融合为10m的*.GIF数据，保存云盘并下载存储于本地电脑中。其主要植被指数有归一化差值植被指数(Normalized difference vegetationindex，NDVI)、改进的归一化差异水体指数(Modified normalized difference waterindex，MNDWI)、归一化建筑指数(Normalized difference build-up index，NDBI)和红边NDVI(Normalized difference vegetation index red-edge，NDVIre)，其计算公式分别为公式(1)-(4)。此外，本发明纹理特征利用B8A(Narrow near-infrared)波段计算其灰度共生矩阵(Grey Level Co-occurrence Matrix)，包括sum average(SAVG)，correlation(CORR)和dissimilarity(DISS)这3个纹理特征；
NDVI＝(B8-B4)/(B8+B4) (1)
MNDWI＝(B3-B11)/(B3+B11) (2)
NDBI＝(B11-B8)/(B11+B8) (3)
NDVIre＝(B8-B5)/(B8+B5) (4)
具体地，Sentinel-2卫星传感器携带了包括从可见光至短波红外的13个光谱波段，最高融合影像分辨率为10m，其中蓝色(B2)、绿色(B3)、红色(B4)和近红外(B8)波段具有10米的分辨率；红端(B5)、近红外NIR(B6、B7和B8A)以及短波红外SWIR(B11和B12)的地面采样距离为20米；沿海大气气溶胶(B1)和卷云波段(B10)的像素大小为60米。数据获取网址为：https://code.earthengine.google.com/，其中多光谱Level-2A数据已完成了大气校正、辐射校正和几何校正，降低了数据预处理的工作量。Sentinel-2卫星遵循US-MGRS(U.S.Military Grid Reference System)来设置卫星轨道号，其中覆盖研究区的轨道号包括T49SFT、T49SGT和T49SGU三个，获取的高质量无云或少云的影像日期分别为2019年8月16日(无云)、2020年9月4日(无云)、2021年7月31日(少云)、2021年9月9日(少云)和2021年9月14日(少云)，共11景遥感影像数据。其中，2021年3个时期影像经裁切后发现可实现全域无云影像的覆盖。植被指数中的B3、B4、B5、B8和B11，其分别对应为Sentinel-2卫星影像的Green、Red、Vegetation red edge 1、near-infrared和Short Wave Infra-Red波段光谱的反射率值。
步骤(3)、基于参考影像的直方图匹配处理：选择一景无云、高质量且作物类型丰富的影像为参考影像，采用直方图匹配方法对其他影像进行校正，使不同成像日期和成像条件下的影像保持色调的一致性，达到不同幅影像上同名地物具有相同灰度值的目的，并将处理后的影像各波段特征值拉伸为0-255，以满足深度学习模型的需求，得到处理后的影像数据集；
作为一种可实施方式，为降低不同年份日期及不同成像条件下影像的特征差异，本发明所采用的卫星影像直方图匹配和波段拉伸等影像预处理过程在ENVI5.3软件中完成。其选择的参考影像、校正影像及直方图匹配后影像的示例结果如图2所示。
步骤(4)、遥感影像作物分类标签数据集制作：利用面向对象多尺度分割、监督分类和人工编辑矢量化等方法，根据步骤(1)的数据，完成选择区域内训练样本和验证样本影像分类标签数据集的制作、地面验证和结果修正，使其精度满足训练模型和验证的需求。最后，将矢量样本数据集转换为与卫星影像分辨率和空间坐标系一致的栅格数据(*.GIF)，其像元值对应不同的作物类别；
具体地，样本数据集的制作需要对多尺度分割和随机森林监督分类结果进行较大的人工编辑工作量，分类类别包括玉米、花生、大豆、烟草、裸地(未种植的耕地)、其他作物、温室大棚、林地(山地和平原的苗木林等)、建设用地(道路、建筑等人工建筑)和水体(坑塘、湖泊和河流等)，其类别在样本数据集栅格影像中依次用1-10的像元值进行对应表示。作为一种可实施方式，训练数据集为图2研究区中四个子区域内的2019和2020年数据，其他区域及2021年全部区域均用训练模型进行预测分类和精度评价。
步骤(5)、训练样本数据集制作：将步骤(3)和步骤(4)中的影像数据集和训练样本标签数据集进行规则格网(可自定义裁切重复率)裁切，并与原坐标系统和空间位置保持一致，其裁切尺寸为256×256像元，裁切结果分别放在image和label两个文件夹中，均以*.GIF文件进行保存。文件命名采用4位数字编码，如0000.GIF，0001.GIF，…，nnnn.GIF。值得注意的是image和label文件夹中相同空间位置的影像和标签文件名称一致且相互对应。为满足模型训练要求，将label文件夹中的tif文件统一自动转换为png格式，并与image文件夹内影像数据一起存储，形成训练样本数据集；
作为一种可实施方式，影像和标签数据集以零重复率的规则格网裁切，其名称一一对应，整个裁切和格式转换过程均在python环境下通过编程自动完成。
步骤(6)、深度学习模型选择与改进：选择用于图像语义分割的全卷积神经网络UNet++模型。首先，通过对训练数据集进行旋转、镜像和线性增强等策略完成处理；其次，统计不同类别所占的比例，对其非均衡性样本中的小样本进行多次上采样处理，以降低其数量差异；接着，采用余弦退火重启动学习率机制来代替固定不变的学习速率，以加速训练模型的收敛并防止在训练过程中使模型陷入局部最优解，并利用基于ImageNet数据集预先训练的骨干网络(timm_RegNetY)提供的参数，以增强模型性能并加快目标任务的收敛；然后，联合不同损失函数用于增强模型泛化能力并降低类别非均衡性造成的影响，利用空间通道(Spatial-Channel，S-C)联合注意力机制在解码器子网络中用于强调图像的通道和空间维度特征，根据初始特征图V，首先利用空间注意力Φ来获得空间注意力权重α＝Φ(ht-1,V)，基于α、线性函数fs＝(·)和通道方向注意模型计算调制特征X＝f(V,α,(ht-1,fs(V,α)))。此外，对模型中的学习率(learning rate)、权重衰减(weight decay)、epoch、batch_size、num_work等参数进行初始设置，以保障模型的正常运行和最优训练。最后，当模型连续运行10次且其损失值和精度值都无法改进时，模型则停止训练，将训练好的迁移学习模型文件(*.pth)和训练过程结果(*.txt)保存至指定文件夹。
作为一种可实施方式，模型训练过程中训练数据集采用5％的线性增强策略进行处理，针对小样本中的花生、裸地和温室大棚进行小样本上采样处理，以增强其样本数量，降低数据集的非均衡性对模型性能的影响。UNet++模型训练过程中的初始学习率、权重衰减、最小学习率分别设置为0.0001、0.001和0.00001，初始epoch设置为100，一个epoch即当一个完整的数据集通过神经网络一次并且返回一次的过程。T_0和T_mult分别为第一次启动的epoch的次数和重启并控制学习率速度的因子，均设置为2。batch_size(即一次训练所抓取的数据样本数量)和num_work(加载数据的线程数目)分别设置为16和8。模型在Ubuntu20.4系统上运行，运行环境包括python、PyTorch、gdal等，硬件环境为32G的内存和1个16G显存的NVIDIA Tesla T4的显卡。
作为一种可实施方式，在步骤(6)之后，还包括：
步骤(7)、迁移学习模型性能评价：对步骤(6)得到txt文件数据进行结果评价，主要评价指标包括模型的联合损失函数值、平均交并比(Mean Intersection over Union，mIoU)、epoch次数、总运行时间、平均运行时间等。进一步地，通过组合标签平滑交叉熵损失函数(label smoothing cross-entropy loss function，公式5)和骰子损失函数(diceloss function，公式6)构建模型的联合损失函数(公式7)，模型精度评价指标mIoU如计算公式(8)：
式中是经过平滑后的地面样本类别，∈是平滑因子(通常设置为0.1)，yk为1代表地面真值标签，而0则为错误标签，/>是模型将其分为第k类别的概率，N是模型的总分类类别数(本发明为10类)，联合损失函数中wCE和wDL为权重系数，分别取值0.5。
式中pij和pji分别为将属于i(j)的像元分类为j(i)的像元数，pii为正确分类的像元数。
作为一种可实施方式，经训练数据集增强处理和小样本上采样后，训练数据集数量由714对增加至2604对，模型总运行epoch数为72，在第62个epoch时获取最优训练模型，其联合损失函数和mIoU值分别为0.429和0.878，模型训练总运行时间为284.36分钟，平均每个epoch时间为3.95分钟。一般情况下，当模型的mIoU精度达0.8以上时，我们认为训练的模型性能比较良好，能满足下一步预测分类的需求。
步骤(8)、作物时空信息分类预测：根据步骤(6)得到的迁移学习模型，分别对预测的影像进行裁切，其方式与步骤(5)中一致，裁切结果以*.GIF文件保存，但裁切重复率则设置为0，对于边缘裁切尺寸不够的区域，以背景值进行填充裁切，保障裁切后影像区域与原影像大小一致；预测过程中模型的batch size、num_work、预测影像的波段数和尺寸均于训练过程参数保持一致，预测结果以相同名词和*.png格式进行保存。接着，基于预测的tif影像将png结果转换为tif格式，并使其与原预测影像的坐标系统和空间位置保持一致性，便于结果的镶嵌处理，提升预测结果后处理的自动化效率，镶嵌结果以tif格式保存至文件夹。
作为一种可实施方式，利用训练得到的pth模型文件，对2019和2020年除训练区域外，以及2021年全域影像裁切数据进行预测，全部预测完成共需时间为6.96分钟。在无样本条件下完成了以上裁切影像的作物时空信息的分类预测，将不同年份预测结果经格式转换后完成图像镶嵌等后处理。
作为一种可实施方式，在步骤(8)之后，还包括：
步骤(9)、预测分类结果精度评价：由于单个地面样本点其空间位置选择具有较大的不确定性(受种植面积大小和点位置距离田块边界的距离的影响)，本发明采用步骤(4)中的地面样方和样本点结合验证的方法对所预测的分类结果进行精度验证，评价指标包括总体精度(overall accuracy，OA)和平均F1 score(平均F1分数)，平均F1分数为各个类别的F1分数的平均值，即 其中N为分类类别总数；
作为一种可实施方式，利用验证数据进行2019-2021年预测分类结果的精度验证，其中2019、2020和2021年作物的总体分类精度分别为89.36、86.75和86.79，平均F1 score分别为51.33、51.76和50.09，玉米和大豆等主要作物的分类精度达93％以上。2019和2020年除样本训练区域外，其余区域和年份在无样本条件下的分类精度表明模型具有较强的泛化能力和迁移学习能力，能够满足作物分类及农情监测的需求。
步骤(10)、作物时空信息分布专题图制作：作为一种可实施方式，在对所有分类结果进行精度评价后，对步骤(8)中迁移学习模型预测的多年份作物时空信息进行专题图制作和结果分析。作为一种可实施方式，通过ArcMap软件制作作物时空信息分布专题图。
具体结果见图3所示。
综上，本发明采用迁移学习的方法，将多特征卫星遥感影像多年份的时空信息进行了智能化提取和分类，借助Sentinel-2数据多红边波段和植被指数特征等优势，将多年份的作物和土地利用信息进行快速分类、精度评价和空间制图，可以精确、快速地展示不同作物的种植面积和空间分布，对不同的作物灾害评估、产量估算和农业保险快速理赔具有重要的意义。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于迁移学习的作物时空信息遥感分类方法，其特征在于，包括：
步骤1，地面调查样本数据获取：利用手持GPS设备获取秋季主要作物地面样方和样本点数据，并建立Sentinel-2卫星影像解译标志库；
步骤2，多特征卫星遥感影像获取：利用Google Earth Engine平台获取作物生长关键期内云量小于10％，且已完成大气校正和辐射校正的Sentinel-2卫星遥感影像光谱及其植被指数和纹理特征，并融合为10m的*.GIF数据，保存云盘并下载存储于本地电脑中；
步骤3，基于参考影像的直方图匹配处理：选择一景无云、高质量且作物类型丰富的影像为参考影像，采用直方图匹配方法对其他影像进行校正，使不同成像日期和成像条件下的影像保持色调的一致性，达到不同幅影像上同名地物具有相同灰度值的目的，并将处理后的影像各波段特征值拉伸为0-255，以满足深度学习模型的需求，得到处理后的影像数据集；
步骤4，遥感影像作物分类标签数据集制作：利用面向对象多尺度分割、监督分类和人工编辑矢量化的方法，根据步骤1的数据，完成选择区域内训练样本和验证样本影像分类标签数据集的制作、地面验证和结果修正，使其精度满足训练模型和验证的需求，最后，将矢量样本数据集转换为与卫星影像分辨率和空间坐标系一致的栅格数据，其像元值对应不同的作物类别；
步骤5，训练样本数据集制作：将步骤3中的影像数据集和步骤4中的训练样本标签数据集进行规则格网裁切，并与原坐标系统和空间位置保持一致，其裁切尺寸为256×256像元，裁切结果分别放在image和label两个文件夹中，均以*.GIF文件进行保存；
步骤6，深度学习模型选择与改进：选择用于图像语义分割的全卷积神经网络UNet++模型，并对其进行改进和训练，得到迁移学习模型；
步骤7，作物时空信息分类预测：根据步骤6得到的迁移学习模型，分别对预测的影像按照步骤5中方式进行裁切，裁切结果以*.GIF文件保存，对于边缘裁切尺寸不够的区域，以背景值进行填充裁切，保障裁切后影像区域与原影像大小一致，预测结果以相同名词和*.png格式进行保存；基于预测的tif影像将png结果转换为tif格式，并使其与原预测影像的坐标系统和空间位置保持一致性，完成预测结果的镶嵌处理；
步骤8，作物时空信息分布专题图制作：对步骤7中迁移学习模型预测的作物时空信息进行专题图制作和结果分析。
2.根据权利要求1所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，所述步骤2中植被指数包括归一化差值植被指数NDVI、改进的归一化差异水体指数MNDWI、归一化建筑指数NDBI、红边归一化差值植被指数NDVIre：
NDVI＝(B8-B4)/(B8+B4) (1)
MNDWI＝(B3-B11)/(B3+B11) (2)
NDBI＝(B11-B8)/(B11+B8) (3)
NDVIre＝(B8-B5)/(B8+B5) (4)
其中B3、B4、B5、B8和B11分别对应为Sentinel-2卫星影像的绿色、红色、红端、近红外和短波红外波段光谱的反射率值。
3.根据权利要求1所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，所述步骤3中，在遥感影像处理软件中采用直方图匹配算法进行基于参考影像的直方图匹配处理。
4.根据权利要求1所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，所述步骤4中，采用随机森林监督分类方法。
5.根据权利要求1所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，所述步骤5中，将步骤3中的影像数据集和步骤4中的训练样本标签数据集以零重复率的规则格网裁切。
6.根据权利要求1所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，所述步骤6包括：
选择用于图像语义分割的全卷积神经网络UNet++模型；
对训练数据集进行旋转、镜像和线性增强处理；
统计不同类别遥感影像所占的比例，对其非均衡性样本中的小样本进行多次上采样处理，以降低其数量差异；
采用余弦退火重启动学习率机制来代替固定不变的学习速率，以加速训练模型的收敛并防止在训练过程中使模型陷入局部最优解，并利用基于ImageNet数据集预先训练的骨干网络提供的参数，以增强模型性能并加快目标任务的收敛；
联合不同损失函数用于增强模型泛化能力并降低类别非均衡性造成的影响，利用空间通道联合注意力机制在解码器子网络中用于强调图像的通道和空间维度特征；
基于上述步骤完成对UNet++模型的改进，得到迁移学习模型，对迁移学习模型进行训练，将训练好的迁移学习模型文件、训练过程结果分别以*.pth格式、*.txt格式保存至指定文件夹。
7.根据权利要求5所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，在所述步骤6之后，还包括：
迁移学习模型性能评价：对步骤6得到txt文件数据进行结果评价，评价指标包括模型的联合损失函数值、平均交并比、epoch次数、总运行时间、平均运行时间。
8.根据权利要求7所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，通过组合标签平滑交叉熵损失函数和骰子损失函数构建模型的联合损失函数。
9.根据权利要求1所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，在所述步骤7之后，还包括：
预测分类结果精度评价：采用步骤4中的地面样方和样本点结合验证的方法对所预测的分类结果进行精度验证，评价指标包括总体精度和平均F1分数。
10.根据权利要求1所述的基于迁移学习的作物时空信息遥感分类方法，其特征在于，所述步骤8中，通过ArcMap软件制作作物时空信息分布专题图。
CN202310039170.XA 2023-01-12 2023-01-12 基于迁移学习的作物时空信息遥感分类方法 Active CN116883853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310039170.XA CN116883853B (zh) 2023-01-12 2023-01-12 基于迁移学习的作物时空信息遥感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310039170.XA CN116883853B (zh) 2023-01-12 2023-01-12 基于迁移学习的作物时空信息遥感分类方法

Publications (2)

Publication Number Publication Date
CN116883853A true CN116883853A (zh) 2023-10-13
CN116883853B CN116883853B (zh) 2024-05-28

Family

ID=88255555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310039170.XA Active CN116883853B (zh) 2023-01-12 2023-01-12 基于迁移学习的作物时空信息遥感分类方法

Country Status (1)

Country Link
CN (1) CN116883853B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689964A (zh) * 2024-02-02 2024-03-12 湖南省第二测绘院 一种基于多源影像的城市森林分类方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN109086649A (zh) * 2018-05-29 2018-12-25 国网新疆电力有限公司信息通信公司 卫星遥感图像水体识别方法
WO2019032692A1 (en) * 2017-08-08 2019-02-14 Spaceknow Inc. MULTI-SPECTRAL DEEP MULTI-SPECTRAL DEEP LEARNING DETECTION DETECTION FOR SATELLITE IMAGES
CN110020635A (zh) * 2019-04-15 2019-07-16 中国农业科学院农业资源与农业区划研究所 基于无人机影像与卫星影像的种植区农作物精细分类方法和系统
CN111325148A (zh) * 2020-02-20 2020-06-23 北京市商汤科技开发有限公司 遥感影像的处理方法、装置、设备和存储介质
CN111444985A (zh) * 2020-04-26 2020-07-24 南京大学 一种基于直方图匹配的图像匹配方法
CN111476170A (zh) * 2020-04-09 2020-07-31 首都师范大学 一种结合深度学习和随机森林的遥感影像语义分割方法
CN113516084A (zh) * 2021-07-20 2021-10-19 海南长光卫星信息技术有限公司 高分辨率遥感影像半监督分类方法、装置、设备及介质
CN113869370A (zh) * 2021-09-03 2021-12-31 中林信达（北京）科技信息有限责任公司 基于深度学习算法和时序哨兵影像的树种精细化分类方法
CN114255403A (zh) * 2021-12-21 2022-03-29 中国人民解放军战略支援部队信息工程大学 基于深度学习的光学遥感图像数据处理方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019032692A1 (en) * 2017-08-08 2019-02-14 Spaceknow Inc. MULTI-SPECTRAL DEEP MULTI-SPECTRAL DEEP LEARNING DETECTION DETECTION FOR SATELLITE IMAGES
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN109086649A (zh) * 2018-05-29 2018-12-25 国网新疆电力有限公司信息通信公司 卫星遥感图像水体识别方法
CN110020635A (zh) * 2019-04-15 2019-07-16 中国农业科学院农业资源与农业区划研究所 基于无人机影像与卫星影像的种植区农作物精细分类方法和系统
CN111325148A (zh) * 2020-02-20 2020-06-23 北京市商汤科技开发有限公司 遥感影像的处理方法、装置、设备和存储介质
CN111476170A (zh) * 2020-04-09 2020-07-31 首都师范大学 一种结合深度学习和随机森林的遥感影像语义分割方法
CN111444985A (zh) * 2020-04-26 2020-07-24 南京大学 一种基于直方图匹配的图像匹配方法
CN113516084A (zh) * 2021-07-20 2021-10-19 海南长光卫星信息技术有限公司 高分辨率遥感影像半监督分类方法、装置、设备及介质
CN113869370A (zh) * 2021-09-03 2021-12-31 中林信达（北京）科技信息有限责任公司 基于深度学习算法和时序哨兵影像的树种精细化分类方法
CN114255403A (zh) * 2021-12-21 2022-03-29 中国人民解放军战略支援部队信息工程大学 基于深度学习的光学遥感图像数据处理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIJUN WANG 等: "Deep segmentation and classification of complex crops using multi-feature satellite imagery", COMPUTERS AND ELECTRONICS IN AGRICULTURE, vol. 200, 30 September 2022 (2022-09-30), pages 1 - 15 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689964A (zh) * 2024-02-02 2024-03-12 湖南省第二测绘院 一种基于多源影像的城市森林分类方法及装置
CN117689964B (zh) * 2024-02-02 2024-05-03 湖南省第二测绘院 一种基于多源影像的城市森林分类方法及装置

Also Published As

Publication number Publication date
CN116883853B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN111598019B (zh) 基于多源遥感数据的作物类型与种植模式识别方法
CN111462223B (zh) 基于Sentinel-2影像的江淮地区大豆和玉米种植面积识别方法
El Hoummaidi et al. Using unmanned aerial systems and deep learning for agriculture mapping in Dubai
CN111340826A (zh) 基于超像素与拓扑特征的航拍图像单株树冠分割算法
CN112818749B (zh) 一年两熟地区大宗粮油作物复种模式遥感监测方法
CN111598045A (zh) 一种基于对象图谱和混合光谱的遥感耕地变化检测方法
CN113205014B (zh) 一种基于图像锐化的时序数据耕地提取方法
Zeng et al. A phenology-based vegetation index classification (PVC) algorithm for coastal salt marshes using Landsat 8 images
CN116912578A (zh) 一种农作物分类方法、系统及电子设备
CN116883853B (zh) 基于迁移学习的作物时空信息遥感分类方法
CN115641412A (zh) 基于高光谱数据的三维语义地图的生成方法
Zhu et al. Estimating and mapping mangrove biomass dynamic change using WorldView-2 images and digital surface models
She et al. Identification and mapping of soybean and maize crops based on Sentinel-2 data
CN117197668A (zh) 基于深度学习的作物倒伏级别的预测方法及系统
Chen et al. 3D model construction and ecological environment investigation on a regional scale using UAV remote sensing
CN115830464A (zh) 基于多源数据的高原山地农业大棚自动提取方法
Fan et al. An improved Deeplab based model for extracting cultivated land information from high definition remote sensing images
CN113705454A (zh) 一种包含红外光谱遥感影像的有林地提取方法
Bai et al. Remotely sensed percent tree cover mapping using support vector machine combined with autonomous endmember extraction
van Niekerk et al. THE APPLICATION OF NATIONAL SCALE REMOTELY SENSED EVAPOTRANSPIRATION (ET) ESTIMATES TO QUANTIFY WATER USE AND DIFFERENCES BETWEEN PLANTATIONS IN COMMERCIAL FORESTRY REGIONS OF SOUTH AFRICA
Nurul Application of Remote Sensing and Geographic Information System Techniques to Monitoring of Protected Mangrove Forest Change in Sabah, Malaysia
CN117934662A (zh) 无样本标注的区域大豆制图方法、装置及设备
Xiong et al. Detecting and Mapping Individual Fruit Trees in Complex Natural Environments via UAV Remote Sensing and Optimized YOLOv5
Abdollahi et al. Regional-Scale Analysis of Vegetation Dynamics Using Satellite Data and Machine Learning Algorithms: A Multi-Factorial Approach
Liu et al. Mapping annual center-pivot irrigated cropland in Brazil during the 1985–2021 period with cloud platforms and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant