CN116363498A - 基于深度迁移学习的黄土高原梯田自动识别方法 - Google Patents

基于深度迁移学习的黄土高原梯田自动识别方法 Download PDF

Info

Publication number
CN116363498A
CN116363498A CN202210518387.4A CN202210518387A CN116363498A CN 116363498 A CN116363498 A CN 116363498A CN 202210518387 A CN202210518387 A CN 202210518387A CN 116363498 A CN116363498 A CN 116363498A
Authority
CN
China
Prior art keywords
model
training
terrace
sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210518387.4A
Other languages
English (en)
Inventor
蔚铭阁
芮小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202210518387.4A priority Critical patent/CN116363498A/zh
Publication of CN116363498A publication Critical patent/CN116363498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于深度迁移学习的黄土高原梯田自动识别方法，首先，以U‑Net网络为基础，为了提高其训练速度及鲁棒性，添加Dropout层和BN层，构建IEU‑Net网络，使用WorldView‑1源域数据集训练IEU‑Net网络获得一个适应于多类型数据源梯田识别的源模型，将源模型作为预训练模型获取其权重。然后，基于IEU‑Net网络加入新的卷积层和Softmax层设计一个迁移网络，并将获得的权重迁移到新网络。最后，使用GF‑2目标域小样本数据集对迁移网络进行训练，实现梯田精确识别。本发明探索深度迁移学习对目标任务的完成能力，以期实现小样本梯田的大面积、高精度、自动识别。

Description

基于深度迁移学习的黄土高原梯田自动识别方法
技术领域
本发明属于梯田识别领域，具体为基于深度迁移学习的黄土高原梯田自动识别方法。
背景技术
在中国黄土高原地区，由于自然地理环境的特殊性，致使水土流失严重，黄河中泥沙剧增，这严重制约了区域经济的发展，进一步威胁下游地区数千万人民生命与财产安全。梯田其独特的地形结构，不仅可以有效防止水力侵蚀，还可为植被生长提供充分水因子，具有显著的蓄水、保土、增产的作用，是黄土高原地区治理坡耕地水土流失的根本措施。梯田建成后维护、验收、监测等工作的完成，都依赖于准确的梯田信息。因此，高效、精确的提取梯田信息对水土保持规划及监测均具有重要指导意义。
传统人工统计梯田信息的方法不仅耗费大量人力物力，而且所受限制颇多，具有可重复性差、效率低下、周期性长等问题，而高分辨率遥感技术的发展，使得遥感影像的光谱分辨率、时间分辨率、空间分辨率等各方面都得到了很大的提高，使得连续监测梯田成为了可能，有助于获取更为丰富、准确的梯田特征信息。
在以高分辨率遥感影像为基础的梯田识别研究中，目前主要包括三种提取梯田的方法，即目视解译法，基于纹理特征的傅里叶变换法以及面向对象分类方法。人工目视解译方法由于不需要实地踏勘在一段时间内被广泛使用，但其对解译人员专业知识依赖程度较高，结果准确性难以保证，无法在较短时间内完成大面积梯田提取。随着高分辨率遥感卫星传感器的快速发展，基于梯田的频谱纹理特征进行自动提取成为可能，现有技术采用傅里叶变换算法，基于高分辨率遥感影像进行梯田纹理特征的提取，发现该方法对小面积梯田识别精度较高，但大面积识别时，由于地貌类型更为复杂，非梯田类型的不规则纹理信息对结果产生极大干扰，错分、漏分现象严重，所得精度无法满足工程化生产需要。而面向对象分类方法综合考虑了形状、光谱、问题等信息，不再基于某一单一特征对梯田进行提取，而是将有意义的邻近对象作为分析的基本单元实现对梯田的提取。还有将DEM、DSM数据与高分辨率遥感影像结合，采用多尺度对象分类方法实现了梯田进行识别。但是此方法的精度主要依赖于用户提供的特征向量，未考虑梯田田坎，对于不规则的梯田形状，此方法分类效果一般。
综上所述，以上进行梯田提取的方法对区域环境较为敏感，其精度均无法满足工程需要。而深度学习依托端到端的学习方式，更为关注目标本身的信息特征，在一定程度上可以弱化复杂环境带来的影响，更好的实现对研究对象深层次信息的挖掘，从而提高精度，目前已经在图像分类、语义分割、目标检测等领域得到了深度应用。许多学者也利用深度学习方法对梯田进行了提取，精度较高，但深度学习技术存在一个重要问题，即需要大量训练数据才可能达到较好的泛化能力，对于小样本问题效果较差。迁移学习的基本思想是复用，是指利用数据、任务或模型之间的相似性，将辅助领域的知识应用到新领域，实现不同任务之间的迁移与共享。深度迁移方法主要是将深度学习与迁移学习结合起来，在保证速度快、硬件设备要求低的同时，对复杂环境的小样本数据也能克服环境影响，快速学习到主要特征，实现高精度的提取，该方法近几年在遥感领域的目标识别、图像分类等方面的应用也非常广泛。
发明内容
针对现有梯田识别领域存在的问题，本发明以高分辨率遥感影像为基础，基于WorldView-1数据集训练一个适应于多类型数据源进行梯田识别的源模型，引入迁移机制，选择其作为预训练模型以供第二个任务进行学习，构建迁移模型，以小样本的GF-2数据集作为第二个任务的数据基础，探索深度迁移学习对目标任务的完成能力，以期实现小样本梯田的大面积、高精度、自动识别。
具体的技术方案为：
基于深度迁移学习的黄土高原梯田自动识别方法，包括以下步骤：
(1)数据预处理：对影像进行预处理，以此为基础进行人工标注获得真实的样本标签，利用滑动窗口裁剪方法生成256×256像素的样本数据集，将其格式由tiff转换为png，最后进行数据增强处理，划分为训练集和验证集；
(2)构建IEU-Net模型：在U-Net模型基础上构建IEU-Net模型，对高分辨率遥感数据进行深度特征提取；
(3)获取最优梯田识别预训练模型：将WorldView-1样本集输入IEU-Net模型进行训练，调整参数，保存最优WorldView-1梯田识别模型；
(4)将预训练模型迁移到GF-2小样本梯田的高精度识别：载入预训练模型权重，根据实验要求调整模型结构，构建迁移模型，采用不同的Fine-tune策略，选择训练部分参数或者重新训练所有参数，将GF-2样本集输入新模型进行训练，参数对比调优，保存迁移模型；
(5)预测成图：采用忽略边缘预测方法构建一个预测模型，将测试集输入预测模型进行预测成图，从而消除边界拼接痕迹、丰富图像边缘信息；
(6)精度评价：将各测试区的预测图与真值图进行对比，选择总体精度(OA)、F1-分数(F1-Score)、平均交并比(mIoU)等评价指标进行精度评价。
附图说明
图1为实施例研究区地理位置及区域遥感影像；
图2a为实施例WorldView-1样本集的影像图；
图2b为实施例WorldView-1样本集的标签图；
图3a为实施例GF-2样本集的影像图；
图3b为实施例GF-2样本集的标签图；
图4为实施例样本区及各测试区影像图；
图5为本发明的方法流程图；
图6为实施例IELoss计算区域示意图；
图7-0为实施例输入图像；
图7-1为实施例第1个卷积层特征映射图；
图7-2为实施例第2个卷积层特征映射图；
图7-3为实施例第3个卷积层特征映射图；
图7-4为实施例第4个卷积层特征映射图；
图7-5为实施例第5个卷积层特征映射图；
图7-6为实施例第6个卷积层特征映射图；
图7-7为实施例第7个卷积层特征映射图；
图7-8为实施例第8个卷积层特征映射图；
图7-9为实施例第9个卷积层特征映射图；
图7-10为实施例第10个卷积层特征映射图；
图8为实施例池化操作示意图；
图9为实施例预测方法示意图；
图10a为实施例预训练模型训练集和验证集准确率；
图10b为实施例预训练模型训练集和验证集损失值；
图10c为实施例迁移模型训练集和验证集准确率；
图10d为实施例迁移模型训练集和验证集损失值；
图11为实施例测试区梯田识别结果对比图。
具体实施方式
结合实施例说明本发明的具体技术方案。
本实施例研究区域地处山西省晋城市沁水县端氏镇，属于黄土广泛覆盖的丘陵梯田区，其地理坐标范围为北纬35°37′10.12″～35°54′19.06″，东经112°25′44.50″～112°37′55.07″，境内山峦重叠，沟壑纵横，高差悬殊，海拔高度511～2358米，年平均气温6.5℃～12.5℃，年平均降水量560～750毫米。该区域梯田形态丰富、面积大，人类活动的痕迹较为明显，有许多普通农田等复杂的干扰物，是一个复杂的梯田提取实验区，代表性较强。该研究区地理位置及区域遥感影像如图1所示。
本实施例实验数据采用沁水县端氏镇的WorldView-1和GF-2卫星遥感影像数据，均来源于中景视图，这些影像也被广泛用于图像分割，目标识别。WorldView-1卫星于2007年9月18日发射，其影像数据仅有空间分辨率为0.5米的全色影像，GF-2卫星于2014年8月19日发射，包括空间分辨率为1米的全色影像和4米的多光谱影像，WorldView-1和GF-2卫星影像的参数分别见表1、表2。其他辅助数据主要是QuickBird卫星2.44米的多光谱影像数据，用于WorldView-1卫星全色影像的融合，全色影像与多光谱影像空间分辨率差异越小，融合效果越好。
表1 WorldView-1卫星影像参数
Figure BDA0003640687710000041
注：对于非政府用户，图像必须重采样成0.5m
表2 GF-2卫星影像参数
Figure BDA0003640687710000042
本实施例方法流程图如图5所示，以期实现梯田田面的准确提取以及梯田边界的精确分割。具体步骤如下：(1)数据预处理：对影像进行预处理，以此为基础进行人工标注获得真实的样本标签，利用滑动窗口裁剪方法生成256×256像素的样本数据集，将其格式由tiff转换为png，最后进行数据增强处理，划分为训练集和验证集。(2)构建IEU-Net模型：在U-Net模型基础上构建IEU-Net模型，对高分辨率遥感数据进行深度特征提取。(3)获取最优梯田识别预训练模型：将WorldView-1样本集输入IEU-Net模型进行训练，调整参数，保存最优WorldView-1梯田识别模型。(4)将预训练模型迁移到GF-2小样本梯田的高精度识别：载入预训练模型权重，根据实验要求调整模型结构，构建迁移模型，采用不同的Fine-tune策略，选择训练部分参数或者重新训练所有参数，将GF-2样本集输入新模型进行训练，参数对比调优，保存迁移模型。(5)预测成图：采用忽略边缘预测方法构建一个预测模型，将测试集输入预测模型进行预测成图，从而消除边界拼接痕迹、丰富图像边缘信息。(6)精度评价：将各测试区的预测图与真值图进行对比，选择总体精度(OA)、F1-分数(F1-Score)、平均交并比(mIoU)等评价指标进行精度评价。
数据预处理：
本实施例首先从研究区域分别截取1块WorldView-1(0.5m)样本区和1块GF-2(1m)样本区，WorldView-1样本区大小为11000×11000像素，范围广，梯田类型丰富，特征清晰。GF-2样本区大小为3400×3400像素，范围小，清晰度相对较低。利用ENVI 5.3对样本区的WorldView-1全色影像和QuickBird多光谱影像以及GF-2全色影像和多光谱影像进行了辐射校正、大气校正、正射校正以及影像融合，并对融合后的GF-2影像进行了RGB三波段提取，根据实验要求，本实施例采用ArcGIS 10.7进行WorldView-1和GF-2两个标签数据集的制作，将梯田田面像素值设置为255，用白色(RGB(255，255，255))进行标注，其他部分像素值设置为0，用黑色(RGB(0，0，0))进行标注。标注完成后，利用python代码对处理后的影像及标签进行滑动窗口裁剪(256*256)、格式转换，为防止过拟合，对原1·数据集采用旋转(水平、垂直)、对角镜像、添加噪声的方式进行数据增强。数据增强后得到WorldView-1样本数据集17760组，其中训练集13320组，验证集4440组，GF-2样本数据集1300组，其中训练集1000组，验证集300组。本实验WorldView-1样本集的影像图(图2a)和标签图(图2b)一一对应，如图2所示。GF-2样本集的影像图(图3a)和标签图(图3b)一一对应，如图3a和图3b所示。本实施例样本区域的遥感图像包含道路、建筑物、沟壑、原始斜坡和大量植被，具有一定的复杂性，背景中的干扰元素可以验证模型正确提取平台信息的能力。为了验证所提方法的泛化能力，本实施例基于GF-2高分辨率遥感影像选取南部相邻的嘉峰镇作为另一个研究区域，并选取3块梯田类型丰富的代表性区域作为测试集，大小均为500×500像素，样本区及各测试区影像如图4所示。
IEU-Net模型：
U-Net网络因形状呈“U”型而得名，左半部分是压缩路径，由两个3×3的卷积层加上ReLU非线性变换再加上一个2×2的Max Pooling层组成一个下采样的模块，主要作用是进行特征提取，右半部分是扩展路径，由一个上采样的卷积层加上特征拼接(copy andcrop)加上两个3×3的卷积层再加上ReLU非线性变换反复构成，主要用来实现精准定位，压缩路径和扩展路径均有四块采样模块，最后通过特征拼接加上两个3×3的卷积层加上一个1×1的卷积层和Softmax函数得到分类结果，IEU-Net网络以U-Net网络为基础架构，在第四和第五组卷积操作后分别添加了概率为0.5的Dropout层，即在每次训练迭代中，以0.5的概率丢弃神经元，可有效防止过拟合，并在每次卷积之后添加批归一化(BatchNormalization，BN)处理层，对输入数据先进行归一化处理再输入下一层，可有效提升网络训练速度，归一化层数学表达式为:
Figure BDA0003640687710000061
其中，y(k)代表第k层的归一化处理结果，
Figure BDA0003640687710000062
代表标准差归一化结果，γ(k)、β(k)表示学习参数。
另外，IEU-Net采用忽略边缘交叉熵函数作为损失函数，以分类交叉熵函数(CELoss)为基础进行改进，记为IELoss，其表达式为：
Figure BDA0003640687710000063
其中，r为所选区域像元数目占整个图像像元数目的比例，即r＝a/A，N为样本图像像元总数，M为包括背景类别的类别总数，
Figure BDA0003640687710000064
为M通道由0和1组成的张量，
Figure BDA0003640687710000065
为样本向前传播所获得的M层像素类别概率值组成的张量。/>
Figure BDA0003640687710000066
和/>
Figure BDA0003640687710000067
之间差值一般由损失函数loss量化计算，差值越小，参数越接近最优，模型效果越好。
该损失函数计算区域示意图如图6所示，即在进行损失值计算时，选择中间a区域进行计算，而不是整个图像区域A，因为图像中间区域领域范围广阔，结合自身特征信息以及周边邻域信息，很容易即可判定所属类别，但边缘区域由于裁剪操作导致其邻域信息丢失，仅剩的信息不足以判断出其所属类别，一般的模型在训练时为了降低损失值，会将缺乏特征信息的边缘区域与真实值强制拟合，就会出现图像边缘信息缺失导致的过拟合问题，此损失函数可以有效解决这个问题，并在一定程度上提高分类精度。
特征映射可视化：
卷积神经网络的一个重要组件就是卷积层，它承担了深度学习过程中的大部分计算工作，主要由带有一组固定权重神经元的卷积核叠加组成，多个卷积核滑动对某个区域做卷积运算，即可实现神经网络对高层次抽象特征的提取。卷积操作表达式为：
Figure BDA0003640687710000068
其中，M、N分别表示卷积核的宽和高，ωm,n表示卷积核第m行n列的权值参数，b为偏置参数，i、j分别表示卷积核在特征图上滑动了i行、j列，xi+m,j+n为特征图第i+m行，j+n列的像素值，f(·)为非线性激活函数，Ys,t表示特征图经卷积运算后输出的第s行t列像素值。
卷积层通常与激活函数结合使用，通过引入非线性因素模拟生物神经元受到激励的过程，去除数据冗余，以实现更好的特征映射，其常用的激活函数有Sigmoid，tanh和ReLU，其中ReLU函数相较于其他两种函数无需对输入归一化，并且具有稀疏激活性，即能够模仿神经元只对输入信号的少部分选择性响应，大量信号被刻意屏蔽，这样可以提高学习的精度，更好更快地提取稀疏特征，也能有效的防止过拟合，本实施例选取ReLU激活函数，其表达式为：
f(x)＝max(0,x) (4)
本实施例IEU-Net网络的特征提取器共包括10个卷积层，均采用3×3的卷积核，各层特征映射图如图7-0到图7-10所示。
池化操作：
池化层又称下采样层，位于连续的卷积层之间，基本思想源于视觉机制，主要作用是压缩特征图(压缩的是宽度和高度，通道数不变)，减少参数量，还可以改善过拟合现象，提高模型泛化能力。池化层具体操作与卷积层的操作基本相同，只是矩阵之间运算规律不同，并且不受反向传播影响，其下采样卷积核一般取的是对应位置的最大值或者平均值，分别被称为Max pooling和Mean pooling，本实施例IEU-Net模型共有4个池化层，依次位于Conv1-2、Conv2-2、Conv3-2、Drop4之后，池化核为2×2，步长为2，采用Max pooling，其池化操作示意图如图8所示。
深度迁移学习方法：
迁移学习方法一般分为基于实例的迁移学习、基于特征的迁移学习、基于关系的迁移学习以及基于模型的迁移学习。本实施例主要阐述基于模型的迁移学习，即找到源数据和目标数据的空间模型之间的共同参数或者先验分布并对其进行迁移，具体工作包括开发源模型和调整模型两个方面，源模型就是适应于源任务的模型。由于本实施例WorldView-1梯田数据较为丰富且分辨率较高，因此选择自己建立一个适应于梯田识别领域的源模型作为目标任务的学习起点，并将其作为预训练模型，用GF-2小样本集探索深度迁移学习对目标任务的完成能力。
本实施例采用Pre-train+Fine-tune的迁移学习方法，分别用两种Fine-tune策略进行了实验，具体方法如下：
(1)将前56层作为应用于新数据集的固定不变的特征提取器，并基于新数据集训练一个线性分类器。由于GF-2数据集较小，为了防止模型浅层对数据集过拟合，所以将预训练模型的前56层加载到迁移模型中，并将其学习率设置为0以冻结权重，本质上就是固定其参数，防止训练时权重更新。前56层与具体的分类任务关系不大，因此，只利用GF-2数据对新加入的卷积层以及Softmax层进行训练，此种方法所训练的参数较少，所以可以有效缩短训练时间，但模型训练效果一般。
(2)将预训练模型所有层加载到迁移模型中，替换预训练模型顶层的分类器并重新训练，使用预训练模型的权重初始化整个网络的权重，将GF-2数据集输入到迁移模型，在继承其权重基础上以较小的学习率继续反向传播来微调预训练网络的权重。此方法所训练的参数较多，但相较于随机初始化网络，能够节省很多时间，并且继承的预训练模型权重能够有效提升训练效率，加速收敛，提升模型泛化能力，获得好的训练效果。
预测模型：
在训练好模型进行预测时，如果将较大的待分类遥感影像直接输入到网络模型中会造成内存溢出，故一般将待分类图像裁剪为一系列较小图像分别输入网络进行预测，然后将预测结果按照裁剪顺序拼接成一张最终结果图像。因为每张图像的边缘区域的上下文信息较少，所以传统的先用规则格网裁剪再拼接的传统预测方法效果不好，预测结果精度较低，还会出现明显的拼接痕迹，为了解决这个问题，本实施例构建了一个预测模型，采用忽略边缘的方法，即先把大图像裁剪成一系列与相邻图像块有特定重复区域的图像块，并把它们存在链表里，然后创建生成器，之后进行预测，最后对预测结果只取中间部分进行拼接。预测方法示意图如图9所示，其中，A代表真实裁剪的预测图，a代表拼接结果，相邻图像裁剪时其重叠比例为
Figure BDA0003640687710000081
实验和结果：
实验平台采用英特尔Xeon(R)Gold 6130@2.10GHz十六核处理器，配置48.0G内存(DDR4 2666MHz)，搭载Nvidia GeForce GTX 1080Ti显存的显卡。实验以Anaconda3(64-bit)为载体进行环境配置，采用Windows 10专业版64位操作系统，通过conda命令创建一个虚拟环境，在环境内安装Python3.6版本，选择TensorFlow2.6作为深度学习框架，利用框架中集成的Keras工具进行模型搭建，选择与计算机配置匹配的CUDA 11.2版本作为GPU运算平台，搭载cuDNN 8.1.0作为深度学习GPU加速库，最后采用PyCharm 2018进行深度学习程序开发、编译，保证实验顺利进行。
构建预训练模型时，将WorldView-1数据集作为模型输入，由于Adam优化器既能适应稀疏梯度，又可缓解梯度震荡，并且适应模型范围广、计算高效，因此使用该优化器进行损失函数的优化，当Batch Size为2的幂次方时，可发挥GPU最佳并行计算处理能力，效率最高，并且可以加速梯度下降算法训练，因此通过多次调参优化，最终将Batch Size值设为16，学习率设为1×10-4，总迭代次数设为100，只保存最优一次的训练模型作为预训练模型，当作迁移学习的起点。构建迁移模型时，仍然选择Adam优化器来优化损失函数，经过反复调参，确定其参数设置与构建预训练模型时一致，可达到更好的识别效果。
精度评价指标：
精度评价对本实施例而言是指将实验方法得出的梯田识别结果图与通过目视解译人工绘制的真实标签图进行对比，从而评价该实验方法的准确性。为了对利用迁移学习方法进行GF-2小样本梯田识别的效果进行定量描述，本实施例利用混淆矩阵进行精度评价。混淆矩阵是一个统计分类模型的分类结果的M×M矩阵，其中M为类别数，本实施例类别数为2，混淆矩阵为2×2矩阵，其各项具体含义见表3。
表3预测结果混淆矩阵
Figure BDA0003640687710000091
本实施例选择总体精度(OA)、F1-分数(F1-Score)、平均交并比(mIoU)三个评价因子，总体精度OA表示每一个随机样本，预测的分类结果与真实类型一致的概率，F1-分数是分类模型精确率和召回率的调和平均值，交并比表示预测类别样本与实际类别样本的交集与并集之比，平均交并比是对每一类交并比求和平均的结果。其计算公式分别如式(5)、式(6)、式(7)所示。
Figure BDA0003640687710000092
Figure BDA0003640687710000093
Figure BDA0003640687710000094
其中，TP(True Positive)表示分类正确的梯田像素点，FP表示分类错误的梯田像素点，TN表示分类正确的非梯田像素点，FN表示分类错误的非梯田像素点，n为类别数。
结果与分析：
本实施例对两种Fine-tune策略均进行了实验，基于第一种策略训练出的模型效果较差，因此主要采用第二种策略完成模型迁移，图10a到图10d分别展示的结果为预训练模型的训练集和验证集精度、损失图以及基于第二种策略的迁移模型其训练集和验证集的精度、损失图。两种模型在训练过程中的训练集和验证集的准确率随着迭代次数增加缓慢升高，逐渐趋近于1，而损失值缓慢降低，逐渐趋近于0，两者均逐渐趋于平稳，其中，横轴表示迭代次数，纵轴表示准确率或损失值。
模型训练完成之后，将测试集输入预测模型进行预测成图，并将采用第二种策略的迁移学习方法与直接训练方法、基于第一种策略的迁移学习方法进行对比实验，实验样本数据集相同，所设参数也相同。三种方法的测试图像(图11中(a))、真实标签图像(图11中(b))、预测图像(图11中(c)、(d)、(e))对比图如图11所示。
根据实验结果对比图可以看出，基于第二种策略的迁移学习识别效果最好，对梯田田面以及边缘的识别均较为精准，可以清晰的分割梯田田块。而未经过迁移学习的方法虽能大面积识别梯田，但是对梯田边缘的识别效果较差，粘连现象较为严重，漏分、错分问题也较多。基于第一种策略的迁移学习效果最差，基本无法正确识别梯田田面以及边缘线，表明只针对线性分类器进行训练的迁移学习方法虽然节省了大量训练时间，但对梯田特征学习不足，无法很好的将梯田识别出来。综上所述，通过目视解译可以看出，使用预训练模型的权重初始化整个网络的权重，并对分类器进行重新训练的迁移学习方法，在小样本梯田的识别问题上展现出了很好的效果，并且由于此方法是在预训练模型权重基础上进行训练，因此相比于直接训练方法所需训练时间更短。
在三种方法识别结果进行对比之后，本实施例基于预测结果与真值图进行混淆矩阵的计算，最终完成了精度评价工作。由于基于第一种策略的迁移学习方法效果太差，在此只对直接训练方法与基于第二种策略的迁移学习方法进行精度评价。3个测试区的精度评价结果如表4所示。
表4精度评价结果
Figure BDA0003640687710000101
从表4中可以看出，迁移学习方法相对于直接训练方法各个评价因子精度都有很大提升，在测试区1的总体精度、F1分数、平均交并比分别提高了7.21％、13.67％、16.54％，在测试区2的总体精度、F1分数、平均交并比分别提高了10.11％、15.44％、21.72％，在测试区3的总体精度、F1分数、平均交并比分别提高了9.3％、16.26％、20.56％，在三个测试区的总体精度、F1分数、平均交并比的平均精度分别提高了8.88％、15.12％、19.61％。
对比图以及精度评价结果均表明，迁移学习方法对于小样本梯田的识别效果最好，可以精确的分割梯田田面，三个评价指标的精度也最高，三个测试区的平均总体精度、F1分数、平均交并比分别达到了93.12％、91.40％、89.90％，印证了迁移学习方法在小样本梯田自动识别的优越性。
结论：
本实施例为解决小样本数据快速准确提取梯田的问题，提出了基于深度迁移学习的高分辨率遥感影像梯田像素级精确提取方法，并为梯田识别领域构建了最优的预训练模型。为了验证迁移学习方法的优异性，与未使用迁移学习直接进行训练的方法进行了对照试验。基于GF-2小样本数据集的训练结果表明，迁移学习模型由于继承了预训练模型权重其特征提取能力更强，所需训练时间更短，并且能够更好的关注梯田边缘信息，可以更为准确的对梯田田面进行分割，解决了大面积狭长梯田的粘连问题。
但是，模型对于面积较小的梯田存在漏分现象，还有少部分错分问题，梯田边界信息还需要进一步提升精度，后续研究会从以下两个方面进行尝试：(1)将地形因子数据，如DEM数据等，与高分辨率遥感影像数据结合进行学习，以期得到更为精确的梯田提取结果。(2)将迁移学习的特征提取与高性能的分类器组合使用，探索能否进一步提高精度，也为梯田识别领域提供一条新思路。

Claims (2)

1.基于深度迁移学习的黄土高原梯田自动识别方法，其特征在于，包括以下步骤：
(1)数据预处理：对影像进行预处理；
(2)构建IEU-Net模型；
(3)获取最优梯田识别预训练模型；
(4)将预训练模型迁移到GF-2小样本梯田的高精度识别；
(5)预测成图；
(6)精度评价。
2.根据权利要求1所述的基于深度迁移学习的黄土高原梯田自动识别方法，其特征在于，包括以下步骤：
(1)数据预处理：对影像进行预处理，以此为基础进行人工标注获得真实的样本标签，利用滑动窗口裁剪方法生成256×256像素的样本数据集，将其格式由tiff转换为png，最后进行数据增强处理，划分为训练集和验证集；
(2)构建IEU-Net模型：在U-Net模型基础上构建IEU-Net模型，对高分辨率遥感数据进行深度特征提取；
(3)获取最优梯田识别预训练模型：将WorldView-1样本集输入IEU-Net模型进行训练，调整参数，保存最优WorldView-1梯田识别模型；
(4)将预训练模型迁移到GF-2小样本梯田的高精度识别：载入预训练模型权重，根据实验要求调整模型结构，构建迁移模型，采用不同的Fine-tune策略，选择训练部分参数或者重新训练所有参数，将GF-2样本集输入新模型进行训练，参数对比调优，保存迁移模型；
(5)预测成图：采用忽略边缘预测方法构建一个预测模型，将测试集输入预测模型进行预测成图，从而消除边界拼接痕迹、丰富图像边缘信息；
(6)精度评价：将各测试区的预测图与真值图进行对比，选择总体精度OA、F1-分数F1-Score、平均交并比mIoU评价指标进行精度评价。
CN202210518387.4A 2022-05-12 2022-05-12 基于深度迁移学习的黄土高原梯田自动识别方法 Pending CN116363498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210518387.4A CN116363498A (zh) 2022-05-12 2022-05-12 基于深度迁移学习的黄土高原梯田自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210518387.4A CN116363498A (zh) 2022-05-12 2022-05-12 基于深度迁移学习的黄土高原梯田自动识别方法

Publications (1)

Publication Number Publication Date
CN116363498A true CN116363498A (zh) 2023-06-30

Family

ID=86926176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210518387.4A Pending CN116363498A (zh) 2022-05-12 2022-05-12 基于深度迁移学习的黄土高原梯田自动识别方法

Country Status (1)

Country Link
CN (1) CN116363498A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152849A (zh) * 2023-10-09 2023-12-01 江苏比特达信息技术有限公司 一种煤矿井下弱特征人员身份识别新方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699966A (zh) * 2021-01-14 2021-04-23 中国人民解放军海军航空大学 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699966A (zh) * 2021-01-14 2021-04-23 中国人民解放军海军航空大学 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LU HENG ET AL.: "基于深度迁移学习的无人机成像耕地信息提取", 《JOURNAL OF MOUNTAIN SCIENCE》, vol. 14, no. 4, pages 731 - 741 *
RUI XP ET AL.: "基于深度迁移学习的黄土高原梯田自动识别方法", 《REMOTE SENSING》, vol. 14, no. 10, pages 1 - 19 *
王振庆 等: "IEU-Net高分辨率遥感影像房屋建筑物提取", 《遥感学报》, vol. 25, no. 1, pages 2245 - 2254 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152849A (zh) * 2023-10-09 2023-12-01 江苏比特达信息技术有限公司 一种煤矿井下弱特征人员身份识别新方法

Similar Documents

Publication Publication Date Title
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
Panchal et al. Biogeography based satellite image classification
Saralioglu et al. Semantic segmentation of land cover from high resolution multispectral satellite images by spectral-spatial convolutional neural network
CN112132149B (zh) 一种遥感影像语义分割方法及装置
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
Wang et al. Evaluation of a deep-learning model for multispectral remote sensing of land use and crop classification
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
Wang et al. Distilling knowledge from an ensemble of convolutional neural networks for seismic fault detection
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
Wang et al. Automatic identification and dynamic monitoring of open-pit mines based on improved mask R-CNN and transfer learning
CN103268607A (zh) 一种弱监督条件下的共同对象检测方法
CN114399686A (zh) 一种基于弱监督学习的遥感图像地物识别与分类方法和装置
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
WO2024060416A1 (zh) 一种病理图像的端到端弱监督语义分割标注方法
CN114219963A (zh) 地学知识引导的多尺度胶囊网络遥感地物分类方法及系统
CN113989287A (zh) 城市道路遥感图像分割方法、装置、电子设备和存储介质
Malik et al. Computer vision models for comparing spatial patterns: understanding spatial scale
Marcer Rock glaciers automatic mapping using optical imagery and convolutional neural networks
CN114973019A (zh) 一种基于深度学习的地理空间信息变化检测分类方法及系统
CN116363498A (zh) 基于深度迁移学习的黄土高原梯田自动识别方法
Li et al. SDMNet: A deep-supervised dual discriminative metric network for change detection in high-resolution remote sensing images
Hu et al. Cross-domain meta-learning under dual adjustment mode for few-shot hyperspectral image classification
CN117710744A (zh) 基于波段选择特征融合多注意力网络的高光谱图像分类方法
Lu et al. An iterative classification and semantic segmentation network for old landslide detection using high-resolution remote sensing images
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination