CN116188993A - 一种基于多任务学习的遥感图像耕地地块分割方法 - Google Patents
一种基于多任务学习的遥感图像耕地地块分割方法 Download PDFInfo
- Publication number
- CN116188993A CN116188993A CN202310289901.6A CN202310289901A CN116188993A CN 116188993 A CN116188993 A CN 116188993A CN 202310289901 A CN202310289901 A CN 202310289901A CN 116188993 A CN116188993 A CN 116188993A
- Authority
- CN
- China
- Prior art keywords
- cultivated land
- remote sensing
- network model
- sensing image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000011218 segmentation Effects 0.000 title claims abstract description 34
- 238000003708 edge detection Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000000877 morphologic effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多任务学习的遥感图像耕地地块分割方法，包括：制作耕地地块数据集；得到改进后的边缘检测模型DexiNed作为边缘分支；搭建语义分支，边缘分支和语义分支共同组成基于多任务学习的耕地地块识别网络模型；自适应调整耕地地块识别网络模型的子任务损失权重；将耕地地块数据集输入到耕地地块识别网络模型中进行训练；将待分割的大尺度遥感影像输入训练后的耕地地块识别网络模型中，采用膨胀滑窗预测方法进行预测，得到该区域的耕地地块识别结果。本发明以深度学习方法为基础搭建网络模型，能够提取上下文信息、高阶语义信息、空间形态信息等更加丰富的高级特征，从而使地块识别准确性和鲁棒性更优。
Description
技术领域
本发明涉及耕地地块信息提取及遥感影像处理技术领域，尤其是一种基于多任务学习的遥感图像耕地地块分割方法。
背景技术
耕地地块是指具有一致土地利用现状的封闭农田区域，是耕地管理与规划的基本单元以及农业生产活动的基础对象。获取高精度地块信息对于掌握农田变化动态、辅助耕地资源分配、推动精准农业技术平台搭建等具有重要意义。
具有观测视角广、数据时效性强等特点的遥感技术常为耕地地块信息提取等农业应用场景提供数据支持。基于深度卷积神经网络(convolutional neural network，CNN)的耕地地块遥感识别方法均存在一定的缺陷，具体如下：第一，仅使用CNN边缘检测模型通过检测地块边缘继而获取耕地地块的方法无法直接获得独立准确的闭合地块，往往要加入繁琐的后处理步骤；第二，仅利用CNN语义分割模型识别地块容易忽略种植物或其他植被的边缘效应，导致提取的地块缺失精准的边缘信息；第三，结合边缘检测和语义分割优势的混合方法虽然取得了优于上述两种方法的性能，但是已有的研究往往通过分步实现，特征提取效率不高。
多任务学习是一种从多个相关任务中获取主任务的额外信息从而影响任务结果的机器学习方法，其目的是通过归纳迁移和共享表示达到预测效率和精度的提高。深度学习领域最常用的多任务学习参数共享方式为硬参数共享，该方法通过在不同任务之间共用底层参数，针对各任务的需求差异设计不同的模型输出端。多任务学习方法相较于单任务而言更加有助于优化模型的泛化误差和提高模型的整体性能。目前已有的基于多任务学习的遥感图像耕地地块分割方法存在地块边界识别精度不高的缺陷。
发明内容
为解决耕地地块遥感识别无法获取准确的地块边缘信息和内部区域信息的缺陷，本发明的目的在于提供一种能够精确识别出具有准确边缘结构和区域信息的耕地地块的基于多任务学习的遥感图像耕地地块分割方法。
为实现上述目的，本发明采用了以下技术方案：一种基于多任务学习的遥感图像耕地地块分割方法，该方法包括下列顺序的步骤：
(1)基于遥感影像制作耕地地块数据集；
(2)对边缘检测模型DexiNed进行改进，得到改进后的边缘检测模型DexiNed作为边缘分支；
(3)借鉴语义分割模型UNet的解码器搭建语义分支，边缘分支和语义分支共同组成基于多任务学习的耕地地块识别网络模型；
(4)使用动态平均加权算法自适应调整基于多任务学习的耕地地块识别网络模型的子任务损失权重；
(5)将耕地地块数据集输入到基于多任务学习的耕地地块识别网络模型中进行训练；
(6)将待分割的大尺度遥感影像输入训练后的基于多任务学习的耕地地块识别网络模型中，采用膨胀滑窗预测方法进行预测，得到该区域的耕地地块识别结果。
所述步骤(1)具体包括以下步骤：
(1)基于遥感影像制作耕地地块数据集，并划分为训练集和测试集；
(2)对边缘检测模型DexiNed进行改进，得到改进后的边缘检测模型DexiNed作为边缘分支；
(3)借鉴语义分割模型UNet的解码器搭建语义分支，边缘分支和语义分支共同组成基于多任务学习的耕地地块识别网络模型；
(4)使用动态平均加权算法自适应调整基于多任务学习的耕地地块识别网络模型的子任务损失权重；
(5)将训练集输入到基于多任务学习的耕地地块识别网络模型中进行训练；
(6)将待分割的大尺度遥感影像输入训练后的基于多任务学习的耕地地块识别网络模型中，采用膨胀滑窗预测方法进行预测，得到该区域的耕地地块识别结果。
所述步骤(2)具体包括以下步骤：
(2a)去除边缘检测模型DexiNed的第六个主要检测模块和对应的第六个主要检测模块的侧输出，得到精简化的DexiNed网络模型，精简化的DexiNed网络模型具有五个主要检测模块；
(2b)使用深度可分离卷积取代精简化的DexiNed网络模型的五个主要检测模块中的普通卷积；在相同输入情况下，使用比值关系衡量卷积参量优化效果如下：
其中，PDSC和PC分别表示深度可分离卷积与普通卷积的参数量；M表示输入特征映射的通道维数；N表示输出特征映射的通道维数；Hk、Wk表示卷积核的尺寸。
所述步骤(3)具体包括以下步骤：
(3a)搭建语义分支：使用6个3*3卷积层构成3组卷积，在相邻卷积组之间通过转置卷积实现上采样，至第3组卷积时特征图分辨率变为原图大小的二分之一，在第3组卷积之后增加一个上采样操作完全恢复特征图的分辨率至与输入相同的尺寸，使其能够与参考掩码进行匹配；
(3b)向步骤(3a)搭建的语义分支的每个层次加入全局高效上下文模块，捕获特征在远距离的依赖关系；
(3c)所述全局高效上下文模块首先对输入特征进行两路变换，一路使用二维1×1卷积与Softmax激活函数获取HM×1×1大小的全局注意权重矩阵，另一路展平特征图的空间维度将尺度变换到C×HW，对这两路输出进行矩阵相乘，得到如公式(2)所描述的尺度为C×1×1的全局特征F；随后，特征图被输入到一维卷积中捕获通道之间的交互信息，卷积核尺度K表示某一通道附近参与该通道注意力权重生成的通道覆盖率，是一个由公式(3)动态确定的参数，且与通道维数C成正相关，维数越高的通道越易进行远程信息交互；最后，对上述变换得到的特征和原始特征进行逐像素相加操作，整个全局高效上下文模块的输入输出关系如公式(4)所示：
其中，m、j表示特征图位置的枚举索引；Np表示特征图中的位置数；Wk表示中1×1卷积核的权值；xj、xm表示任意位置的特征响应；
代表卷积核自适应变化函数；|·|odd表示卷积核尺度K的取值被限定为奇数；γ和b是用于改变通道维数和卷积核尺寸的常数，一般取2和1；zi表示模块输出；xi表示模块输入，Wq表示一维卷积核的权值。
所述步骤(4)具体包括以下步骤：
(4a)使用动态平均加权算法自适应分配任务损失权重，基于多任务学习的耕地地块识别网络模型的总体损失计算方法为：
Ltotal＝ωsegLseg+ωedgeLedge (5)
其中，Ltotal、Lseg、Ledge分别表示总体损失函数、分割任务损失函数和边缘检测任务损失函数；ωseg为语义分割子任务损失函数的权重，ωedge为边缘检测子任务损失函数的权重；
(4b)所述动态平均加权算法根据任务学习速率动态更新样本权重，并使用损失下降速率作为学习速率的衡量标准，当子任务学习速率较快时则降低相应的任务重要程度，使得各任务训练速度处于平衡状态；其中，损失下降速率和权重系数计算公式如公式(6)、(7)所示：
其中，ωk(t)表示当前训练轮次子任务k的损失函数权重系数；S表示权重缩放因子，权重加权之和为S；λk(t-1)表示子任务k的学习速率；T表示权重分布控制因子，T越大，权重分布更加均匀；
和
表示前一轮和前前一轮的损失函数。
所述步骤(5)具体包括以下步骤：
(5a)在64位Ubuntu系统的服务器上完成模型的训练、预测过程，基于Python 3.7和CUDNN 11.3搭建pytorch框架，使用的中央处理器和图形处理器分别为2.20GHZ的IntelXeon E5-2650 v4和NVIDIA GTX 1080Ti；
(5b)采用Adam优化器优化网络模型参数，设置初始学习率为10-4，训练批次处理大小设置为8。
在步骤(6)中，所述膨胀滑窗预测方法为：设置滑动窗口为512*512像素大小，每次移动仅输出中心位置的256*256像素的预测结果，舍弃其他地方，被舍弃的地方会成为其他预测输出图的中心位置，确保整张图像的无损预测。
由上述技术方案可知，本发明的有益效果为：第一，本发明以深度学习方法为基础搭建网络模型，相比于基于人类经验或专业知识的图像处理技术方法，能够提取上下文信息、高阶语义信息、空间形态信息等更加丰富的高级特征，从而使地块识别准确性和鲁棒性更优；第二，本发明的全局高效上下文模块结合了高效通道注意力和全局上下文模块的特点，在实现远程特征依赖捕获功能的基础上具有进一步降低模块结构、计算量与参数量的复杂性的优点；第三，本发明采用的自适应动态平均加权算法，合理分配了地块识别任务场景下的边缘检测和语义分割子任务的贡献度，避免了任意子任务在模型特征学习中占据主导地位；第四，本发明基于多任务联合学习方法构建的网络模型，将耕地地块识别视作图像分割任务，通过增强地块边缘特征的表达提高地块边界处的识别精度，解决了仅使用边缘检测模型无法直接获得独立准确的闭合地块、仅利用语义分割模型提取的地块易缺失准确的边缘结构、结合边缘检测和语义分割优势的混合分步方法特征提取效率不高的问题，基于多任务学习的耕地地块识别网络模型具有鲁棒性强、识别结果边缘处的几何结构较为规整，内部区域误分割和漏分割情况较少的优点。
附图说明
图1为本发明的方法流程图；
图2为本发明中基于多任务学习的耕地地块识别网络模型的结构示意图；
图3为本发明中改进后的边缘检测模型DexiNed的结构示意图；
图4为本发明中全局高效上下文模块的结构示意图；
图5为本发明中耕地地块识别结果图。
具体实施方式
如图1所示，一种基于多任务学习的遥感图像耕地地块分割方法，该方法包括下列顺序的步骤：
(1)基于遥感影像制作耕地地块数据集，并划分为训练集和测试集；
(2)对边缘检测模型DexiNed进行改进，得到改进后的边缘检测模型DexiNed作为边缘分支；
(3)借鉴语义分割模型UNet的解码器搭建语义分支，边缘分支和语义分支共同组成基于多任务学习的耕地地块识别网络模型；
(4)使用动态平均加权算法自适应调整基于多任务学习的耕地地块识别网络模型的子任务损失权重；
(5)将训练集输入到基于多任务学习的耕地地块识别网络模型中进行训练；
(6)将待分割的大尺度遥感影像输入训练后的基于多任务学习的耕地地块识别网络模型中，采用膨胀滑窗预测方法进行预测，得到该区域的耕地地块识别结果。
所述步骤(1)具体包括以下步骤：
(1a)下载空间分辨率为2.15米的17级Google Earth遥感图像；
(1b)在地理信息处理软件ArcGIS中打开下载的遥感图像，采用目视解译的人工标注方法勾绘耕地地块面矢量，同时使用要素转线工具将面矢量转化为线矢量；
(1c)对步骤(1b)获得的面矢量和线矢量做矢量栅格转换，输出和遥感图像同尺度的语义标签和边缘标签，标签中白色表示耕地像素，像素值为1，黑色表示背景像素，像素值为0；
(1d)使用滑窗裁剪方式同步裁剪遥感图像、语义标签和边缘标签，得到747对像素尺度为512*512的初始样本集；
(1f)对初始样本集以垂直翻转、水平翻转、旋转90°、180°、270°的数据增强方式扩充到原来的6倍，生成具有4482对图像与标签对的耕地地块数据集，将耕地地块数据集中90％的数据作为训练集，剩下10％的数据作为测试集。
所述步骤(2)具体包括以下步骤：
(2a)去除边缘检测模型DexiNed的第六个主要检测模块和对应的第六个主要检测模块的侧输出，得到精简化的DexiNed网络模型，精简化的DexiNed网络模型具有五个主要检测模块；
(2b)使用深度可分离卷积取代精简化的DexiNed网络模型的五个主要检测模块中的普通卷积；深度可分离卷积能够在降低模型参数量和计算复杂度的同时实现与普通卷积一致的功能；在相同输入情况下，使用比值关系衡量卷积参量优化效果如下：
其中，PDSC和PC分别表示深度可分离卷积与普通卷积的参数量；M表示输入特征映射的通道维数；N表示输出特征映射的通道维数；Hk、Wk表示卷积核的尺寸。
所述步骤(3)具体包括以下步骤：
(3a)搭建语义分支：使用6个3*3卷积层构成3组卷积，在相邻卷积组之间通过转置卷积实现上采样，至第3组卷积时特征图分辨率变为原图大小的二分之一，在第3组卷积之后增加一个上采样操作完全恢复特征图的分辨率至与输入相同的尺寸，使其能够与参考掩码进行匹配；
(3b)向步骤(3a)搭建的语义分支的每个层次加入全局高效上下文模块，捕获特征在远距离的依赖关系，使基于多任务学习的耕地地块识别网络模型在全局视角上充分理解耕地地块识别任务；
(3c)如图4所示，所述全局高效上下文模块首先对输入特征进行两路变换，一路使用二维1×1卷积与Softmax激活函数获取HM×1×1大小的全局注意权重矩阵，另一路展平特征图的空间维度将尺度变换到C×HW，对这两路输出进行矩阵相乘，得到如公式(2)所描述的尺度为C×1×1的全局特征F；随后，特征图被输入到一维卷积中捕获通道之间的交互信息，卷积核尺度K表示某一通道附近参与该通道注意力权重生成的通道覆盖率，是一个由公式(3)动态确定的参数，且与通道维数C成正相关，维数越高的通道越易进行远程信息交互；最后，对上述变换得到的特征和原始特征进行逐像素相加操作，整个全局高效上下文模块的输入输出关系如公式(4)所示：
其中，m、j表示特征图位置的枚举索引；Np表示特征图中的位置数；Wk表示中1×1卷积核的权值；xj、xm表示任意位置的特征响应；
代表卷积核自适应变化函数；|·|odd表示卷积核尺度K的取值被限定为奇数；γ和b是用于改变通道维数和卷积核尺寸的常数，一般取2和1；zi表示模块输出；xi表示模块输入，Wq表示一维卷积核的权值。
所述步骤(4)具体包括以下步骤：
(4a)由于基于多任务学习的耕地地块识别网络模型在目标优化过程中各任务对于基于多任务学习的耕地地块识别网络模型的贡献度不同，为防止部分任务在梯度回传阶段占据主导地位，影响基于多任务学习的耕地地块识别网络模型的效果，使用动态平均加权算法(Dynamic Weight Average，DWA)自适应分配任务损失权重，基于多任务学习的耕地地块识别网络模型的总体损失计算方法为：
Ltotal＝ωsegLseg+ωedgeLedge (5)
其中，Ltotal、Lseg、Ledge分别表示总体损失函数、分割任务损失函数和边缘检测任务损失函数；ωseg为语义分割子任务损失函数的权重，ωedge为边缘检测子任务损失函数的权重；
(4b)所述动态平均加权算法根据任务学习速率动态更新样本权重，并使用损失下降速率作为学习速率的衡量标准，当子任务学习速率较快时则降低相应的任务重要程度，使得各任务训练速度处于平衡状态；其中，损失下降速率和权重系数计算公式如公式(6)、(7)所示：
其中，ωk(t)表示当前训练轮次子任务k的损失函数权重系数；S表示权重缩放因子，权重加权之和为S；λk(t-1)表示子任务k的学习速率；T表示权重分布控制因子，T越大，权重分布更加均匀；
和
表示前一轮和前前一轮的损失函数。
所述步骤(5)具体包括以下步骤：
(5a)在64位Ubuntu系统的服务器上完成模型的训练、预测过程，基于Python 3.7和CUDNN 11.3搭建pytorch框架，使用的中央处理器和图形处理器分别为2.20GHZ的IntelXeon E5-2650 v4和NVIDIA GTX 1080Ti；
(5b)采用Adam优化器优化网络模型参数，设置初始学习率为10-4，训练批次处理大小设置为8。
在步骤(6)中，考虑到一张完整的遥感图像所包含的像素数目往往比较庞大，直接输入到基于多任务学习的耕地地块识别网络模型中会导致计算机内存溢出，因此需要采用先划分再无缝拼接的方式进行预测。将输入的遥感图像按顺序裁剪成小图，为防止在拼接还原成大图过程中遥感图像边界处的像素产生明显的拼接痕迹，影响图像预测效果，所述膨胀滑窗预测方法为：设置滑动窗口为512*512像素大小，每次移动仅输出中心位置的256*256像素的预测结果，舍弃其他地方，被舍弃的地方会成为其他预测输出图的中心位置，确保整张图像的无损预测。
如图2所示，基于多任务学习的耕地地块识别网络模型由边缘分支和语义分支组成，其中边缘分支负责对输入图像进行边缘检测，语义分支负责对输入图像进行目标分割。多任务学习将边缘检测作为辅助任务，通过归纳迁移和共享表示增强语义分割主任务的特征表达，输入图像经编码器进行特征编码之后分别在边缘标签和语义标签的指导下优化两个任务的目标。
如图3所示，该图表明了多任务耕地地块识别网络边缘分支是由轻量优化的边缘检测模型DexiNed构成，轻量优化方式包括两个方面：一是去除了DexiNed模型的第六个主要检测阶段和对应的侧输出；二是使用深度可分离卷积代替了主要检测模块中的普通卷积，有效降低了模型的参数量、计算量，降低整体网络模型对于计算机存储和运行性能的要求。
如图4所示，全局高效上下文模块由上下文建模模块(Context Modeling)、通道依赖关系转换模块(Transform)以及特征融合模块(Fusion)三部分组成，其中，上下文建模模块负责获取特征图的全局关系信息，通道依赖关系转换模块通过非线性变换强调关键通道特征抑制无用信息，特征融合模块利用广播机制将全局信息聚合到特征图的各位置上。
如图5所示，选取测试集中两种典型场景展示本发明的基于多任务学习的耕地地块识别网络模型，一种场景下图像中包含的耕地像素较多，另一种场景下图像中非耕地像素占比较为密集。基于多任务学习的耕地地块识别网络模型在两种场景下获得的耕地地块均贴合于地面真实情况，无论是耕地区域还是地块轮廓以及细小尺度的田垄等地物，分割结果都较为准确。
综上所述，本发明的全局高效上下文模块结合了高效通道注意力和全局上下文模块的特点，在实现远程特征依赖捕获功能的基础上具有进一步降低模块结构、计算量与参数量的复杂性的优点；本发明采用的自适应动态平均加权算法，合理分配了地块识别任务场景下的边缘检测和语义分割子任务的贡献度，避免了任意子任务在模型特征学习中占据主导地位。
Claims (7)
1.一种基于多任务学习的遥感图像耕地地块分割方法，其特征在于：该方法包括下列顺序的步骤：
(1)基于遥感影像制作耕地地块数据集，并划分为训练集和测试集；
(2)对边缘检测模型DexiNed进行改进，得到改进后的边缘检测模型DexiNed作为边缘分支；
(3)借鉴语义分割模型UNet的解码器搭建语义分支，边缘分支和语义分支共同组成基于多任务学习的耕地地块识别网络模型；
(4)使用动态平均加权算法自适应调整基于多任务学习的耕地地块识别网络模型的子任务损失权重；
(5)将训练集输入到基于多任务学习的耕地地块识别网络模型中进行训练；
(6)将待分割的大尺度遥感影像输入训练后的基于多任务学习的耕地地块识别网络模型中，采用膨胀滑窗预测方法进行预测，得到该区域的耕地地块识别结果。
2.根据权利要求1所述的基于多任务学习的遥感图像耕地地块分割方法，其特征在于：所述步骤(1)具体包括以下步骤：
(1a)下载空间分辨率为2.15米的17级GoogleEarth遥感图像；
(1b)在地理信息处理软件ArcGIS中打开下载的遥感图像，勾绘耕地地块面矢量，同时使用要素转线工具将面矢量转化为线矢量；
(1c)对步骤(1b)获得的面矢量和线矢量做矢量栅格转换，输出和遥感图像同尺度的语义标签和边缘标签，标签中白色表示耕地像素，像素值为1，黑色表示背景像素，像素值为0；
(1d)使用滑窗裁剪方式同步裁剪遥感图像、语义标签和边缘标签，得到747对像素尺度为512*512的初始样本集；
(1f)对初始样本集以垂直翻转、水平翻转、旋转90°、180°、270°的数据增强方式扩充到原来的6倍，生成具有4482对图像与标签对的耕地地块数据集，将耕地地块数据集中90％的数据作为训练集，剩下10％的数据作为测试集。
3.根据权利要求1所述的基于多任务学习的遥感图像耕地地块分割方法，其特征在于：所述步骤(2)具体包括以下步骤：
(2a)去除边缘检测模型DexiNed的第六个主要检测模块和对应的第六个主要检测模块的侧输出，得到精简化的DexiNed网络模型，精简化的DexiNed网络模型具有五个主要检测模块；
(2b)使用深度可分离卷积取代精简化的DexiNed网络模型的五个主要检测模块中的普通卷积，得到改进后的边缘检测模型DexiNed；在相同输入情况下，使用比值关系衡量卷积参量优化效果如下：
其中，PDSC和PC分别表示深度可分离卷积与普通卷积的参数量；M表示输入特征映射的通道维数；N表示输出特征映射的通道维数；Hk、Wk表示卷积核的尺寸。
4.根据权利要求1所述的基于多任务学习的遥感图像耕地地块分割方法，其特征在于：所述步骤(3)具体包括以下步骤：
(3a)搭建语义分支：使用6个3*3卷积层构成3组卷积，在相邻卷积组之间通过转置卷积实现上采样，至第3组卷积时特征图分辨率变为原图大小的二分之一，在第3组卷积之后增加一个上采样操作完全恢复特征图的分辨率至与输入相同的尺寸，使其能够与参考掩码进行匹配；
(3b)向步骤(3a)搭建的语义分支的每个层次加入全局高效上下文模块，捕获特征在远距离的依赖关系；
(3c)所述全局高效上下文模块首先对输入特征进行两路变换，一路使用二维1×1卷积与Softmax激活函数获取HM×1×1大小的全局注意权重矩阵，另一路展平特征图的空间维度将尺度变换到C×HW，对这两路输出进行矩阵相乘，得到如公式(2)所描述的尺度为C×1×1的全局特征F；随后，特征图被输入到一维卷积中捕获通道之间的交互信息，卷积核尺度K表示某一通道附近参与该通道注意力权重生成的通道覆盖率，是一个由公式(3)动态确定的参数，且与通道维数C成正相关，维数越高的通道越易进行远程信息交互；最后，对上述变换得到的特征和原始特征进行逐像素相加操作，整个全局高效上下文模块的输入输出关系如公式(4)所示：
其中，m、j表示特征图位置的枚举索引；Np表示特征图中的位置数；Wk表示中1×1卷积核的权值；xj、xm表示任意位置的特征响应；
代表卷积核自适应变化函数；|·|odd表示卷积核尺度K的取值被限定为奇数；γ和b是用于改变通道维数和卷积核尺寸的常数，一般取2和1；zi表示模块输出；xi表示模块输入，Wq表示一维卷积核的权值。
5.根据权利要求1所述的基于多任务学习的遥感图像耕地地块分割方法，其特征在于：所述步骤(4)具体包括以下步骤：
(4a)使用动态平均加权算法自适应分配任务损失权重，基于多任务学习的耕地地块识别网络模型的总体损失计算方法为：
Ltotal＝ωsegLseg+ωedgeLedge (5)
其中，Ltotal、Lseg、Ledge分别表示总体损失函数、分割任务损失函数和边缘检测任务损失函数；ωseg为语义分割子任务损失函数的权重，ωedge为边缘检测子任务损失函数的权重；
(4b)所述动态平均加权算法根据任务学习速率动态更新样本权重，并使用损失下降速率作为学习速率的衡量标准，当子任务学习速率较快时则降低相应的任务重要程度，使得各任务训练速度处于平衡状态；其中，损失下降速率和权重系数计算公式如公式(6)、(7)所示：
其中，ωk(t)表示当前训练轮次子任务k的损失函数权重系数；S表示权重缩放因子，权重加权之和为S；λk(t-1)表示子任务k的学习速率；T表示权重分布控制因子，T越大，权重分布更加均匀；
和
表示前一轮和前前一轮的损失函数。
6.根据权利要求1所述的基于多任务学习的遥感图像耕地地块分割方法，其特征在于：所述步骤(5)具体包括以下步骤：
(5a)在64位Ubuntu系统的服务器上完成模型的训练、预测过程，基于Python 3.7和CUDNN 11.3搭建pytorch框架，使用的中央处理器和图形处理器分别为2.20GHZ的IntelXeon E5-2650 v4和NVIDIA GTX 1080Ti；
(5b)采用Adam优化器优化网络模型参数，设置初始学习率为10-4，训练批次处理大小设置为8。
7.根据权利要求1所述的基于多任务学习的遥感图像耕地地块分割方法，其特征在于：在步骤(6)中，所述膨胀滑窗预测方法为：设置滑动窗口为512*512像素大小，每次移动仅输出中心位置的256*256像素的预测结果，舍弃其他地方，被舍弃的地方会成为其他预测输出图的中心位置，确保整张图像的无损预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310289901.6A CN116188993A (zh) | 2023-03-23 | 2023-03-23 | 一种基于多任务学习的遥感图像耕地地块分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310289901.6A CN116188993A (zh) | 2023-03-23 | 2023-03-23 | 一种基于多任务学习的遥感图像耕地地块分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188993A true CN116188993A (zh) | 2023-05-30 |
Family
ID=86446430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310289901.6A Pending CN116188993A (zh) | 2023-03-23 | 2023-03-23 | 一种基于多任务学习的遥感图像耕地地块分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188993A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116895023A (zh) * | 2023-09-11 | 2023-10-17 | 中国石油大学(华东) | 一种基于多任务学习的中尺度涡识别方法及系统 |
| CN117975195A (zh) * | 2024-01-17 | 2024-05-03 | 山东建筑大学 | 基于纹理信息引导的高分辨率耕地伪样本可控生成方法 |
| CN118298182A (zh) * | 2024-06-04 | 2024-07-05 | 江西师范大学 | 基于跨分辨率语义分割的耕地地块遥感制图方法及系统 |
| CN118351454A (zh) * | 2024-04-16 | 2024-07-16 | 中国科学院地理科学与资源研究所 | 一种高分辨率城市绿地识别方法 |
-
2023
- 2023-03-23 CN CN202310289901.6A patent/CN116188993A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116895023A (zh) * | 2023-09-11 | 2023-10-17 | 中国石油大学(华东) | 一种基于多任务学习的中尺度涡识别方法及系统 |
| CN116895023B (zh) * | 2023-09-11 | 2024-02-09 | 中国石油大学(华东) | 一种基于多任务学习的中尺度涡识别方法及系统 |
| CN117975195A (zh) * | 2024-01-17 | 2024-05-03 | 山东建筑大学 | 基于纹理信息引导的高分辨率耕地伪样本可控生成方法 |
| CN118351454A (zh) * | 2024-04-16 | 2024-07-16 | 中国科学院地理科学与资源研究所 | 一种高分辨率城市绿地识别方法 |
| CN118298182A (zh) * | 2024-06-04 | 2024-07-05 | 江西师范大学 | 基于跨分辨率语义分割的耕地地块遥感制图方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245709B (zh) | 基于深度学习和自注意力的3d点云数据语义分割方法 | |
| CN116188993A (zh) | 一种基于多任务学习的遥感图像耕地地块分割方法 | |
| Chen et al. | MANet: A multi-level aggregation network for semantic segmentation of high-resolution remote sensing images | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
| CN111178149B (zh) | 一种基于残差金字塔网络的遥感影像水体自动提取方法 | |
| Ge et al. | Improved semisupervised unet deep learning model for forest height mapping with satellite sar and optical data | |
| CN114092487A (zh) | 目标果实实例分割方法及系统 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN112949414A (zh) | 一种宽视域高分六号卫星影像地表水体智能制图方法 | |
| Peng et al. | RSBNet: One-shot neural architecture search for a backbone network in remote sensing image recognition | |
| CN116665040A (zh) | 基于注意力机制的多尺度输入输出的建筑物变化检测方法 | |
| CN111242134A (zh) | 一种基于特征自适应学习的遥感影像地物分割方法 | |
| Li et al. | Fruit tree canopy segmentation from UAV orthophoto maps based on a lightweight improved U-Net | |
| CN114399728A (zh) | 一种雾天场景人群计数方法 | |
| Ruiz-Lendínez et al. | Deep learning methods applied to digital elevation models: state of the art | |
| CN117974444A (zh) | 基于扩散模型的海面高度超分辨率重建方法 | |
| Jiao et al. | A Novel Data Augmentation Method to Enhance the Training Dataset for Road Extraction from Historical Maps | |
| CN112488413A (zh) | 基于awa-drcn的人口空间化方法 | |
| Bo et al. | The ultra-short-term photovoltaic power prediction based on multi-exposure high-resolution total sky images using deep learning | |
| CN116206210A (zh) | 一种基于NAS-Swin的遥感影像农业大棚提取方法 | |
| Wang et al. | A New Remote Sensing Change Detection Data Augmentation Method based on Mosaic Simulation and Haze Image Simulation | |
| CN111460965B (zh) | 一种基于无人机影像的涝渍区智能分析系统及其方法 | |
| Yang et al. | Automatic segmentation algorithm for high-spatial-resolution remote sensing images based on self-learning super-pixel convolutional network | |
| CN118298182B (zh) | 基于跨分辨率语义分割的耕地地块遥感制图方法及系统 | |
| CN112686995B (zh) | 一种红树林智能监管系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |