CN116342616A - 一种基于双分支集成学习的遥感图像海陆分割方法 - Google Patents

一种基于双分支集成学习的遥感图像海陆分割方法 Download PDF

Info

Publication number
CN116342616A
CN116342616A CN202310249711.1A CN202310249711A CN116342616A CN 116342616 A CN116342616 A CN 116342616A CN 202310249711 A CN202310249711 A CN 202310249711A CN 116342616 A CN116342616 A CN 116342616A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
sea
double
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310249711.1A
Other languages
English (en)
Other versions
CN116342616B (zh
Inventor
纪勋
汤龙斌
王靖淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Aerospace Xinghuan Space Technology Co ltd
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202310249711.1A priority Critical patent/CN116342616B/zh
Publication of CN116342616A publication Critical patent/CN116342616A/zh
Application granted granted Critical
Publication of CN116342616B publication Critical patent/CN116342616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于双分支集成学习的遥感图像海陆分割方法，涉及遥感图像处理技术领域，包括如下步骤：获取遥感图像，对遥感图像数据集进行标签制作，形成相应的遥感图像海陆分割数据集；构建由密集支路、残差支路以及集成学习模块所组成的基于双分支集成学习的遥感图像海陆分割网络模型；利用所构建的数据集对所述遥感图像海陆分割网络模型进行损失函数设置；训练基于双分支集成学习的遥感图像海陆分割网络模型，并在等待模型训练完毕后，运行训练后的遥感图像海陆分割网络模型，对待分割的遥感图像进行海陆分割。本发明可有效实现对遥感图像海陆区域进行精准检测与分割。

Description

一种基于双分支集成学习的遥感图像海陆分割方法
技术领域
本发明涉及遥感图像处理技术领域，具体而言，尤其涉及一种基于双分支集成学习的遥感图像海陆分割方法。
背景技术
随着对地观测技术的快速发展，光学遥感影像的空间分辨率已达到亚米级，在海洋监测、沿海测绘、船舶救援、海事管理等方面表现出突出优势。海陆分割是遥感图像的细化分类，通过对海岸线、港口、码头的自主识别来区分海陆区域，对后续的船舶探测、海岸线提取、非法走私监测等高层方案具有重要意义。光学遥感图像作为计算机视觉界的一种基础图像类型，经常需要精密仪器对其进行处理和分析，这些精密仪器具有多种语义分割功能。与普通光学图像不同，遥感图像具有宽高比大、类间相似度高、分布密集、背景复杂等特点，且遥感图像通常会受到大气意外衰减的影响，这将不同程度地降低成像质量。因此，当前海陆分割任务仍面临着更多的困难和挑战。
从高空视角捕获的遥感图像往往包含更多样化的纹理和语义信息，这大大增加了图像处理的难度。现有的卷积神经网络大多致力于更深入地学习更多的层次特征，这无疑增加了计算负荷；此外，随着网络的深入，特征局部化计算问题也同步凸显，表现为不同深度的层次特征无法得到充分利用。遥感图像高效的特征提取、表示、融合和信息传输等问题仍有待解决。
发明内容
为了解决现有基于卷积神经网络的遥感图像海陆分割方法存在分割精度低以及计算复杂度大的问题。本文发明提出一种基于双分支集成学习的遥感图像海陆分割方法，该方法通过构建由密集支路、残差支路以及集成学习模块所组成的基于双分支集成学习的遥感图像海陆分割网络模型，以在保证网络复杂度没有明显提升的前提下，对遥感图像特征进行高效的提取、表示、融合以及信息传输，进而实现有效且精准的遥感图像海陆分割。
本发明采用的技术手段如下：
一种基于双分支集成学习的遥感图像海陆分割方法，包括如下步骤：
步骤1：获取遥感图像，对所述遥感图像形成的数据集进行标签制作，形成相应的遥感图像海陆分割数据集；
步骤2：构建基于双分支集成学习的遥感图像海陆分割网络模型，所述基于双分支集成学习的遥感图像海陆分割网络模型包括密集支路、残差支路和集成学习模块；
步骤3：采用所述遥感图像海陆分割数据集对遥感图像海陆分割网络模型进行损失函数设置；
步骤4：对步骤3中设置后的基于双分支集成学习的遥感图像海陆分割网络模型进行训练，运行训练后的基于双分支集成学习的遥感图像海陆分割网络模型，对待分割的遥感图像进行海陆分割。
进一步地，所述基于双分支集成学习的遥感图像海陆分割网络模型采用由密集支路与相对应的残差支路所组成的编码器-解码器网络架构，且两个支路通过集成学习模块构建关联。
进一步地，所述基于双分支集成学习的遥感图像海陆分割网络模型中：
将遥基于双分支集成学习的遥感图像海陆分割网络模型中的双分支中的初始部分分别加入一个3×3卷积块，用以将输入的遥感图像的通道数由3提升至32；
所述密集分支包括四个密集下块和四个密集上块，所述密集下块和密集上块由ReLU激活函数连接；每个密集下块与其位置对称的密集上块通过跳跃连接构建关联，并在所有跳跃连接处理的过程中加入轻量化的通道洗牌操作，即通过分割、转置与重塑等方式打乱输入特征图的通道序列，促进通道之间的充分融合；
所述残差分支包括四个残差下块和四个残差上块，所述残差下块和残差上块由ReLU激活函数连接；
所述密集分支和残差分支通过集成学习模块关联，所述集成学习模块采用双输入单输出结构，其中双输入分支部分均加入自适应全局池化层-线性层-ReLU激活函数-线性层-Sigmoid激活函数网络结构以对输入的通道进行校准，并通过逐元素合并的方式将双输入分支的输出特征图进行合并；通过一个1×1卷积块将上述特征图的通道数减半，通过一个上采样层将上述特征图的宽和高加倍。
进一步地，所述损失函数设置为焦点损失和骰子损失的线性加和。
进一步地，对所述遥感图像形成的数据集进行标签制作的方法包括：用标注工具对原始遥感图像中的海洋和陆地区域分别采用不同的颜色进行着色标注处理，经处理后的遥感图像与原始遥感图像进行配对以得到遥感图像对，所有遥感图像对的集合即为遥感图像海陆分割数据集。
进一步地，对待分割的遥感图像进行海陆分割包括如下步骤：运行训练后的基于双分支集成学习的遥感图像海陆分割网络模型自动识别遥感图像中待分割的海洋与陆地区域，并通过步骤1中标签制作时选用的着色方案，对识别到的海洋与陆地区域分别进行着色，从而实现遥感图像海陆分割。
本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述任一项基于双分支集成学习的遥感图像海陆分割方法。
本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述任一项基于双分支集成学习的遥感图像海陆分割方法。
较现有技术相比，本发明具有以下优点：
本发明通过组合连续的密集块和残余块来构建双分支架构，充分增强了特征的提取和表示；
本发明通过利用有效的集成学习策略增强双分支之间的相关性，进一步改进了特征的融合和信息传输；
本发明在开源数据集上与现有的先进分割方法对比，显示了本发明网络的先进性。
得益于集成学习模块，本发明设计的双分支网络对海陆边界区域更加关注；双分支相辅相成，缺一不可。密集分支负责加强体征提取，残差分支负责加快网络收敛。并且在跳跃链接处加入了通道洗牌操作，使得来自底层的特征能得到充分的利用。高层特征与底层特征的充分结合，使得分割效果更加准确，并且不会占用太多计算内存。
基于上述理由本发明可在遥感图像处理技术等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明遥感图像海陆分割网络模型整体结构示意图。
图2为本发明密集上块和密集下块的整体结构示意图，其中(a)为密集下块，(b)为密集上块。
图3为本发明残差上块和残差下块的整体结构示意图，其中(a)为残差下块，(b)为残差上块。
图4为本发明集成学习模块结构图。
图5为本发明所涉及的卷积块结构图。
图6为试验例中本发明与现有其他分割模型在Data1数据集的分割结果的几组对比图。其中(a)为待分割遥感图像；(b)为对应标签遥感图像；(c)为FCN预测结果图；(d)为U-Net预测结果图；(e)为SegNet预测结果图；(f)为DeepUNet预测结果图；(g)为PSPNet预测结果图；(h)为DFANet预测结果图；(i)为DeepLabV3+预测结果图；(j)为U2-Net预测结果图；(k)为本发明方法预测结果图。
图7为试验例中本发明与现有其他分割模型在Data2数据集的分割结果的几组对比图。其中(a)为待分割遥感图像；(b)为对应标签遥感图像；(c)为FCN预测结果图；(d)为U-Net预测结果图；(e)为SegNet预测结果图；(f)为DeepUNet预测结果图；(g)为PSPNet预测结果图；(h)为DFANet预测结果图；(i)为DeepLabV3+预测结果图；(j)为U2-Net预测结果图；(k)为本发明方法预测结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种基于双分支集成学习的遥感图像海陆分割方法，包括如下步骤：
步骤1：获取遥感图像，对遥感图像数据集进行标签制作，形成相应的遥感图像海陆分割数据集；
步骤2：构建由密集支路、残差支路以及集成学习模块所组成的基于双分支集成学习的遥感图像海陆分割网络模型；
步骤3：利用所构建的数据集对所述遥感图像海陆分割网络模型进行损失函数设置；
步骤4：训练基于双分支集成学习的遥感图像海陆分割网络模型，并在等待模型训练完毕后，运行训练后的遥感图像海陆分割网络模型，对待分割的遥感图像进行海陆分割。
作为一种优选的实施方式，所述步骤1具体包括如下流程：
获取遥感图像，对遥感图像数据集进行标签制作，形成相应的遥感图像海陆分割数据集；所述标签制作即使用labelme标注工具分别把海洋区域和陆地区域分别采用不同的颜色进行着色标注处理。比如，用红色像素表示海洋区域，黑色像素表示陆地区域，生成相对应的标签遥感图像，该图像与原始遥感图像进行配对以得到遥感图像对，所有遥感图像对的集合即为遥感图像海陆分割数据集。
作为一种优选的实施方式，所述步骤2中构建由密集分支、残差分支以及集成学习模块所组成的基于双分支集成学习的遥感图像海陆分割网络模型，如图1所示，具体包括如下步骤：
步骤2-1：所述基于双分支集成学习的遥感图像海陆分割网络模型采用由密集支路与相对应的残差支路所组成的编码器-解码器网络架构，且两个支路通过集成学习模块构建关联；
步骤2-2：所述遥感图像海陆分割网络模型中的双分支中的初始部分分别加入一个3×3卷积块用以将输入的遥感图像的通道数由3提升至32。本发明中的所有卷积块的通用结构如图5所示；
步骤2-3：所述基于双分支集成学习的遥感图像海陆分割网络模型中的密集分支由四个密集下块(编码器部分)和四个密集上块(解码器部分)组成，并由ReLU激活函数连接。密集下块的结构如图2(a)所示，包含两个3×3卷积块、一个1×1卷积层和一个2×2最大池化(Max-Pooling)层，其中两个3×3卷积块采用通道合并的操作实现密集连接以将通道数扩大为原来的4倍，1×1卷积层用以继续将通道数量减半，2×2最大池化层用以将输出特征图的宽和高减半。密集上块的结构如图2(b)所示，包含两个3×3卷积块、一个1×1卷积层和一个上采样(Up-Sampling)层，其中两个3×3卷积块采用通道合并的操作实现密集连接以将通道数扩大为原来的4倍，1×1卷积层用以继续将通道数量缩小8倍，上采样层用以将输出特征图的宽和高加倍；
步骤2-4：所述每个密集下块与其位置对称的密集上块通过跳跃连接构建关联，并在所有跳跃连接处理的过程中加入轻量化的通道洗牌操作，即通过分割、转置与重塑等方式打乱输入特征图的通道序列，促进通道之间的充分融合；
步骤2-5：所述基于双分支集成学习的遥感图像海陆分割网络模型中的残差分支由四个残差下块(编码器部分)和四个残差上块(解码器部分)组成，并由ReLU激活函数连接。残差下块如图3(a)所示，包含一个3×3卷积层、一个1×1卷积层和一个2×2最大池化层，其中3×3卷积层通过残差连接以将输入添加到输出中，1×1卷积层用以继续将通道数量加倍，2×2最大池化层用以将输出特征图的宽和高减半。残差上块如图3(b)所示，包含一个3×3卷积层和一个2×2转置卷积层，其中3×3卷积层通过残差连接以将输入添加到输出中，2×2转置卷积层用以将输出特征图的通道数减半，且将宽和高加倍；
步骤2-6：所述遥感图像海陆分割网络模型中的密集分支与残差分支通过集成学习模块关联。集成学习模块如图4所示，采用双输入单输出结构，其中双输入分支部分均加入“自适应全局池化层-线性层-ReLU激活函数-线性层-Sigmoid激活函数”网络结构以对输入的通道进行校准，并通过逐元素合并的方式将双输入分支的输出特征图进行合并。然后，通过一个1×1卷积块将上述特征图的通道数减半，通过一个上采样层将上述特征图的宽和高加倍。
作为一种优选的实施方式，所述步骤3中利用所构建的数据集对所述遥感图像海陆分割网络模型进行损失函数设置为焦点损失(Focal Loss)和骰子损失(Dice Loss)的线性加和，具体可用公式表示为：
Figure BDA0004127399700000071
其中，
Figure BDA0004127399700000072
为所述海陆分割网络模型的损失函数，/>
Figure BDA0004127399700000073
代表Focal Loss，/>
Figure BDA0004127399700000074
代表Dice Loss；
Focal Loss具有两个重要的特点：1)控制正负样本的权重；2)控制容易分类和难分类样本的权重；该损失函数已被证明可以有效地解决数据不平衡问题，这是遥感图像海陆分割的共同挑战。Focal Loss在数学上可以表示为：
Figure BDA0004127399700000075
Figure BDA0004127399700000076
其中，p的取值范围为0～1，是模型预测属于前景的概率；y的取值为1和-1，分别代表前景和背景；αt和γ是两个超参数，此处分别设置为0.5和2；
此外，通过引入Dice Loss将分割问题转化为最小化类级分布距离的问题，进一步加强对海洋-陆地边界的约束，以获得更精确的海陆分割结果。该损失函数在数学上表示为：
Figure BDA0004127399700000077
其中，|PL|和|GT|分别代表预测标签和真实标签的像素值；|PL∩GT|表示预测标签和真实标签的像素值之间的交集；
作为一种优选的实施方式，所述步骤4中对待分割的遥感图像进行海陆分割，具体表现为模型自动识别遥感图像中待分割的海洋与陆地区域，并通过步骤1中标签制作时选用的着色方案(即用红色像素表示海洋区域，黑色像素表示陆地区域)，对识别到的海洋与陆地区域分别进行着色，从而实现遥感图像海陆分割。
实施例1
为了验证本发明所采用的遥感图像海陆分割网络模型的有效性，选取了两个流行的遥感图像海陆分割数据集进行试验，这两个数据集分别记为Data1和Data2。
Data1是一个专门用于海陆分割的标准数据集，包含从谷歌地球采集的210幅遥感图像。所有图像大小约为1000×1000，空间分辨率为3～5米。请注意，每张图像都附有手动标记的标签图。
Data2是一个最初用于船舶检测的常用数据集。但是，考虑到它包含各种具有挑战性的海岸和码头图像，总共选择了1091张图像来进一步评估遥感图像海陆分割网络模型。
为进行定量评估，选择四个广泛使用的评估指标，包括平均交并比(mIoU)，召回率(Recall)，准确性(Accuracy)和F1分数。这些指标分别被定义为：
Figure BDA0004127399700000081
Figure BDA0004127399700000082
Figure BDA0004127399700000083
Figure BDA0004127399700000084
其中，TP、FP、TN和FN分别代表真阳性(实际为正类且被预测为正类)、假阳性(实际为负类但被预测为正类)、真阴性(实际为负类且被预测为负类)以及假阴性(实际为正类但被预测为负类)的像素总数量。
为了验证本发明所提出的分割网络模型的有效性，将其与FCN、UNet、SegNet、DeepUNet、PSPNet、DFANet、DeepLabV3+、U2-Net在方法同一实验环境下进行比较。所有实验均在一台配备2.60GHz Intel(R)Xeon(R)Platinum 8358P 15核处理器、NVIDIA RTX3090GPU、24GB RAM和Ubuntu20.04操作系统的服务器上进行。实验由PyTorch平台实现。使用默认设置的Adam优化器进行网络优化。在训练过程中，批大小(batch size)设置为8，初始学习率为1×10-3，共训练迭代80个轮次。
表1对比实验测试数据集四项评估指标结果(％)
Figure BDA0004127399700000091
从表1可以看出：本发明方法在两个数据集中总能在所有候选指标中产生最佳性能。
为了进一步评估本发明方法的实际表现，图6和图7分别展示了一些本发明方法与对比算法在Data1数据集和Data2数据集的分割结果对比图。可以看出，FCN由于没有使用用于恢复尺寸的解码器，因此对图像中的很多细节均不敏感，缺乏空间一致性，因而导致在不同场景下的分割结果都比较模糊与平滑；U-Net、PSPNet以及DFANet虽然弥补了FCN在缺乏编码器方面的不足，但这三种方法对于局部细节的处理并不理想，尤其在边界以及阴影区域经常会出现一些缺失的分割；DeepUNet以及DeepLabV3+在综合评估方面表现相对出色，但在诸如低照度或大气干扰影响等存在时往往会产生较多的误分类现象。U2-Net与本发明方法相比可能会产生更粗糙的海陆边界，存在一些细化的误分类，而本发明方法的分割效果更接近于地面真相。
为了进一步研究本发明所提出的分割网络模型中的每个组件的有效性，通过消融实验从网络组成方面进行评估，进行了以下几个实验(消融实验的实验设置与对比试验一致)：
实验1：只保留残差分支，使网络遵循浅编码器-解码器结构。
实验2：只保留密集分支，使网络遵循深度编码器-解码器结构。
实验3：删除所有信道洗牌操作，以便密集分支跟随原始跳跃连接。
实验4：所有集成学习模块都被移除，这样双分支之间的相关性只在网络的末端起作用。
表2消融实验测试数据集四项评估指标结果(％)
Figure BDA0004127399700000101
由表2可以观察到，只有残差分支工作的情况下分割效果最差，这表明浅编解码结构无法实现足够的特征提取和表示。因此，只有密集分支工作的情况可以在一定程度上提高分割效果，但仍不如本发明方法。由于所有评价指标的下降，通道洗牌操作的有效性也得到了证明。此外，令人兴奋的是，集成学习模块的去除导致分割结果的显著下降，这表明双分支之间的强相关性可以有效地促进网络性能。
本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行基于双分支集成学习的遥感图像海陆分割方法。
本发明还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行基于双分支集成学习的遥感图像海陆分割方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于双分支集成学习的遥感图像海陆分割方法，其特征在于，包括如下步骤：
步骤1：获取遥感图像，对所述遥感图像形成的数据集进行标签制作，形成相应的遥感图像海陆分割数据集；
步骤2：构建基于双分支集成学习的遥感图像海陆分割网络模型，所述基于双分支集成学习的遥感图像海陆分割网络模型包括密集支路、残差支路和集成学习模块；
步骤3：采用所述遥感图像海陆分割数据集对遥感图像海陆分割网络模型进行损失函数设置；
步骤4：对步骤3中设置后的基于双分支集成学习的遥感图像海陆分割网络模型进行训练，运行训练后的基于双分支集成学习的遥感图像海陆分割网络模型，对待分割的遥感图像进行海陆分割。
2.根据权利要求1所述的基于双分支集成学习的遥感图像海陆分割方法，其特征在于，所述基于双分支集成学习的遥感图像海陆分割网络模型采用由密集支路与相对应的残差支路所组成的编码器-解码器网络架构，且两个支路通过集成学习模块构建关联。
3.根据权利要求2所述的基于双分支集成学习的遥感图像海陆分割方法，其特征在于，所述基于双分支集成学习的遥感图像海陆分割网络模型中：
将遥基于双分支集成学习的遥感图像海陆分割网络模型中的双分支中的初始部分分别加入一个3×3卷积块，用以将输入的遥感图像的通道数由3提升至32；
所述密集分支包括四个密集下块和四个密集上块，所述密集下块和密集上块由ReLU激活函数连接；每个密集下块与其位置对称的密集上块通过跳跃连接构建关联，并在所有跳跃连接处理的过程中加入轻量化的通道洗牌操作，即通过分割、转置与重塑等方式打乱输入特征图的通道序列，促进通道之间的充分融合；
所述残差分支包括四个残差下块和四个残差上块，所述残差下块和残差上块由ReLU激活函数连接；
所述密集分支和残差分支通过集成学习模块关联，所述集成学习模块采用双输入单输出结构，其中双输入分支部分均加入自适应全局池化层-线性层-ReLU激活函数-线性层-Sigmoid激活函数网络结构以对输入的通道进行校准，并通过逐元素合并的方式将双输入分支的输出特征图进行合并；通过一个1×1卷积块将上述特征图的通道数减半，通过一个上采样层将上述特征图的宽和高加倍。
4.根据权利要求1所述的基于双分支集成学习的遥感图像海陆分割方法，其特征在于，所述损失函数设置为焦点损失和骰子损失的线性加和。
5.根据权利要求1所述的基于双分支集成学习的遥感图像海陆分割方法，其特征在于，对所述遥感图像形成的数据集进行标签制作的方法包括：用标注工具对原始遥感图像中的海洋和陆地区域分别采用不同的颜色进行着色标注处理，经处理后的遥感图像与原始遥感图像进行配对以得到遥感图像对，所有遥感图像对的集合即为遥感图像海陆分割数据集。
6.根据权利要求1所述的基于双分支集成学习的遥感图像海陆分割方法，其特征在于，对待分割的遥感图像进行海陆分割包括如下步骤：运行训练后的基于双分支集成学习的遥感图像海陆分割网络模型自动识别遥感图像中待分割的海洋与陆地区域，并通过步骤1中标签制作时选用的着色方案，对识别到的海洋与陆地区域分别进行着色，从而实现遥感图像海陆分割。
7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时，执行所述权利要求1至6中任一项权利要求所述的基于双分支集成学习的遥感图像海陆分割方法。
8.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序运行执行所述权利要求1至6中任一项权利要求所述的基于双分支集成学习的遥感图像海陆分割方法。
CN202310249711.1A 2023-03-15 2023-03-15 一种基于双分支集成学习的遥感图像海陆分割方法 Active CN116342616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310249711.1A CN116342616B (zh) 2023-03-15 2023-03-15 一种基于双分支集成学习的遥感图像海陆分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310249711.1A CN116342616B (zh) 2023-03-15 2023-03-15 一种基于双分支集成学习的遥感图像海陆分割方法

Publications (2)

Publication Number Publication Date
CN116342616A true CN116342616A (zh) 2023-06-27
CN116342616B CN116342616B (zh) 2023-10-27

Family

ID=86876854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310249711.1A Active CN116342616B (zh) 2023-03-15 2023-03-15 一种基于双分支集成学习的遥感图像海陆分割方法

Country Status (1)

Country Link
CN (1) CN116342616B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460341A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法
CN109740460A (zh) * 2018-12-21 2019-05-10 武汉大学 基于深度残差密集网络的光学遥感图像舰船检测方法
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN114663439A (zh) * 2022-03-21 2022-06-24 中国人民解放军战略支援部队信息工程大学 一种遥感影像海陆分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460341A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于集成深度卷积网络的光学遥感图像目标检测方法
CN109740460A (zh) * 2018-12-21 2019-05-10 武汉大学 基于深度残差密集网络的光学遥感图像舰船检测方法
CN113139550A (zh) * 2021-03-29 2021-07-20 山东科技大学 一种基于深度语义分割网络的遥感影像海岸线提取方法
CN114663439A (zh) * 2022-03-21 2022-06-24 中国人民解放军战略支援部队信息工程大学 一种遥感影像海陆分割方法

Also Published As

Publication number Publication date
CN116342616B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN110097131B (zh) 一种基于对抗协同训练的半监督医疗图像分割方法
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
CN108765408A (zh) 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN105205453B (zh) 基于深度自编码器的人眼检测和定位方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN110189308A (zh) 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置
Ye et al. Underwater image enhancement using stacked generative adversarial networks
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
Bonin-Font et al. Visual discrimination and large area mapping of posidonia oceanica using a lightweight auv
Pham et al. Lesion segmentation and automated melanoma detection using deep convolutional neural networks and XGBoost
CN112561876A (zh) 基于图像的池塘和水库的水质检测方法及系统
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN114972378A (zh) 一种基于掩码注意力机制的脑肿瘤mri图像分割方法
CN116503755A (zh) 一种基于云平台和深度学习的岸线遥感自动识别分析方法
Luo et al. New deep learning method for efficient extraction of small water from remote sensing images
Du et al. Intelligent recognition system based on contour accentuation for navigation marks
CN117953299A (zh) 基于多尺度的遥感影像土地利用分类方法
CN116342616B (zh) 一种基于双分支集成学习的遥感图像海陆分割方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法
CN115953345B (zh) 脑出血医学图像的病变合成方法、装置及存储介质
Zhao et al. Semantic segmentation of sea ice based on U-Net network modification
Goyal et al. Recent advances in image dehazing: Formal analysis to automated approaches
CN116452408A (zh) 一种基于风格迁移的透明液体感知方法
CN115205624A (zh) 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240428

Address after: Room 308, Building 8, No. 1818-2, Wenyi West Road, Yuhang Street, Yuhang District, Hangzhou City, Zhejiang Province 311100

Patentee after: Hangzhou Aerospace Xinghuan Space Technology Co.,Ltd.

Country or region after: China

Address before: 116026 1 Linghai Road, hi tech park, Dalian, Liaoning

Patentee before: Dalian Maritime University

Country or region before: China

TR01 Transfer of patent right