CN116229073A - 一种基于改进型ERFNet网络的遥感图像分割方法及装置 - Google Patents

一种基于改进型ERFNet网络的遥感图像分割方法及装置 Download PDF

Info

Publication number
CN116229073A
CN116229073A CN202310225930.6A CN202310225930A CN116229073A CN 116229073 A CN116229073 A CN 116229073A CN 202310225930 A CN202310225930 A CN 202310225930A CN 116229073 A CN116229073 A CN 116229073A
Authority
CN
China
Prior art keywords
remote sensing
erfnet
improved
module
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310225930.6A
Other languages
English (en)
Inventor
王存宝
刘茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202310225930.6A priority Critical patent/CN116229073A/zh
Publication of CN116229073A publication Critical patent/CN116229073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进型ERFNet网络的遥感图像分割方法及装置，涉及图像语义分割技术领域；通过获取遥感图像；将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，其中：所述改进型ERFNet语义分割网络模型包括添加注意力金字塔池化模块的编码器模块和使用光流指导对齐模块替换反卷积的解码器模块；相较于传统ERFNet网络，本发明在编码器中增加了注意力金字塔池化模块，使用光流指导对齐模块代替解码器中反卷积，充分融合了多尺度信息，确保图像还原准确度，有效提高了遥感高分辨率图像中的小物体以及整体图像的分割精度。

Description

一种基于改进型ERFNet网络的遥感图像分割方法及装置
技术领域
本发明涉及一种基于改进型ERFNet网络的遥感图像分割方法及装置，属于图像语义分割技术领域。
背景技术
遥感高分辨率图像分割是遥感图像处理的重要组成部分，即自动的为每一幅场景图像每一个像素进行预测，是一种像素级别的分类任务。在城市规划、土地利用、灾害评估和环境监测等领域应用广泛。早期传统遥感图像分割主要通过基于边缘、纹理、形状、颜色等底层特征等手工设计分类器进行分割，然后对分割后图像进行语义的标注。例如，基于阈值的分割方法、基于区域生长的分割方法、基于边缘的分割方法等等。这些传统方法可以在一定程度上取得较好的分割效果，但需要针对不同场景的特点设计不同的手工特征提取器，由于手工设计特征提取器要求相对较高，且泛化性能不好，无法大规模应用到真实复杂的场景当中。
随着计算机的发展，深度学习等人工智能领域研究也得到了突破。计算机硬件如GPU、内存等运算能力、传输速度的提升，为深度学习的发展提供了较大的动力。AlexNet的提出又将卷积神经网络拉回到人们的视野中。语义分割是计算机视觉中的一种典型任务，近几年，语义分割架构出现了多种实用的架构，例如FCNs的全卷积网络、DeepLabV3的编码器-解码器结构等。最常用的是编码器-解码器结构。具体来说，编码器使用预训练的主干网络，如VGG、ResNet等通过卷积特征提取，获得语义信息；解码器将获取到的特征图卷积并上采样回到原始图像的尺寸获取最终的分割图像。借助高性能GPU，可以训练出更高精度的网络模型，基于深度学习的图像分割方法已经成为遥感图像分割的主流方法。但高性能GPU往往成本较高，同时普通模型虽然精度较高，但推理速度较慢，不能满足高效且快速的要求。
ERFNet是目前语义分割中精度较高同时速度较快的模型之一，其使用主流的编码器-解码器结构。编码器中，为保证推理速度利用卷积分解原理将标准2D卷积替换成两个3×1，1×3的1D卷积；使用步长为2的3×3卷积以及最大池化并行做下采样，来获取更多特征信息；同时使用膨胀卷积，在不改变特征图尺寸的同时获取更多的上下文信息。解码器同样使用分解的卷积，采用步长为2的反卷积做上采样。同时为防止过拟合，在网络中采用神经元随机失活(Dropout)策略进行正则化。但由于ERFNet网络模型层数不够多，没有联系浅层特征以及深层特征，无法充分获得上下文信息，限制了网络对图像中的小物体的分割能力，同时反卷积无法正确的还原图像信息，限制了网络整体性能。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于改进型ERFNet网络的遥感图像分割方法及装置，进一步地提高模型分割能力，完成对遥感高分辨率图像的有效分割。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于改进型ERFNet网络的遥感图像分割方法，包括：
获取遥感图像；
将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，其中：
所述改进型ERFNet语义分割网络模型包括添加注意力金字塔池化模块的编码器模块和使用光流指导对齐模块替换反卷积的解码器模块。
进一步的，所述将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，包括：
遥感图像输入到训练后的改进型ERFNet语义分割网络模型后首先进入编码器模块；
编码器模块中通过下采样、标准卷积以及膨胀卷积对遥感图像进行浅层特征和深层特征的提取，得到提取后的浅层特征图和深层特征图；
采用注意力金字塔池化模块，对提取后的深层特征图进一步地提取特征以及上下文信息，得到进一步处理后的深层特征图；
解码器模块中将进一步处理后的深层特征图和浅层特征图输入到光流指导对齐模块进行上采样，再使用1×1卷积处理通道，并进行双线性插值上采样，得到遥感图像分割结果。
进一步的，所述改进型ERFNet语义分割网络模型的训练方法，包括：
获取遥感高分辨率图像数据集并进行数据预处理，划分为训练集、验证集及测试集；
利用训练集、验证集对预先构建的改进型ERFNet语义分割网络模型进行训练和验证；
将测试集输入到训练后的改进型ERFNet语义分割网络模型，得到遥感高分辨率图像分割结果。
进一步的，所述获取遥感高分辨率图像数据集并进行数据预处理，划分为训练集、验证集及测试集，包括：
从开源数据集网站下载或自制遥感高分辨率图像数据集；
对遥感高分辨率图像数据集中的图片以及标签进行尺寸缩放和数据增强；
将缩放和数据增强后图片及标签放入不同文件夹，并按照比例划分训练集、验证集及测试集。
进一步的，所述利用训练集、验证集对预先构建的改进型ERFNet语义分割网络模型进行训练和验证，包括：
S21：设定训练改进型ERFNet语义分割网络模型的初始参数；
S22：在训练过程中使用神经元随机失活策略进行正则化，采用交叉熵损失函数计算损失；
S23：根据S22得到的损失计算梯度，采用Adam优化器更新神经网络权重以及偏置，采用poly策略进行学习率衰减；
S24：使用平均交并比mIoU对模型进行评估；
S25：重复步骤S22-S24训练过程，每训练完一轮使用验证集对网络模型进行评估，直至训练轮数全部完成，保存最优训练模型。
第二方面，本发明提供一种基于改进型ERFNet网络的遥感图像分割装置，包括：
获取模块，用于获取遥感图像；
分割模块，用于将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，其中：
所述改进型ERFNet语义分割网络模型包括添加注意力金字塔池化模块的编码器模块和使用光流指导对齐模块替换反卷积的解码器模块。
进一步的，所述分割模块，包括：
输入单元，用于：遥感图像输入到训练后的改进型ERFNet语义分割网络模型后首先进入编码器模块；
第一提取单元，用于：编码器模块中通过下采样、标准卷积以及膨胀卷积对遥感图像进行浅层特征和深层特征的提取，得到提取后的浅层特征图和深层特征图；
第二提取单元，用于：采用注意力金字塔池化模块，对提取后的深层特征图进一步地提取特征以及上下文信息，得到进一步处理后的深层特征图；
分割单元，用于：解码器模块中将进一步处理后的深层特征图和浅层特征图输入到光流指导对齐模块进行上采样，再使用1×1卷积处理通道，并进行双线性插值上采样，得到遥感图像分割结果。
进一步的，所述分割模块中设有训练模块，用于训练改进型ERFNet语义分割网络模型，所述训练模块包括：
下载单元，用于从开源数据集网站下载或自制遥感高分辨率图像数据集；
缩放单元，用于对遥感高分辨率图像数据集中的图片以及标签进行尺寸缩放和数据增强；
划分单元，用于将缩放和数据增强后图片及标签放入不同文件夹，并按照比例划分训练集、验证集及测试集。
第三方面，本发明提供一种电子设备，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据前述任一项所述方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
(1)本发明提供一种基于改进型ERFNet网络的遥感图像分割方法，在编码器中增加了注意力金字塔池化模块，使用光流指导对齐模块代替解码器中反卷积，充分融合了多尺度信息，确保图像还原准确度，有效提高了遥感高分辨率图像中的小物体以及整体图像的分割精度。
(2)本发明使用的基于改进型ERFNet网络的遥感图像分割方法具有分割精度高、计算参数量少、推理速度快的特点，使用基于改进型ERFNet网络的遥感图像分割方法可以融合多尺度特征，整合利用全局以及局部上下文信息，指导上采样恢复图像，有效提高了遥感高分辨率图像中的小物体以及整体图像的分割精度。
附图说明
图1是本发明实施例提供的改进型ERFNet语义分割网络模型的训练流程图；
图2是本发明实施例提供的改进型ERFNet语义分割网络示意图；
图3是本发明实施例提供的下采样层和卷积块的示意图；
图4是本发明实施例提供的注意力金字塔池化模块的示意图；
图5是本发明实施例提供的光流指导对齐模块的示意图；
图6是本发明实施例提供的一种基于改进型ERFNet网络的遥感图像分割方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
如图6所示，本实施例介绍一种基于改进型ERFNet网络的遥感图像分割方法，包括：
获取遥感图像；
将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，其中：
所述改进型ERFNet语义分割网络模型包括添加注意力金字塔池化模块的编码器模块和使用光流指导对齐模块替换反卷积的解码器模块。
本实施例提供的基于改进型ERFNet网络的遥感图像分割方法，其应用过程具体涉及如下步骤：
步骤S1：获取遥感高分辨率图像数据集并进行数据预处理，得到训练集、验证集和测试集；
步骤S2：利用步骤S1得到的训练集、验证集对预先构建的改进型ERFNet语义分割网络模型进行训练和验证；
步骤S3：将步骤S1得到的测试集输入到训练后的改进型ERFNet语义分割网络模型，得到遥感高分辨率图像分割结果。
具体的，步骤S1包括以下步骤：
S11：从开源数据集网站下载或自制遥感数据集；
S12：将下载数据集中图片以及其标签进行尺寸缩放和数据增强；
S13：将缩放和数据增强后图片及标签放入不同文件夹，并按照比例划分训练集、验证集及测试集。
具体的，步骤S2中预先构建的改进型ERFNet语义分割网络包括添加注意力金字塔池化模块(APPM)的编码器和使用光流指导对齐模块(FGAM)替换反卷积的解码器；
编码器模块中通过下采样、标准卷积以及膨胀卷积对遥感高分辨率图像进行浅层特征和深层特征的提取，得到提取后的浅层特征图和深层特征图；采用注意力金字塔池化模块，对提取后的深层特征图再进一步地提取特征以及上下文信息，得到进一步处理后的深层特征图；
解码器模块中将进一步处理后的深层特征图与浅层特征图输入到光流指导对齐模块进行上采样，再使用1×1卷积处理通道，并进行双线性插值上采样，得到最终分割预测图。
具体的，步骤S2包括以下步骤：
S21：设定训练改进型ERFNet语义分割网络模型的初始参数；
S22：在训练过程中使用神经元随机失活(Dropout)策略进行正则化，采用交叉熵损失函数计算损失；
S23：根据S22得到的损失计算梯度，采用Adam优化器更新神经网络权重以及偏置，采用poly策略进行学习率衰减；
S24：使用平均交并比mIoU对模型进行评估；
S25：重复步骤S22-S24训练过程，每训练完一轮使用验证集对网络模型进行评估，直至训练轮数全部完成，保存最优训练模型。
具体的，步骤S3包括以下步骤：
S31：导入步骤S2中获得的最优模型，读入S1中得到的测试集的图片以及标签；
S32：计算mIoU评分，保存测试结果。
下面结合一个优选实施例，对上述实施例中设计到的内容进行说明。
如图1所示，本实施例提供一种基于改进型ERFNet网络的遥感图像分割方法。具体步骤如下：
步骤S1：获取遥感高分辨率图像数据集并进行数据预处理，得到训练集、验证集和测试集；
步骤S1具体包括以下步骤：
S11：从开源数据集网站http://captain.whu.edu.cn/WUDA-RSImg/gid.html下载Gaofen Image Dataset(GID)数据集；
S12：将下载数据集中150张图片以及其标签使用torchvision.transforms工具包中resize函数进行缩放，缩放为1024*2048尺寸；使用水平翻转(flipping)以及平移(translation)方法对缩放后的数据集进行数据增强；
S13：将缩放后的图片及标签放入不同文件夹，并按照3:1:1比例将数据集中数据随机划分成训练集、验证集以及测试集，划分后的文件名列表文件存放在工程所在的路径下，分别为train.txt、val.txt、test.txt。
步骤S2：利用步骤S1得到的训练集、验证集对预先构建的改进型ERFNet语义分割网络模型进行训练和验证；
预先构建的改进型ERFNet语义分割网络如图2所示，包括编码器模块和解码器模块，编码器模块添加注意力金字塔池化模块(APPM)，解码器模块使用光流指导对齐模块(FGAM)代替反卷积进行上采样；
编码器模块中，使用图3(左)所示下采样层对输入遥感高分辨率图像进行下采样得到特征图F1，再使用下采样层对特征图F1进行下采样，使用图3(右)所示卷积块对下采样后特征图进行5次特征提取(膨胀倍率全部为1)得到特征图F2；使用下采样层对特征图F2进行下采样，使用卷积块对下采样后特征图进行8次特征提取(膨胀倍率分别为2、4、8、16、2、4、8、16)得到特征图F3；F1、F2、F3使用公式可表示为：
F1＝Down(input)
F2＝Conv(Down(F1))
F3＝Conv(Down(F2))
其中，Down为下采样层下采样操作，Conv卷积块卷积操作，input为输入遥感高分辨率图像。采用如图4所示的注意力金字塔池化模块，将特征图F3进行全局平均池化(GAP)，再将全局平均池化后特征图进行1×1卷积得到含有全局信息的特征图F4；将特征图F3使用平均池化进行三次下采样，然后将每次下采样后特征图分别使用7×7、5×5和3×3卷积进行特征提取得到特征图F5、F6和F7，将特征图F7使用双线性插值进行上采样并与特征图F6进行逐元素相加，将相加后特征图上采样与特征图F5相加，再将相加后特征图上采样得到注意力特征图F8，将注意力特征图F8与特征图F3进行逐元素相乘，再加上特征图F4，得到输出特征图F9。F4、F5、F6、F7、F8、F9使用公式可表示为：
F4＝Conv1×1(GAP(F3))
F5＝Conv7×7(Avgpool(F3))
F6＝Conv5×5(Avgpool(Avgpool(F3)))
F7＝Conv3×3(Avgpool(Avgpool(Avgpool(F3))))
Figure BDA0004118491830000101
Figure BDA0004118491830000102
其中，Conv1×1、Conv3×3、Conv5×5、Conv7×7分别为1×1、3×3、5×5和7×7卷积，GAP为全局平均池化，Avgpool为平均池化，Up为双线性插值上采样，
Figure BDA0004118491830000111
为逐元素相加，/>
Figure BDA0004118491830000112
为逐元素相乘。
解码器模块中，将深层特征图F9与浅层特征图F2输入到如图5所示的光流指导对齐模块进行上采样。光流指导对齐模块通过将深层特征图F9上采样后与浅层特征图F2拼接以及3×3卷积生成光流场Flow1。使用光流场Flow1指导特征图F9进行上采样，使用通道注意力Ch ann_Atten(包括一个全局平均池化和两个1×1卷积)进一步增强上采样后特征图特征，得到特征图F10；再将特征图F10与编码器得到的特征图F1重复上述过程得到特征图F11，将特征图F11使用1×1卷积将通道数改为类别数，使用双线性插值再做上采样，得到最终分割预测图Output。Flow1、F10、Flow2、F11、Ch ann_Atten、Output使用公式可表示为：
Flow1＝Conv3×3(Cat(F2，Up(F9)))
F10＝Flow_Up(Flow1，F9)
Flow2＝Conv3×3(Cat(F1，Up(F10)))
F11＝Flow_Up(Flow2，F9)
Ch ann_Atten＝Conv1×1(Conv1×1(GAP(F)))
Output＝Up(Conv1×1(F11))
其中，F可以是F10或F11，Cat为特征拼接，Flow_Up为光流指导上采样。
步骤S2具体包括以下步骤：
S21：设定训练改进型ERFNet语义分割网络模型初始参数如下；
初始学习率(learning rate)：0.0005；
优化器(optimization)：Adam优化器；
学习率衰减(learning rate decay)：poly策略；
权重衰减(weight decay)：0.0002；
动量(momentum)：0.9；
批大小(batch size)：6；
训练轮数(epoch)：300；
S22：在训练过程中使用神经元随机失活(Dropout)策略进行正则化，采用交叉熵损失函数计算损失，损失的计算公式如下：
L＝-[ylogy′+(1-y)log(1-y′)]
其中，y为样本标签，y′为预测值。当y＝1时，L＝-logy′，此时y′越接近1，损失值越小，y′越接近0，损失值越大。当y＝0时，L＝-log(1-y′)，此时y′越接近1，损失值越大，y′越接近0，损失值越小。
S23：根据将S22得到的损失计算梯度，采用Adam优化器更新神经网络权重以及偏置；
S24：采用poly策略进行学习率衰减，衰减公式如下：
Figure BDA0004118491830000121
其中，base_lr为初始学习率，cur_epoch为当前训练轮数，epoch为总轮数。
S25：使用平均交并比mIoU(mean Intersection over Union)对模型进行评估，mIoU表示网络模型分割的精度，mIoU值越高则表示图像分割效果越好。计算方法如下：
Figure BDA0004118491830000131
其中，N表示类别数，i表示第i类；TPi为真正例，即模型第i类预测类别与真实类别均为正例的情况；FPi为假正例，即模型第i类预测类别为正例，但真实类别为反例的情况；FNi为假反例，即模型第i类预测类别为反例，但真实类别为正例的情况；
S26：重复步骤S22-S25训练过程，每训练完一轮使用验证集对网络模型进行评估，按照最优mIoU值保存网络参数，直至训练轮数300轮全部完成，保存最优训练模型。
步骤S3：将步骤S1得到的测试集输入到步骤S2得到的改进型ERFNet语义分割网络，得到遥感高分辨率图像分割结果。
步骤S3具体包括以下步骤：
S31：导入步骤S2中获得的最优模型，读入S1中得到的测试集的图片以及标签；
S32：计算mIoU评分，保存测试结果。
实施例2
本实施例提供一种基于改进型ERFNet网络的遥感图像分割装置，包括：
获取模块，用于获取遥感图像；
分割模块，用于将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，其中：
所述改进型ERFNet语义分割网络模型包括添加注意力金字塔池化模块的编码器模块和使用光流指导对齐模块替换反卷积的解码器模块。
在进一步实施例中，所述分割模块，包括：
输入单元，用于：遥感图像输入到训练后的改进型ERFNet语义分割网络模型后首先进入编码器模块；
第一提取单元，用于：编码器模块中通过下采样、标准卷积以及膨胀卷积对遥感图像进行浅层特征和深层特征的提取，得到提取后的浅层特征图和深层特征图；
第二提取单元，用于：采用注意力金字塔池化模块，对提取后的深层特征图进一步地提取特征以及上下文信息，得到进一步处理后的深层特征图；
分割单元，用于：解码器模块中将进一步处理后的深层特征图和浅层特征图输入到光流指导对齐模块进行上采样，再使用1×1卷积处理通道，并进行双线性插值上采样，得到遥感图像分割结果。
在进一步实施例中，所述分割模块中设有训练模块，用于训练改进型ERFNet语义分割网络模型，所述训练模块包括：
下载单元，用于从开源数据集网站下载或自制遥感高分辨率图像数据集；
缩放单元，用于对遥感高分辨率图像数据集中的图片以及标签进行尺寸缩放和数据增强；
划分单元，用于将缩放和数据增强后图片及标签放入不同文件夹，并按照比例划分训练集、验证集及测试集。
实施例3
本实施例提供一种电子设备，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据前述任一项所述方法的步骤。
实施例4
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于改进型ERFNet网络的遥感图像分割方法，其特征在于，包括：
获取遥感图像；
将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，其中：
所述改进型ERFNet语义分割网络模型包括添加注意力金字塔池化模块的编码器模块和使用光流指导对齐模块替换反卷积的解码器模块。
2.根据权利要求1所述的基于改进型ERFNet网络的遥感图像分割方法，其特征在于，所述将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，包括：
遥感图像输入到训练后的改进型ERFNet语义分割网络模型后首先进入编码器模块；
编码器模块中通过下采样、标准卷积以及膨胀卷积对遥感图像进行浅层特征和深层特征的提取，得到提取后的浅层特征图和深层特征图；
采用注意力金字塔池化模块，对提取后的深层特征图进一步地提取特征以及上下文信息，得到进一步处理后的深层特征图；
解码器模块中将进一步处理后的深层特征图和浅层特征图输入到光流指导对齐模块进行上采样，再使用1×1卷积处理通道，并进行双线性插值上采样，得到遥感图像分割结果。
3.根据权利要求1所述的基于改进型ERFNet网络的遥感图像分割方法，其特征在于，所述改进型ERFNet语义分割网络模型的训练方法，包括：
获取遥感高分辨率图像数据集并进行数据预处理，划分为训练集、验证集及测试集；
利用训练集、验证集对预先构建的改进型ERFNet语义分割网络模型进行训练和验证；
将测试集输入到训练后的改进型ERFNet语义分割网络模型，得到遥感高分辨率图像分割结果。
4.根据权利要求3所述的基于改进型ERFNet网络的遥感图像分割方法，其特征在于，所述获取遥感高分辨率图像数据集并进行数据预处理，划分为训练集、验证集及测试集，包括：
从开源数据集网站下载或自制遥感高分辨率图像数据集；
对遥感高分辨率图像数据集中的图片以及标签进行尺寸缩放和数据增强；
将缩放和数据增强后图片及标签放入不同文件夹，并按照比例划分训练集、验证集及测试集。
5.根据权利要求3所述的基于改进型ERFNet网络的遥感图像分割方法，其特征在于，所述利用训练集、验证集对预先构建的改进型ERFNet语义分割网络模型进行训练和验证，包括：
S21：设定训练改进型ERFNet语义分割网络模型的初始参数；
S22：在训练过程中使用神经元随机失活策略进行正则化，采用交叉熵损失函数计算损失；
S23：根据S22得到的损失计算梯度，采用Adam优化器更新神经网络权重以及偏置，采用poly策略进行学习率衰减；
S24：使用平均交并比mIoU对模型进行评估；
S25：重复步骤S22-S24训练过程，每训练完一轮使用验证集对网络模型进行评估，直至训练轮数全部完成，保存最优训练模型。
6.一种基于改进型ERFNet网络的遥感图像分割装置，其特征在于，包括：
获取模块，用于获取遥感图像；
分割模块，用于将遥感图像输入到训练后的改进型ERFNet语义分割网络模型中，得到遥感图像分割结果，其中：
所述改进型ERFNet语义分割网络模型包括添加注意力金字塔池化模块的编码器模块和使用光流指导对齐模块替换反卷积的解码器模块。
7.根据权利要求6所述的基于改进型ERFNet网络的遥感图像分割方法，其特征在于，所述分割模块，包括：
输入单元，用于：遥感图像输入到训练后的改进型ERFNet语义分割网络模型后首先进入编码器模块；
第一提取单元，用于：编码器模块中通过下采样、标准卷积以及膨胀卷积对遥感图像进行浅层特征和深层特征的提取，得到提取后的浅层特征图和深层特征图；
第二提取单元，用于：采用注意力金字塔池化模块，对提取后的深层特征图进一步地提取特征以及上下文信息，得到进一步处理后的深层特征图；
分割单元，用于：解码器模块中将进一步处理后的深层特征图和浅层特征图输入到光流指导对齐模块进行上采样，再使用1×1卷积处理通道，并进行双线性插值上采样，得到遥感图像分割结果。
8.根据权利要求6所述的基于改进型ERFNet网络的遥感图像分割装置，其特征在于，所述分割模块中设有训练模块，用于训练改进型ERFNet语义分割网络模型，所述训练模块包括：
下载单元，用于从开源数据集网站下载或自制遥感高分辨率图像数据集；
缩放单元，用于对遥感高分辨率图像数据集中的图片以及标签进行尺寸缩放和数据增强；
划分单元，用于将缩放和数据增强后图片及标签放入不同文件夹，并按照比例划分训练集、验证集及测试集。
9.一种电子设备，其特征在于：包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
CN202310225930.6A 2023-03-08 2023-03-08 一种基于改进型ERFNet网络的遥感图像分割方法及装置 Pending CN116229073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310225930.6A CN116229073A (zh) 2023-03-08 2023-03-08 一种基于改进型ERFNet网络的遥感图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310225930.6A CN116229073A (zh) 2023-03-08 2023-03-08 一种基于改进型ERFNet网络的遥感图像分割方法及装置

Publications (1)

Publication Number Publication Date
CN116229073A true CN116229073A (zh) 2023-06-06

Family

ID=86578492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310225930.6A Pending CN116229073A (zh) 2023-03-08 2023-03-08 一种基于改进型ERFNet网络的遥感图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN116229073A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612288A (zh) * 2023-07-19 2023-08-18 南京信息工程大学 一种多尺度轻量级实时语义分割方法、系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612288A (zh) * 2023-07-19 2023-08-18 南京信息工程大学 一种多尺度轻量级实时语义分割方法、系统
CN116612288B (zh) * 2023-07-19 2023-11-07 南京信息工程大学 一种多尺度轻量级实时语义分割方法、系统

Similar Documents

Publication Publication Date Title
CN111950594B (zh) 基于子图采样的大规模属性图上的无监督图表示学习方法和装置
Wang et al. A review of image super-resolution approaches based on deep learning and applications in remote sensing
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
Jiang et al. Forest-CD: Forest change detection network based on VHR images
Irfan et al. A novel feature extraction model to enhance underwater image classification
Xu et al. AutoSegNet: An automated neural network for image segmentation
CN113205103A (zh) 一种轻量级的文身检测方法
CN116229073A (zh) 一种基于改进型ERFNet网络的遥感图像分割方法及装置
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Xia et al. Urban remote sensing scene recognition based on lightweight convolution neural network
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
Zhang et al. Noise and edge based dual branch image manipulation detection
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
Guo et al. Scale region recognition network for object counting in intelligent transportation system
CN114202473A (zh) 一种基于多尺度特征和注意力机制的图像复原方法及装置
CN116758547B (zh) 一种纸介质碳化方法、系统及存储介质
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN115995002B (zh) 一种网络构建方法及城市场景实时语义分割方法
Zeng et al. Masanet: Multi-angle self-attention network for semantic segmentation of remote sensing images
CN115205624A (zh) 一种跨维度注意力聚合的云雪辩识方法、设备及存储介质
Li et al. Semantic prior-driven fused contextual transformation network for image inpainting
Pei et al. FGO-Net: Feature and Gaussian Optimization Network for visual saliency prediction
Zhang et al. Research on lane identification based on deep learning
Lu Visual characteristics for computational prediction of aesthetics and evoked emotions
Huang et al. Ddcnet: A lightweight network with variable receptive field for real-time portrait segmentation in complex environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination