CN113436198A - 一种协同图像超分辨率重建的遥感图像语义分割方法 - Google Patents
一种协同图像超分辨率重建的遥感图像语义分割方法 Download PDFInfo
- Publication number
- CN113436198A CN113436198A CN202110658772.4A CN202110658772A CN113436198A CN 113436198 A CN113436198 A CN 113436198A CN 202110658772 A CN202110658772 A CN 202110658772A CN 113436198 A CN113436198 A CN 113436198A
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- super
- remote sensing
- image
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种协同图像超分辨率重建的遥感图像语义分割方法，其特点是语义分割具体包括：训练数据集预处理；建立协同图像超分辨率重建的遥感图像语义分割神经网络模型；训练网络模型并保存最佳网络模型；模型推理，得到预测结果等步骤。本发明与现有技术相比具有使用低分辨率的遥感图像得到高精度语义分割结果，大大降低了计算成本，有效解决了高精度语义分割方法依赖于高分辨率的输入图像的问题，模型输出的高精确分割图像以及超分辨率重建图像为下一步应用提供了高质量数据。
Description
技术领域
本发明涉及遥感图像处理技术领域，尤其是一种协同图像超分辨率重建的遥感图像语义分割方法。
背景技术
作为遥感图像处理的基础任务之一，遥感图像分割为土地资源规划、城市建设管理、自然灾害救援等方面有着重要作用。深度学习快速发展的十年来，以深度卷积神经网络为代表的方法大大提高了遥感图像语义分割的效果。
目前，高精度语义分割方法都依赖于高分辨率的输入图像。但是，现有的遥感影像的分辨率较低，深度神经网络在低分辨率的输入中学习到的特征有限，无法满足深度卷积神经网络的学习要求。另外，机载或航天设备拍摄的图像通常受到地面采样区域、大气衰减和大气路径辐射等不同因素以及不同程度的影响，导致难获得高质量的高分辨率图像。获取高分辨率遥感图像的不但成本高昂，而且处理高分辨率遥感图像对计算资源的需求也很大。因此，如何使用低分辨率图像训练深度卷积神经网络获取高质量的语义分割图像具有挑战性。
发明内容
本发明的目的是针对现有技术的不足而提出的一种协同图像超分辨率重建的遥感图像语义分割方法，采用协同图像超分辨率重构的遥感图像语义分割神经网络模型，将待处理图像输入到训练好的模型中进行高精度遥感图像的分割，模型输出的高精确分割图像以及超分辨率重建图像，为遥感图像场景分类及目标检测识别的应用提供了高质量数据，较好解决了高精度语义分割依赖于高分辨率的输入图像以及图像处理占用大量计算资源的问题。
本发明的目的是这样实现的：一种协同图像超分辨率重建的遥感图像语义分割方法，其特点是遥感图像语义分割具体包括下述步骤：
步骤S1：训练数据集预处理
选择现有遥感影像数据集，对数据集中的训练集，通过随机水平翻转、随机垂直翻转、随机缩放和随机裁切操作对训练集中样本进行数据增强。
步骤S2：构建协同图像超分辨率重建的遥感图像语义分割神经网络模型
基于Pytorch机器学习库，构建协同图像超分辨率重建的遥感图像语义分割神经网络模型，该模型由五个部分组成，分别为：编码器(Encoder)、解码器(Decoder)、语义分割分支(SSB)、超分辨率分支(SRB)和结构相似性模块(SAB)。
步骤S3：网络模型训练
将增强后的训练集中的数据样本送入网络模型训练，训练过程中会保存在验证数据集中表现最好的网络模型。
步骤S4：遥感图像的语义分割
利用步骤S3保存的最佳网络模型进行遥感图像语义分割，输出高分辨率遥感图像以及高精确分割结果。
本发明与现有技术相比具有以下有益的技术效果：
1)构建的网络模型结合了超像素重建，使用低分辨率的遥感图像数据集也能训练高精度语义分割网络模型；
2)使用低分辨率遥感图像作为输入，计算成本低；
3)使用的结构相似性模块使超分辨率重建分支和语义分割分支相辅相成，输出的结果比单独对低分辨率图像进行超分辨率重建或语义分割好；
4)输出的结果是超分辨率重建后的高分辨率遥感图像以及高精确分割结果，为后续应用提供了高质量的数据源。
附图说明
图1为本发明构建的网络模型示意图；
图2为像素洗牌示意图；
图3为超分辨率重建分支结构示意图；
图4为实施例的模型实验结果的图像。
具体实施方式
参阅附图1，本发明的按下述步骤进行遥感图像语义分割的：
步骤S1：训练数据集预处理
选择现有遥感影像数据集，对数据集中的训练集，通过随机水平翻转、随机垂直翻转、随机缩放和随机裁切操作对训练集中样本进行数据增强。
步骤S2：构建协同图像超分辨率重建的遥感图像语义分割神经网络模型
基于Pytorch机器学习库，构建协同图像超分辨率重建的遥感图像语义分割神经网络模型，模型主要由编码器神经网络模型由五个部分组成，分别为：编码器(Encoder)、解码器(Decoder)、语义分割分支(SSB)、超分辨率分支(SRB)、结构相似性模块(SAB)。
步骤S3：网络模型训练
将增强后的训练集中的数据样本送入网络模型训练，训练过程中保存在验证数据集中表现最好的网络模型。
步骤S4：遥感图像的语义分割
利用步骤S3保存的最佳网络模型进行遥感图像语义分割，输出高分辨率遥感图像以及高精确分割结果。
所述步骤S2中构建的网络模型由五个部分组成，分别为：编码器(Encoder)、解码器(Decoder)、语义分割分支(SSB)、超分辨率分支(SRB)、结构相似性模块(SAB)。
所述的语义分割分支(SRB)在原有语义分割分支(SSB)的基础上又引入了超分辨率分支(SRB)，并且SSB和SRB共享一个解码器。
所述结构相似性模块(SAB)以语义分割分支组最后一层的输入(SSB)以及超分辨率重建分支(SRB)最后一层的输入作为该模块的输入，利用SSB和SRB中间特征图之间的结构相似性(SSIM)，引导训练过程中神经网络模型的SSB学习图像细节信息；同时也引导SRB学习图像高级语义信息，SAB仅在网络训练阶段使用。
以下通过具体实施例对本发明作进一步的详细说明。
实施例1
步骤S1：训练数据集预处理
选择现有遥感影像数据集，对数据集中的训练集，通过随机水平翻转、随机垂直翻转、随机缩放和随机裁切操作对训练集中样本进行数据增强。
本实例选择国际摄影测量与遥感协会(ISPRS)公开的Potsdam数据集建立遥感图像分割训练样本集、验证样本集和测试样本集。Potsdam数据集包含38张大小为6000×6000像素的图像，每张图像由红(R)，绿(G)，蓝(B)，近红外(IR)四个通道组成，每个通道等空间分辨率为5厘米。数据集中还有38张标注图像，遥感图像与标注图像之间一一对应。选择其中的5张图像作为验证集(编号分别为：3_13,4_12,5_12,6_12,7_12)，14张图片作为测试集(编号分别为：2_13,2_14,3_13,3_14,4_13,4_14,4_15,5_13,5_14,5_15,6_13,6_14,6_15,7_13)，剩余的19张图像作为训练集。
对训练集中原始图像及标注图像进行预处理，用步长为300像素的滑动窗口将图片切割为多个大小为512×512像素的小图像。对切割后的小图像进行随机水平翻转、随机垂直翻转和随机缩放操作增强训练数据集样本多样性。
步骤S2：构建协同图像超分辨率重建的遥感图像语义分割神经网络模型
参阅附图1，本发明构建的协同图像超分辨率重建的遥感图像语义分割神经网络模型主要由编码器神经网络模型由五个部分组成，分别为：编码器(Encoder)、解码器(Decoder)、语义分割分支(SSB)、超分辨率分支(SRB)、结构相似性模块(SAB)。
本实例使用在ImageNet数据集上预训练的ResNet-50作为编码器，去除最后的池化成以及所有全连接层，其余部分不做改动。
参阅附图2，解码器由多个上采样层组成，本实施例中使用4层像素重组(pixelshuffle)上采样层。
语义分割分支使用目标上下文表示(OCR)分割。
参阅附图3，超分辨率分支由多个超分辨率上采样层组成。
结构相似性模块，结构相似性模块能利用超分辨率分支的细节信息解决语义分割分支中缺乏图像细节信息的问题；利用语义分割分支的高级语义特征帮助超分辨率分支解决忽略高级语义特征的问题。
步骤S3：网络模型训练
本实施例训练网络时使用Adam优化器，优化器参数设定为β1＝0.9,β2＝0.999,学习率初始值为0.001，学习率衰减策略为多项式衰减，每次更新参数后学习率的衰减率为
除了编码器之外，本实施例的神经网络参数初始化均使用Kaiming初始化。本实施例使用两张GeForce RTX 2080Ti显卡，神经网络训练200个时期(Epoch)。
使用总体准确率(OA)、平均F1得分(F1)、平均召回率(recall)和平均交并比(mIoU)四个常见的评估指标对模型语义分割性能进行了量化；使用结构相似性(SSIM)和峰值信噪比(PSNR)两个常见的图像超分辨率评估指标对模型超分辨率重建性能进行了量化。
所述总体准确率(OA)由下述1式计算：
所述平均F1得分(F1)由下述2式计算：
所述平均召回率(recall)由下述3式计算：
所述平均交并比(mIoU)由下述4式计算：
所述结构相似性(SSIM)由下述5式计算：
所述峰值信噪比(PSNR)由下述6式计算：
其中，TP、TN、FP和FN分别表示在SSB的预测中被正确分类的正例、被正确分类的负例、被错误分类的正例和被错误分类的负例；μx表示x的平均值；μy表示y的平均值；σx为x的方差；σy为y的方差；σxy为x和y的协方差；c是常量，分别为c1＝0.012,c2＝0.032；x和y分别为结构相似性模块的输入；MSE(x,y)是超分辨率重建分支的预测和标签的均方差损失；MaxI是输入图像的最大值，在本实施例中MaxI＝1。
训练过程中，保存在测试集中表现最好的模型作为最佳模型。
步骤S4：输出结果
将待处理的遥感图像输入训练好的神经网络模型中，得到语义分割结果。
参阅附图4，将待处理的遥感图像(4a)送入步骤S3中保存的最佳网络模型，经过网络模型处理后得到语义分割结果图(4b)以及输入图像的超分辨率重建结果图(4c)。
采用本发明构建的神经网络与BiseNet、DeeplabV3+和EaNet相比，其参数量更少，运行速度更快，各网络的参数量、推理时间和浮点运算数比较详见下表1所示：
表1各网络的参数量、推理时间和浮点运算数比较
本发明构建的神经网络在总体准确率(OA)，平均F1得分(F1)，平均召回率(recall)，平均交并比(mIoU)上均优于其他模型，各网络在ISPRS Potsdam测试集上的评价指标值详见下表2所示：
表2各网络在ISPRS Potsdam测试集上的评价指标值
以上的实施例对本发明所提出的一种协同图像超分辨率重建的遥感图像语义分割方法进行了详细介绍。对于本领域的研究人员，依据本发明的思想，在具体实施方式以及应用范围上均会有改变之处，例如网络模型的编码器可替换成AlexNet、VGG、EfficientNet等编码器提取特征，网络的语义分割分支可以替换成Deeplabv3+，EANet等，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种协同图像超分辨率重建的遥感图像语义分割方法，其特征在于遥感图像语义分割具体包括下述步骤：
步骤S1：训练数据集的预处理
选择现有遥感影像数据集，对数据集中的训练集，通过随机的水平翻转、垂直翻转、缩放和裁切，对训练集中的样本进行数据增强；
步骤S2：神经网络模型的构建
基于Pytorch机器学习库，构建协同图像超分辨率重建的遥感图像语义分割神经网络模型；
步骤S3：网络模型的训练
将增强后的训练集中的数据样本送入神经网络模型训练，训练过程中保存在验证数据集中表现最好的网络模型；
步骤S4：遥感图像的语义分割
利用步骤S3保存的最佳网络模型进行遥感图像语义分割并输出结果。
2.根据权利要求1所述协同图像超分辨率重建的遥感图像语义分割方法，其特征在于所述步骤S2中构建的神经网络模型由编码器、解码器、语义分割分支、超分辨率分支和结构相似性模块组成。
3.根据权利要求2所述协同图像超分辨率重建的遥感图像语义分割方法，其特征在于在原有语义分割分支的基础上引入超分辨率分支，且原有语义分割分支与新引入的超分辨率分支共享编码器和解码器。
4.根据权利要求2所述协同图像超分辨率重建的遥感图像语义分割方法，其特征在于所述结构相似性模块以语义分割分支组最后一层的输入，以及超分辨率重建分支最后一层的输入作为结构相似性模块的输入，利用语义分割分支和超分辨率分支中间特征图的结构相似性，在训练过程中引导语义分割分支学习图像细节信息，同时也引导超分辨率分支学习图像高级语义信息，所述结构相似性模块仅在网络训练阶段使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658772.4A CN113436198A (zh) | 2021-06-15 | 2021-06-15 | 一种协同图像超分辨率重建的遥感图像语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658772.4A CN113436198A (zh) | 2021-06-15 | 2021-06-15 | 一种协同图像超分辨率重建的遥感图像语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113436198A true CN113436198A (zh) | 2021-09-24 |
Family
ID=77755915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110658772.4A Pending CN113436198A (zh) | 2021-06-15 | 2021-06-15 | 一种协同图像超分辨率重建的遥感图像语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436198A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780476A (zh) * | 2021-10-09 | 2021-12-10 | 中国铁建重工集团股份有限公司 | 一种岩渣特征检测模型训练方法、装置、设备及介质 |
| CN116883658A (zh) * | 2023-07-10 | 2023-10-13 | 新光维医疗科技(苏州)股份有限公司 | 一种基于双网络超分辨算法的3d数据处理方法及系统 |
| CN118014844A (zh) * | 2024-04-09 | 2024-05-10 | 临沂大学 | 一种结合超分辨率技术的遥感图像语义分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
| CN112365533A (zh) * | 2020-10-15 | 2021-02-12 | 浙江大华技术股份有限公司 | 基于图像分割的煤流量监测方法、装置和电子装置 |
| CN112669285A (zh) * | 2020-12-29 | 2021-04-16 | 中山大学 | 一种基于共享解码器和残差塔式结构的眼底图像血管分割方法 |
-
2021
- 2021-06-15 CN CN202110658772.4A patent/CN113436198A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544555A (zh) * | 2018-11-26 | 2019-03-29 | 陕西师范大学 | 基于生成式对抗网络的细小裂缝分割方法 |
| CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
| CN112365533A (zh) * | 2020-10-15 | 2021-02-12 | 浙江大华技术股份有限公司 | 基于图像分割的煤流量监测方法、装置和电子装置 |
| CN112669285A (zh) * | 2020-12-29 | 2021-04-16 | 中山大学 | 一种基于共享解码器和残差塔式结构的眼底图像血管分割方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780476A (zh) * | 2021-10-09 | 2021-12-10 | 中国铁建重工集团股份有限公司 | 一种岩渣特征检测模型训练方法、装置、设备及介质 |
| CN116883658A (zh) * | 2023-07-10 | 2023-10-13 | 新光维医疗科技(苏州)股份有限公司 | 一种基于双网络超分辨算法的3d数据处理方法及系统 |
| CN118014844A (zh) * | 2024-04-09 | 2024-05-10 | 临沂大学 | 一种结合超分辨率技术的遥感图像语义分割方法 |
| CN118014844B (zh) * | 2024-04-09 | 2024-06-14 | 临沂大学 | 一种结合超分辨率技术的遥感图像语义分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115049936B (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN110020989B (zh) | 一种基于深度学习的深度图像超分辨率重建方法 | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN113888550B (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
| CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
| CN114419449B (zh) | 一种自注意力多尺度特征融合的遥感图像语义分割方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| CN113870335A (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN115775316A (zh) | 基于多尺度注意力机制的图像语义分割方法 | |
| CN113837290A (zh) | 一种基于注意力生成器网络的无监督非成对图像翻译方法 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN110633706B (zh) | 一种基于金字塔网络的语义分割方法 | |
| CN117237641A (zh) | 一种基于双分支特征融合网络的息肉分割方法及系统 | |
| CN114120202B (zh) | 一种基于多尺度目标模型和特征融合的半监督视频目标分割方法 | |
| CN116188509A (zh) | 一种高效率三维图像分割方法 | |
| CN117237623B (zh) | 一种无人机遥感图像语义分割方法及系统 | |
| CN117422978A (zh) | 基于动态双级视觉信息融合的接地视觉问答方法 | |
| CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
| CN116844039A (zh) | 一种联合多注意的跨尺度遥感图像耕地提取方法 | |
| CN112508958B (zh) | 一种轻量多尺度的生物医学图像分割方法 | |
| CN115424243A (zh) | 基于yolov5-shufflenetv2的车位号码识别方法、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |