CN111259900A - 一种卫星遥感图像的语义分割方法 - Google Patents

一种卫星遥感图像的语义分割方法 Download PDF

Info

Publication number
CN111259900A
CN111259900A CN202010030255.8A CN202010030255A CN111259900A CN 111259900 A CN111259900 A CN 111259900A CN 202010030255 A CN202010030255 A CN 202010030255A CN 111259900 A CN111259900 A CN 111259900A
Authority
CN
China
Prior art keywords
remote sensing
semantic segmentation
sensing image
satellite remote
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010030255.8A
Other languages
English (en)
Inventor
李鑫
许峰
刘凡
王龙宝
吕鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010030255.8A priority Critical patent/CN111259900A/zh
Publication of CN111259900A publication Critical patent/CN111259900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种卫星遥感图像的语义分割方法，包括步骤：(1)获取原始卫星遥感图像并进行图像预处理；(2)将数据划分为样本集和训练集，并制作遥感图像类标图；(3)构建卫星遥感图像语义分割网络模型；(4)训练语义分割网络模型，得到最优网络模型；(5)输入待测样本集，得到语义分割结果。本发明构造了一种面向大尺度卫星遥感图像的语义分割网络模型，不但有效提高像素级分类精度，而且该网络模型能够实现端到端的训练和预测，解决已有方法前置和后置处理步骤繁杂的问题。此外，该网络模型通过引入深度可分离卷积压缩网络参数，提高迭代效率和收敛速率。

Description

一种卫星遥感图像的语义分割方法
技术领域
本发明涉及遥感图像处理领域，尤其涉及一种卫星遥感图像的语义分割方法。
背景技术
近年来，随着科学技术的发展进步，大量搭载高分辨率影像获取设备的卫星被发射并投入使用，由此产生了海量高分辨率遥感图像，根据其所蕴含丰富的地理信息，进行有效分析，能够对精准农业、军事侦察和水文环境监测等领域研究提供重要的数据支撑。因此，如何对遥感图像进行语义分割，实现像素级分类和高级语义特征的信息提取，是该领域当前热点研究内容之一。
众多研究学者尝试了很多方法对高分辨率遥感图像进行目标分类和语义识别。其中，包括基于支持向量机SVM(Support Vector Machine)的方法，基于非监督聚类算法和基于边缘检测的方法等。但是由于遥感图像包含丰富光谱信息，传统特征提取方法并不能取得很好的分割效果。
深度学习的提出和进一步发展应用，使得普通图像的语义分割方法精度和效率得以大幅提升，然而其在遥感图像中的应用仍旧有待挖掘和探索。因此，如何设计并实现一种高效且高精度的遥感图像语义分割网络结构，通过对有限的大尺度卫星遥感图像数据进行训练，循环迭代获取最优参数，端到端的解决大尺度卫星遥感图像语义分割问题是当前研究的重点。
发明内容
发明目的：针对以上问题，本发明提出一种卫星遥感图像的语义分割方法，构造卫星遥感图像的语义分割网络模型，提高像素级分类精度，实现端到端的训练和预测。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种卫星遥感图像的语义分割方法，包括步骤：
(1)获取原始卫星遥感图像并进行图像预处理；
(2)将数据划分为样本集和训练集，并制作遥感图像类标图；
(3)构建卫星遥感图像语义分割网络模型；
(4)训练语义分割网络模型，得到最优网络模型；
(5)输入待测样本集，得到语义分割结果。
进一步地，所述步骤2中，对图像进行人工标注，赋予像素级语义类标，包含15类地物元素和1类未定义类，通过不同颜色进行划分。
进一步地，所述步骤3包括步骤：
(3.1)构建基于编码-解码的全卷积神经网络结构，实现端到端的语义分割；
(3.2)引入深度可分离卷积操作优化网络结构。
进一步地，深度可分离卷积包含深度可分离卷积层和深度可分离反卷积层两种形式。
进一步地，利用深度可分离卷积改进SqueezeNet的fire模块，形成改进的MSFBlock。
进一步地，所述步骤4中，训练时选用交叉熵作为损失计算，采用Adam优化器进行参数调优，循环迭代结束，输出最优网络参数组合。
有益效果：本发明构造了一种面向大尺度卫星遥感图像的语义分割网络模型，不但有效提高像素级分类精度，而且该网络模型能够实现端到端的训练和预测，解决已有方法前置和后置处理步骤繁杂的问题。此外，该网络模型通过引入深度可分离卷积压缩网络参数，提高迭代效率和收敛速率。
附图说明
图1是本发明所述的卫星遥感图像的语义分割方法流程图；
图2是卫星遥感图像的语义分割网络架构图；
图3是MSFBlock结构图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明所述的卫星遥感图像的语义分割方法，包括步骤：
(1)获取原始卫星遥感图像并进行图像预处理；
针对高分2号3.2m空间分辨率的多光谱遥感卫星图像，首先进行绝对辐射定标和大气校正，然后通过ENVI软件进行数据拉伸为8bit位，之后进行波段重组为近红外波段RGB组合。
(2)制作遥感图像类标图，将数据划分为样本集和训练集；
为训练使用，对8景6800*7200像素图像进行人工标注，赋予像素级语义类标，包含15类地物元素和1类未定义类，通过不同颜色进行划分。将数据按照特定比例划分为训练集和验证集，每一景图像配备其人工标注类标图。
(3)构建面向大尺度的卫星遥感图像语义分割网络模型，如图2所示，该神经网络结构的构建包括步骤：
(3.1)构建基于编码-解码的全卷积神经网络结构，实现端到端的语义分割；
对待预测图像输入尺寸为H×W×C，其中H为图像高度，W为图像宽度，C为波段数，输出为H×W，其中输出图像包含每一像素的语义标识和像素坐标，共计16类别，以16种不同颜色可视化表达。
(3.2)引入深度可分离卷积操作优化已有网络结构，在保持精度需求的前提下，降低计算复杂度，压缩网络参数量，降低运行时内存占比；
利用深度可分离卷积改进SqueezeNet中的fire模块，形成改进的MSFBlock，如图3所示。该MSFBlock能够在保障输出要求的前提下压缩参数量，减小计算复杂度，降低内存占比，进而优化网络效率。
具体地，深度可分离卷积包含深度可分离卷积层和深度可分离反卷积层两种形式。假设卷积核大小为Kh×Kw，通道数量为C，常规卷积层参数总量为Kh×Kw×C，然而本发明所引入的深度可分离卷积层，在相同预设参数条件下，所需参数量为Kh×Kw+C，Kh、Kw和C均为大于1的正整数，大大减少了参数量，进而缩减计算量和计算过程所需内存占比。
(4)在训练时选用交叉熵作为损失计算，并采用Adam优化器进行参数调优，循环迭代结束，并输出最优网络参数组合。
本方法实施过程中采用交叉熵损失函数，并利用基于梯度矩阵一阶矩估计和二阶矩估计综合考虑的Adam优化器，优化网络参数，最终获取迭代终止时损失最低、精度最高的网络参数信息。
(5)输入待测试数据集，得到语义分割结果。
对待分割的遥图像数据进行实验验证，分析分割后像素级分类精度和测试用时。在本实施方式中，基于训练后的遥感图像语义分割网络，通过输入任意一张或多张遥感图像，通过处理后输出的图像是最终得到的语义分割结果，包含各像素的位置及其地物类别标识。

Claims (6)

1.一种卫星遥感图像的语义分割方法，其特征在于，包括步骤：
(1)获取原始卫星遥感图像并进行图像预处理；
(2)将数据划分为样本集和训练集，并制作遥感图像类标图；
(3)构建卫星遥感图像语义分割网络模型；
(4)训练语义分割网络模型，得到最优网络模型；
(5)输入待测样本集，得到语义分割结果。
2.根据权利要求1所述的卫星遥感图像的语义分割方法，其特征在于，所述步骤2中，对图像进行人工标注，赋予像素级语义类标，包含15类地物元素和1类未定义类，通过不同颜色进行划分。
3.根据权利要求1所述的卫星遥感图像的语义分割方法，其特征在于，所述步骤3包括步骤：
(3.1)构建基于编码-解码的全卷积神经网络结构，实现端到端的语义分割；
(3.2)引入深度可分离卷积操作优化网络结构。
4.根据权利要求3所述的卫星遥感图像的语义分割方法，其特征在于，深度可分离卷积包含深度可分离卷积层和深度可分离反卷积层两种形式。
5.根据权利要求3所述的卫星遥感图像的语义分割方法，其特征在于，利用深度可分离卷积改进SqueezeNet的fire模块，形成改进的MSFBlock。
6.根据权利要求1所述的卫星遥感图像的语义分割方法，其特征在于，所述步骤4中，训练时选用交叉熵作为损失计算，采用Adam优化器进行参数调优，循环迭代结束，输出最优网络参数组合。
CN202010030255.8A 2020-01-13 2020-01-13 一种卫星遥感图像的语义分割方法 Pending CN111259900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030255.8A CN111259900A (zh) 2020-01-13 2020-01-13 一种卫星遥感图像的语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030255.8A CN111259900A (zh) 2020-01-13 2020-01-13 一种卫星遥感图像的语义分割方法

Publications (1)

Publication Number Publication Date
CN111259900A true CN111259900A (zh) 2020-06-09

Family

ID=70950408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030255.8A Pending CN111259900A (zh) 2020-01-13 2020-01-13 一种卫星遥感图像的语义分割方法

Country Status (1)

Country Link
CN (1) CN111259900A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815708A (zh) * 2020-07-17 2020-10-23 中国科学院自动化研究所 基于双通路卷积神经网络的服务机器人抓取检测方法
CN111914848A (zh) * 2020-09-21 2020-11-10 南京航空航天大学 一种融合gis数据的遥感图像语义分割方法及系统
CN111931689A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种在线提取视频卫星数据鉴别特征的方法
CN112560577A (zh) * 2020-11-13 2021-03-26 空间信息产业发展股份有限公司 一种基于语义分割的遥感图像地物分类方法
CN113111835A (zh) * 2021-04-23 2021-07-13 长沙理工大学 卫星遥感图像语义分割方法、装置、电子设备和存储介质
CN113298095A (zh) * 2021-06-23 2021-08-24 成都天巡微小卫星科技有限责任公司 一种基于卫星遥感的高精度路网密度提取方法及系统
CN113449594A (zh) * 2021-05-25 2021-09-28 湖南省国土资源规划院 一种多层网络组合的遥感影像地类语义分割与面积计算方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置
CN110276765A (zh) * 2019-06-21 2019-09-24 北京交通大学 基于多任务学习深度神经网络的图像全景分割方法
CN110428009A (zh) * 2019-08-02 2019-11-08 南京航空航天大学 一种全卷积神经网络及相应的细观结构识别方法
US20190362461A1 (en) * 2018-08-10 2019-11-28 Intel Corporation Multi-object, three-dimensional modeling and model selection
CN110633661A (zh) * 2019-08-31 2019-12-31 南京理工大学 一种融合语义分割的遥感图像目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
US20190362461A1 (en) * 2018-08-10 2019-11-28 Intel Corporation Multi-object, three-dimensional modeling and model selection
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置
CN110276765A (zh) * 2019-06-21 2019-09-24 北京交通大学 基于多任务学习深度神经网络的图像全景分割方法
CN110428009A (zh) * 2019-08-02 2019-11-08 南京航空航天大学 一种全卷积神经网络及相应的细观结构识别方法
CN110633661A (zh) * 2019-08-31 2019-12-31 南京理工大学 一种融合语义分割的遥感图像目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAYDEN YANG: "轻量化卷积神经网络（SqueezeNet，MobileNet，ShuffleNet，Xception）", 《CSDN》 *
陈天华等: "采用改进DeepLab网络的遥感图像分割", 《测控技术》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815708A (zh) * 2020-07-17 2020-10-23 中国科学院自动化研究所 基于双通路卷积神经网络的服务机器人抓取检测方法
CN111815708B (zh) * 2020-07-17 2021-09-07 中国科学院自动化研究所 基于双通路卷积神经网络的服务机器人抓取检测方法
CN111931689A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种在线提取视频卫星数据鉴别特征的方法
CN111914848A (zh) * 2020-09-21 2020-11-10 南京航空航天大学 一种融合gis数据的遥感图像语义分割方法及系统
CN111914848B (zh) * 2020-09-21 2024-04-12 南京航空航天大学 一种融合gis数据的遥感图像语义分割方法及系统
CN112560577A (zh) * 2020-11-13 2021-03-26 空间信息产业发展股份有限公司 一种基于语义分割的遥感图像地物分类方法
CN113111835A (zh) * 2021-04-23 2021-07-13 长沙理工大学 卫星遥感图像语义分割方法、装置、电子设备和存储介质
CN113111835B (zh) * 2021-04-23 2022-08-02 长沙理工大学 卫星遥感图像语义分割方法、装置、电子设备和存储介质
CN113449594A (zh) * 2021-05-25 2021-09-28 湖南省国土资源规划院 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN113449594B (zh) * 2021-05-25 2022-11-11 湖南省国土资源规划院 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN113298095A (zh) * 2021-06-23 2021-08-24 成都天巡微小卫星科技有限责任公司 一种基于卫星遥感的高精度路网密度提取方法及系统

Similar Documents

Publication Publication Date Title
CN111259900A (zh) 一种卫星遥感图像的语义分割方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN110399909B (zh) 一种基于标签约束弹性网图模型的高光谱图像分类方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN109102469B (zh) 一种基于卷积神经网络的遥感图像全色锐化方法
CN111428781A (zh) 遥感影像地物分类方法及系统
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN110660038A (zh) 一种基于生成对抗网络的多光谱图像与全色图像融合方法
CN110929607A (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN105069825A (zh) 基于深度置信网络的图像超分辨率重建方法
CN111460936A (zh) 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN105261000A (zh) 一种基于端元提取与光谱解混的高光谱图像融合方法
CN110414616B (zh) 一种利用空间关系的遥感图像字典学习分类方法
CN108898092A (zh) 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109858557A (zh) 一种新的高光谱图像数据半监督分类算法
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
CN109753996A (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN114463637A (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
Dai et al. A remote sensing spatiotemporal fusion model of landsat and modis data via deep learning
Lou et al. Preliminary investigation on single remote sensing image inpainting through a modified GAN
CN116052016A (zh) 基于深度学习的遥感图像云和云影的精细分割检测方法
CN115457311A (zh) 一种基于自表达迁移学习的高光谱遥感影像波段选择方法
CN115457396A (zh) 一种基于遥感影像的地表目标地物检测方法
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609