CN111242028A - 基于U-Net的遥感图像地物分割方法 - Google Patents

基于U-Net的遥感图像地物分割方法 Download PDF

Info

Publication number
CN111242028A
CN111242028A CN202010031038.0A CN202010031038A CN111242028A CN 111242028 A CN111242028 A CN 111242028A CN 202010031038 A CN202010031038 A CN 202010031038A CN 111242028 A CN111242028 A CN 111242028A
Authority
CN
China
Prior art keywords
image
remote sensing
net
information
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010031038.0A
Other languages
English (en)
Inventor
李玉鑑
李冬冬
张婷
刘兆英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010031038.0A priority Critical patent/CN111242028A/zh
Publication of CN111242028A publication Critical patent/CN111242028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开一种对多光谱遥感图像进行地物分割的方法，首先，对多光谱遥感图像进行标注，生成标签图像；然后，对图像进行裁剪和缩放，得到预处理后的图像；接着，使用U‑Net模型在训练集上进行训练，并保存训练好的模型；最后，使用训练好的模型在测试集上进行预测，得到最终的地物分割结果图。

Description

基于U-Net的遥感图像地物分割方法
技术领域
本发明属于图像识别技术领域，涉及到的是基于U-Net的多光谱遥感图像地物分割方法。
背景技术
遥感图像地物分割指的是利用从传感器获得的遥感数据，将观测场景中未知地物类型的数据样本进行类别识别并定位的过程。随着卫星遥感图像技术的提高，人们可以更加方便的从遥感图像中获取更多有用的数据和信息来对遥感数据进行分析。遥感技术目前在许多领域都有着广泛的应用，如农业生产条件研究、农作物估产、国土资源调查、土地利用和土地覆盖、环境监测和军事勘查等。可以说，遥感技术是人类获取空间信息的主要并且有效的手段之一。
随着遥感技术与信息技术的发展，每天都有快速增长的遥感数据产生。面对这些海量的遥感信息数据，如何充分地利用它们，并从中挖掘有价值的信息，为人们的工作和生活提供帮助，是一个急需解决的问题。在遥感图像的研究与分析中，对遥感图像的地物进行识别是遥感技术的一个重要的研究方向。
赵雪梅等人使用隐马尔可夫随机场和高斯模型分别建立标号场和特征场的邻域关系，提出了基于隐马尔可夫高斯随机场模型的模糊聚类遥感图像分割算法。该方法建立在精确的数学模型之上，具有严密的数学论证，但通常分割准确率较低，且难以推广到其他数据集。
Kaiser等人探讨了当难以获取大量人工标签时，在大数据集上使用弱标签进行训练的可能性，强调了训练集规模的重要性。Yuan等人从地理信息系统(GIS)中生成标签，专注建筑物提取任务。以上两种方法均使用了一种称为深度卷积神经网络(DeepConvolutional Neural Network，DCNN)的深度学习技术。基于深度卷积神经网络，Long等人提出的全卷积网络(Fully Convolutional Network，FCN)以端对端的方式将卷积网络应用到语义分割中。该网络使用反卷积层进行上采样，使用跳跃连接来改善上采样的粗糙度。
随后，出现了很多使用卷积神经网络进行语义分割的模型。例如，Farabet等使用多尺度卷积神经网络学习像素及超像素特征，得到了良好的语义分割效果。一个深度学习模型一般由若干层神经网络组合而成，每层神经网络的输出是对其输入的抽象表示，当较为复杂的数据经过多层次的深度学习模型后，通过组合低层特征形成了数据的更高层抽象表示，使数据更容易被分类。
发明内容
本发明要解决的技术问题是，提供一种基于U-Net的地物分割研究方法，用于多光谱遥感图像的地物分割。
本发明采用的技术方案为基于U-Net的遥感图像地物分割方法，包括以下几个步骤：
步骤1：对多光谱遥感影像数据Im的地物区域使用ArcGIS软件进行人工标注并转化为WKT格式的信息，1≤m≤M；
步骤2：使用Python读取WKT格式的信息,得到Polygon格式的图像,读取图像的像素矩阵信息并修改为单通道的图像，对应的数据信息是掩模矩阵Mm，对应的标签信息为Lm；
步骤3：将宽和高分别为W和H的Im与Lm以同样方式进行裁剪，得到N幅宽和高分别为r和c的图像I′n和L′n，并组成样本对(I′n,L′n)；r＜＝M,c＜＝H，1≤n≤N；
步骤4：将样本对以9：1的比例划分为训练集(I'p,L'p)和测试集(I'q,L'q)，其中训练集和测试集中无重复图像，且Ntrain+Ntest＝N；1≤p≤Ntrain，1≤q≤Ntest；
步骤5：构建U-Net网络，设置迭代次数、学习率超参数；
步骤6：使用交叉熵损失函数和杰卡德系数构造损失函数Loss，如下：
Figure BDA0002364302170000021
Figure BDA0002364302170000022
Loss＝H-logJ (3)
其中，Ntrain为训练集的大小，yp为像素点真实的类别概率，
Figure BDA0002364302170000031
为像素点预测的类别概率，H为交叉熵损失函数，J为杰卡德系数。
步骤7：输入训练集(I'p,L'p)进行网络训练，待网络收敛后保存训练好的模型，并使用测试集(I'q,L'q)进行测试，得到杰卡德系数。
步骤8：根据测试结果，得到预测矩阵pred_mask；然后，设定掩膜阈值threadhold∈[0，1]将预测后的pred_mask转化为单通道的掩模矩阵形式；最后，使用杰卡德相关系数在像素级别上对模型的预测结果进行评估。
遥感图像常用的有监督分类算法包括最小距离法，马氏距离法和最大似然法。最大似然法是这几个算法中分类精度最高的一个。但是该方法有着一些局限性:
(1)需要假设样本服从正态分布；
(2)在对模型参数进行估计时，需要大量的训练样本。
本文中提出的全卷积神经网络可以避免上述问题，并在遥感图像分类中取得了不错的效果,为了得到更好的结果,训练目标和评价指标应尽可能接近，本专利将训练目标和评价指标相结合来作为损失函数,极大的提高了识别的精度。
附图说明
图1为处理后的原始图像；
图2为原始图像对应的标签图像；
图3为U-Net的网络结构图；
图4和图5为预测结果图像与其转化后的掩模图像；
图6为16通道实验结果截图。
图7为本方法的实施流程图。
具体实施方式
本发明要解决的技术问题是，提供一种基于U-Net的地物分割研究方法，用于多光谱遥感图像的地物分割。为实现上述目的，本发明采用如下的技术方案：
一种基于U-Net遥感图像地物分割研究方法的步骤如下:
步骤1：对多光谱遥感影像数据Im(1≤m≤2000)的地物区域使用ArcGIS进行人工标注并转化为WKT格式的信息；
步骤2：使用Python读取WKT格式的信息,得到Polygon格式的图像,读取图像的像素矩阵信息并修改为单通道的图像，对应的数据信息是掩模矩阵Mm(1≤m≤2000)，对应的标签信息为Lm(1≤m≤2000)；
步骤3：将宽和高分别为3000和2500的Im(1≤m≤2000)与Lm(1≤m≤2000)以同样方式进行批量裁剪，得到N＝20000幅宽和高都为112的图像I'n(1≤n≤20000)和L'n(1≤n≤20000)，并组成样本对(I'n,L'n)(1≤n≤20000)；
步骤4：构建U-Net网络，设置迭代次数为100，学习率为0.001；
步骤5：将样本对以9:1的比例划分为训练集(I'p,L'p)(1≤p≤18000)和测试集(I'q,L'q)(1≤q≤2000)，其中训练集和测试集中无重复图像；
步骤6：使用交叉熵损失函数和杰卡德系数构造损失函数Loss，如下:
Figure BDA0002364302170000041
Figure BDA0002364302170000042
Loss＝H-logJ (3)
其中，H为交叉熵损失函数，Jm为杰卡德系数；
步骤7：输入训练集(I'p,L'p)(1≤p≤18000)进行网络训练，待网络收敛后保存训练好的模型，并使用测试集(I'q,L'q)(1≤q≤2000)进行测试，得到杰卡德系数Jm。
步骤8：根据测试结果，得到预测矩阵pred_mask；然后，设定掩膜阈值threadhold＝0.3，将预测后的pred_mask转化为单通道的掩模矩阵形式，前后对比请看相关图像四和图像五；最后，使用杰卡德相关系数在像素级别上对模型的预测结果进行评估，评估结果请看图像六。
本发明所采用的神经网络结构是建立在U-Net神经网络的基础上进行的一些修改。神经网络模型整体借用的是U-Net的网络架构，损失函数是由交叉熵损失函数和杰卡德系数构造的，优化损失函数的优化器是Nadam优化器，使用ReLU作为激活函数，为了加速网络模型的训练过程使用了块归一化(Batch Normalization)。
以上实例仅用于描述本发明，而非限制本发明所描述的技术方案。因此，一切不脱离本发明精神和范围的技术方案及其改进，均应涵盖在本发明的权利要求范围中。

Claims (2)

1.基于U-Net的遥感图像地物分割方法，其特征在于：该方法的实施过程如下：
步骤1：对多光谱遥感影像数据Im的地物区域使用ArcGIS软件进行人工标注并转化为WKT格式的信息，1≤m≤M，(M为数据集的总数据量)；
步骤2：使用Python读取WKT格式的信息,得到Polygon格式的图像,读取图像的像素矩阵信息并修改为单通道的图像，对应的数据信息是掩模矩阵Mm，对应的标签信息为Lm；
步骤3：将宽和高分别为W和H的Im与Lm以同样方式进行裁剪，得到N幅宽和高分别为r和c的图像I'n和L'n，并组成样本对(I'n,L'n)；r＜＝M,c＜＝H，1≤n≤N；
步骤4：将样本对以9：1的比例划分为训练集(I'p,L'p)和测试集(I'q,L'q)，其中训练集和测试集中无重复图像，且Ntrain+Ntest＝N；1≤p≤Ntrain，1≤q≤Ntest；
步骤5：构建U-Net网络，设置迭代次数、学习率超参数；
步骤6：使用交叉熵损失函数和杰卡德系数构造损失函数Loss，
步骤7：输入训练集(I'p,L'p)进行网络训练，待网络收敛后保存训练好的模型，并使用测试集(I'q,L'q)进行测试，得到杰卡德系数；
步骤8：根据测试结果，得到预测矩阵pred_mask；然后，设定掩膜阈值threadhold∈[0，1]将预测后的pred_mask转化为单通道的掩模矩阵形式；最后，使用杰卡德相关系数在像素级别上对模型的预测结果进行评估。
2.根据权利要求1所述的基于U-Net的遥感图像地物分割方法，其特征在于：步骤6的损失函数Loss如下：
Figure FDA0002364302160000011
Figure FDA0002364302160000012
Loss＝H-logJ (3)
其中，Ntrain为训练集的大小，yp为像素点真实的类别概率，
Figure FDA0002364302160000021
为像素点预测的类别概率，H为交叉熵损失函数，J为杰卡德系数。
CN202010031038.0A 2020-01-13 2020-01-13 基于U-Net的遥感图像地物分割方法 Pending CN111242028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010031038.0A CN111242028A (zh) 2020-01-13 2020-01-13 基于U-Net的遥感图像地物分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010031038.0A CN111242028A (zh) 2020-01-13 2020-01-13 基于U-Net的遥感图像地物分割方法

Publications (1)

Publication Number Publication Date
CN111242028A true CN111242028A (zh) 2020-06-05

Family

ID=70864071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010031038.0A Pending CN111242028A (zh) 2020-01-13 2020-01-13 基于U-Net的遥感图像地物分割方法

Country Status (1)

Country Link
CN (1) CN111242028A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881976A (zh) * 2020-07-27 2020-11-03 盐城郅联空间科技有限公司 一种融合人工智能技术和大数据的多源影像自动解译方法
CN113487638A (zh) * 2021-07-06 2021-10-08 南通创越时空数据科技有限公司 高精度语义分割算法U2-net的地物边缘检测方法
CN115035422A (zh) * 2022-08-15 2022-09-09 杭州航天星寰空间技术有限公司 一种面向遥感影像区域土壤种植结构的数据增广方法及分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN109785344A (zh) * 2019-01-22 2019-05-21 成都大学 基于特征重标定的双通路残差网络的遥感图像分割方法
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
CN110263612A (zh) * 2019-04-25 2019-09-20 北京工业大学 基于生成对抗网络的多光谱遥感图像道路提取方法
CN110503052A (zh) * 2019-08-27 2019-11-26 西南交通大学 一种基于改进u-net网络的图像语义分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN109785344A (zh) * 2019-01-22 2019-05-21 成都大学 基于特征重标定的双通路残差网络的遥感图像分割方法
CN110263612A (zh) * 2019-04-25 2019-09-20 北京工业大学 基于生成对抗网络的多光谱遥感图像道路提取方法
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
CN110503052A (zh) * 2019-08-27 2019-11-26 西南交通大学 一种基于改进u-net网络的图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAO SUN ET AL.: "Stacked U-Nets with Multi-Output for Road Extraction", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881976A (zh) * 2020-07-27 2020-11-03 盐城郅联空间科技有限公司 一种融合人工智能技术和大数据的多源影像自动解译方法
CN113487638A (zh) * 2021-07-06 2021-10-08 南通创越时空数据科技有限公司 高精度语义分割算法U2-net的地物边缘检测方法
CN115035422A (zh) * 2022-08-15 2022-09-09 杭州航天星寰空间技术有限公司 一种面向遥感影像区域土壤种植结构的数据增广方法及分割方法

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN114926746B (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN112733800B (zh) 基于卷积神经网络的遥感图像道路信息提取方法和装置
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN114092832A (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN110555841A (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN112766283A (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN116206112A (zh) 基于多尺度特征融合和sam的遥感图像语义分割方法
CN114973019A (zh) 一种基于深度学习的地理空间信息变化检测分类方法及系统
CN116206208B (zh) 一种基于人工智能的林业病虫害快速分析系统
CN110287970B (zh) 一种基于cam与掩盖的弱监督物体定位方法
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN112529025A (zh) 一种数据处理方法及装置
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN116091763A (zh) 苹果叶部病害图像语义分割系统及分割方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication