CN112001214A - 一种基于高分辨率遥感图像的土地分类方法 - Google Patents

一种基于高分辨率遥感图像的土地分类方法 Download PDF

Info

Publication number
CN112001214A
CN112001214A CN202010417497.2A CN202010417497A CN112001214A CN 112001214 A CN112001214 A CN 112001214A CN 202010417497 A CN202010417497 A CN 202010417497A CN 112001214 A CN112001214 A CN 112001214A
Authority
CN
China
Prior art keywords
image
remote sensing
pairs
classification method
erfnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010417497.2A
Other languages
English (en)
Inventor
喻梅
王新伟
于健
李雪威
刘志强
高洁
应翔
王一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010417497.2A priority Critical patent/CN112001214A/zh
Publication of CN112001214A publication Critical patent/CN112001214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于高分辨率遥感图像的土地分类方法，高分辨率遥感影像的应用能够有效实现对土地利用的动态监测，提高土地管理的科学性；使用ERFNet结合条件随机场(Conditional random field，CRF)可以在减少计算资源的基础上，进一步提高语义分割的精度，有助于更好的完成土地用途分类工作；高效的土地用途分类方法对土地利用、城市规划、环境监测以及军事领域的发展有着重要的促进作用。

Description

一种基于高分辨率遥感图像的土地分类方法
技术领域
本发明属于深度学习领域，涉及图像分割技术和土地用途分类算法，使用卷积神经网络作为基本工具，特别涉及一种基于高分辨率遥感图像的土地分类方法。
背景技术
全卷积网络将卷积神经网络中的全连接层替换为卷积层，与传统卷积神经网络相比，全卷积网络的输入图像大小无需是固定的，这方便了卷积神经网络在语义分割方面的应用，此外使用反卷积层进行上采样，推广了使用卷积网络端到端进行语义分割。同时，为了改善语义分割精度，全卷积网络引入跳跃连接改善上采样的粗糙度。
空洞卷积(Dilated Convolution)是在传统的卷积核中加入空洞。池化层在进一步提取抽象特征、减少训练参数的同时，丢弃了像素的位置信息。而语义分割需要对特征图进行精确调整，因此需要尽可能保留舍弃的位置信息。空洞卷积可以在不增加参数的情况下增加感受野，从而进行密集预测。此外空洞卷积支持感受野的指数膨胀，且不丧失分辨率或覆盖范围。
残差网络(Residual Neural Network，ResNet)与传统神经网络直接学习输入输出之间的映射不同，它学习的是输入输出的残差表示。ResNet可以有效地解决当深度神经网络增长至一定的深度后，再增加神经网络层数会导致的网络收敛减慢、精确度下降等问题。实验表明，引入残差学习后，网络不仅能更快地收敛，而且网络模型的性能也得到了提高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于高分辨率遥感图像的土地分类方法，高分辨率遥感影像的应用能够有效实现对土地利用的动态监测，提高土地管理的科学性；使用ERFNet结合条件随机场(Conditional random field，CRF)可以在减少计算资源的基础上，进一步提高语义分割的精度，有助于更好的完成土地用途分类工作；高效的土地用途分类方法对土地利用、城市规划、环境监测以及军事领域的发展有着重要的促进作用。
本发明解决其技术问题是通过以下技术方案实现的：
一种基于高分辨率遥感图像的土地分类方法，其特征在于：所述方法的步骤为：
1)将原始的遥感图像切割为适用于网络的尺寸；
2)使用ERFNet对输入的图像进行实时的语义分割；
3)利用条件随机场对分割的结果进一步优化；
4)计算语义分割的交并比。
而且，所述步骤1)中对图像切割的具体操作为：以128像素作为步长，将图片切割成(256，256，3)的小图片，将掩码同样切割为(256，256，1)的小掩码，获得的图片-掩码对共有8401对；切割完成后，以字典的形式对小图片和小掩码进行存储，图片对应的键值为“images”，掩码对应的键值为“masks”。
而且，所述图片-掩码对形成的数据集被分为训练集、验证集及测试集，测试集取前1320对图像－掩码对，验证集取1800对图像－掩码对，训练集取后5281对图像－掩码对。
而且，所述步骤2)语义分割的具体操作为：ERFNet架构使用一个由跳跃连接和一维分解卷积组成的分解残差层，在ERFNet网络中这些分解残差层按顺序被堆叠起来，构建成编码器－解码器体系结构，该结构以与输入图像相同的分辨率产生端到端的语义分割结果。
而且，所述步骤3)进一步优化的具体操作为：条件随机场在ERFNet之后使用，输入遥感卫星影像的原图像和ERFNet的分割图像，输出为优化后的图像。
而且，所述步骤4)中交并比的计算公式为：
Figure RE-GDA0002707909590000021
其中：pij表示本属于类i但被预测为类j的像素数量；
Pii表示真正的数量；
Pij、pji则分别被解释为假正和假负。
本发明的优点和有益效果为：
1、本发明一种基于高分辨率遥感图像的土地分类方法，通过实验效果可以看出，在引入了条件随机场之后，对高分辨率遥感图像的语义分割效果提升明显，为更加迅速准确的完成土地分类任务创造了条件，可以应用到土地利用、城市规划、环境监测等多个领域。
2、本发明一种基于高分辨率遥感图像的土地分类方法，在基于遥感卫星影像的土地用途分类的实验过程中，通过交并比对语义分割的结果进行了评估，在ERFNet 后加入条件随机场后处理，能够在一定程度上提升语义分割精度，比单纯使用ERFNet 效果更好。
3、本发明设计科学合理，高分辨率遥感影像的应用能够有效实现对土地利用的动态监测，提高土地管理的科学性；使用ERFNet结合条件随机场(Conditional randomfield，CRF)可以在减少计算资源的基础上，进一步提高语义分割的精度，有助于更好的完成土地用途分类工作；高效的土地用途分类方法对土地利用、城市规划、环境监测以及军事领域的发展有着重要的促进作用。
附图说明
图1为本发明的测试集结果对比图。
具体实施方式
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
一种基于高分辨率遥感图像的土地分类方法，其特征在于：所述方法的步骤为：
S0101：对于输入数据，以128像素作为步长片切割成(256，256，3)的小图片，将掩码同样切割为(256，256，1)的小掩码，最终获得的图片—掩码对共有8401对，在切割完成后，以字典的形式对小图片和小掩码进行存储，图片对应的键值为“images”，掩码对应的键值为masks”；其中测试集取前1320对图像－掩码对，验证集取数据集的1800对图像－掩码对，训练集取后5281对图像－掩码对。
S0201：采用ERFNet，本发明使用ERFNet进行高效实时的语义分割，输入的数据经过按顺序堆叠起来的分解残差层，端到端的输出与输入图像相同分辨率的语义分割结果，对于一个残差层来说，其输入向量为x，输出向量y为：
y＝F(x，{Wi})+Wsx
WS是一个恒等映射，F(x，{Wi})是卷积神经网络要学习的残差映射，在ERFNet的架构中，1－16层构成了编码器部分，由下采样块和非瓶颈－1维模块组成，解码器部分由17－23层组成，目的是对特征图进行上采样，将其恢复至与输入图像相同的分辨率；
S0301：将ERFNet分割后的结果输入到条件随机场，在条件随机场中设 X＝(X1，X2，...，Xn)，Y＝(Y1，Y2，...，Yn)均为线性链表示的随机变量序列，在给定随机变量序列x的情况下，随机变量y的条件概率分布P(Y|X)构成条件随机场，即满足马尔科夫性：P(Yi|X，Y1，Y2，...，Yn)＝P(Yi|X，Yi-1，Yi+1)，线性链条件随机场的公式为：
Figure RE-GDA0002707909590000041
其中，si(Yi，X，i)是节点特征函数，该函数定义在y节点上，只和当前节点有关， tk(Yi-1，Yi，X，i)是局部特征函数，该函数定义在y的上下文，只和当前节点与上一节点有关，λk和μl是节点特征函数和局部特征函数的权重，
Z(x)为规范化因子，公式如下：
Z(X)＝∑Yexp(∑i，kλktk(Yi-1，Yi，X，i)+∑i，lμlsl(Yi，X，i))
S0401：用交并比作为语义分割效果的评价指标，对ERFNet和ERFNet结合条件随机场的方法进行了对比验证和评价。
本发明中使用交并比(Intersection Over Union，IoU)这个评价指标，对基于高分辨率遥感图像的土地分类模型的效果进行评估.交并比计算两个集合的交集和并集之比，在语义分割的问题中，这两个集合为真实值(ground truth)和预测值(predictedsegmentation)。这个比例可以变形为正真数(intersection)比上真正、假负、假正(并集)之和。可以判断目标的捕获程度(使预测标签与标注尽可能重合)，也可以判断模型的精确程度(使并集尽可能重合)，交并比(IoU)的计算公式如下：
Figure RE-GDA0002707909590000042
pij表示本属于类i但被预测为类j的像素数量；
Pii表示真正的数量；
Pij、pji则分别被解释为假正和假负。
对于测试集数据，ERFNet的语义分割结果交并比为0.834，表1展示了ERFNet 的实验结果，条件随机场优化后的交并比为0.837，交并比提高0.3％。而从图1中也能看出条件随机场具有一定的优化效果。但是条件随机场的优化效果是建立在 ERFNet的分割结果基础上的，ERFNet的分割结果很大程度上决定了条件随机场的优化效果。经过实验证明，在ERFNet后加入条件随机场后处理，能够在一定程度上提升语义分割精度，比单纯使用ERFNet效果更好。
表1 ERFNet的实验结果表
Figure RE-GDA0002707909590000051
本发明基于高分辨率遥感图像的土地分类方法，采用ERFNet，在编码过程中，可以让深层收集到更多的上下文，并有助与减少计算量。在解码器中，对编码器的特征映射进行上采样以匹配输入分辨率，同时使用简单解卷积层，可以简化内存和计算要求。使用条件随机场对ERFNet的结果进行优化，在给定一组输入序列的情况下，对应输出序列的条件概率分布模型，在计算类别概率时，会考虑到当前像素点的周围像素点的类别，提高了语义分割的准确率，使得土地用途分类的任务可以更高效精确的完成。
尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (6)

1.一种基于高分辨率遥感图像的土地分类方法，其特征在于：所述方法的步骤为：
1)将原始的遥感图像切割为适用于网络的尺寸；
2)使用ERFNet对输入的图像进行实时的语义分割；
3)利用条件随机场对分割的结果进一步优化；
4)计算语义分割的交并比。
2.根据权利要求1所述的基于高分辨率遥感图像的土地分类方法，其特征在于：所述步骤1)中对图像切割的具体操作为：以128像素作为步长，将图片切割成(256，256，3)的小图片，将掩码同样切割为(256，256，1)的小掩码，获得的图片-掩码对共有8401对；切割完成后，以字典的形式对小图片和小掩码进行存储，图片对应的键值为“images”，掩码对应的键值为“masks”。
3.根据权利要求2所述的基于高分辨率遥感图像的土地分类方法，其特征在于：所述图片-掩码对形成的数据集被分为训练集、验证集及测试集，测试集取前1320对图像－掩码对，验证集取1800对图像－掩码对，训练集取后5281对图像－掩码对。
4.根据权利要求1所述的基于高分辨率遥感图像的土地分类方法，其特征在于：所述步骤2)语义分割的具体操作为：ERFNet架构使用一个由跳跃连接和一维分解卷积组成的分解残差层，在ERFNet网络中这些分解残差层按顺序被堆叠起来，构建成编码器－解码器体系结构，该结构以与输入图像相同的分辨率产生端到端的语义分割结果。
5.根据权利要求1所述的基于高分辨率遥感图像的土地分类方法，其特征在于：所述步骤3)进一步优化的具体操作为：条件随机场在ERFNet之后使用，输入遥感卫星影像的原图像和ERFNet的分割图像，输出为优化后的图像。
6.根据权利要求1所述的基于高分辨率遥感图像的土地分类方法，其特征在于：所述步骤4)中交并比的计算公式为：
Figure RE-FDA0002707909580000011
其中：pij表示本属于类i但被预测为类j的像素数量；
Pii表示真正的数量；
Pij、pji则分别被解释为假正和假负。
CN202010417497.2A 2020-05-18 2020-05-18 一种基于高分辨率遥感图像的土地分类方法 Pending CN112001214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417497.2A CN112001214A (zh) 2020-05-18 2020-05-18 一种基于高分辨率遥感图像的土地分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417497.2A CN112001214A (zh) 2020-05-18 2020-05-18 一种基于高分辨率遥感图像的土地分类方法

Publications (1)

Publication Number Publication Date
CN112001214A true CN112001214A (zh) 2020-11-27

Family

ID=73461737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417497.2A Pending CN112001214A (zh) 2020-05-18 2020-05-18 一种基于高分辨率遥感图像的土地分类方法

Country Status (1)

Country Link
CN (1) CN112001214A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
CN110781775A (zh) * 2019-10-10 2020-02-11 武汉大学 一种多尺度特征支持的遥感影像水体信息精确分割方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
CN110781775A (zh) * 2019-10-10 2020-02-11 武汉大学 一种多尺度特征支持的遥感影像水体信息精确分割方法
CN111091130A (zh) * 2019-12-13 2020-05-01 南京邮电大学 基于轻量级卷积神经网络的实时图像语义分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABHISHEK V. POTNIS ET AL.: "Multi-Class Segmentation of Urban Floods from Multispectral Imagery Using Deep Learning", 《IGARSS 2019 - 2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》, pages 1 - 4 *

Similar Documents

Publication Publication Date Title
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN109087258B (zh) 一种基于深度学习的图像去雨方法及装置
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN115393396B (zh) 一种基于掩码预训练的无人机目标跟踪方法
CN113240683A (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN114419642A (zh) 一种文档图像中键值对信息的抽取方法、装置及系统
CN115565043A (zh) 结合多表征特征以及目标预测法进行目标检测的方法
CN114821050A (zh) 一种基于transformer的指称图像分割方法
CN112507849A (zh) 一种基于条件生成对抗网络的动态到静态场景转换方法
Zhu et al. Semantic image segmentation with shared decomposition convolution and boundary reinforcement structure
CN114973136A (zh) 一种极端条件下场景图像识别方法
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN113569814A (zh) 一种基于特征一致性的无监督行人重识别方法
CN113657225A (zh) 一种目标检测方法
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN116704506A (zh) 一种基于交叉环境注意力的指代图像分割方法
CN116523888A (zh) 路面裂缝的检测方法、装置、设备及介质
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN115965789A (zh) 一种基于场景感知类注意力的遥感图像语义分割方法
AU2021104479A4 (en) Text recognition method and system based on decoupled attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination