CN111028244B - 基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法 - Google Patents

基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法 Download PDF

Info

Publication number
CN111028244B
CN111028244B CN201911225479.8A CN201911225479A CN111028244B CN 111028244 B CN111028244 B CN 111028244B CN 201911225479 A CN201911225479 A CN 201911225479A CN 111028244 B CN111028244 B CN 111028244B
Authority
CN
China
Prior art keywords
super
pixel
classification
remote sensing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911225479.8A
Other languages
English (en)
Other versions
CN111028244A (zh
Inventor
解梅
梁佳雯
胡希国
汤诗雨
徐小刚
王士成
李峰
尚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
CETC 54 Research Institute
Original Assignee
University of Electronic Science and Technology of China
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China, CETC 54 Research Institute filed Critical University of Electronic Science and Technology of China
Priority to CN201911225479.8A priority Critical patent/CN111028244B/zh
Publication of CN111028244A publication Critical patent/CN111028244A/zh
Application granted granted Critical
Publication of CN111028244B publication Critical patent/CN111028244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法，首先对图像数据进行过分割预处理，获得超像素分割结果，以每个超像素的重心为中心点切割矩形图像，构建超像素矩形图像数据集；训练集成分类模型，在已知样本不均衡情况下，合并小样本为一类，进行一次分类，一次分类完成后，将小样本进行二次分类，将两次分类的网络模型进行集成，得到集成分类模型；将待预测的超像素矩形图像数据集输入到集成分类网络模型中，获取超像素矩形图像类别；将超像素矩形图像类别映射至原始图像，获取语义分割结果。本发明能有效提高最终能够有效提高在已知样本不均衡情况下的小样本语义分割精度。

Description

基于超像素的已知样本不均衡情况下的遥感图像语义分割的 方法
技术领域
本发明涉及计算机图像处理与高分二号卫星遥感图像地物分类技术。
背景技术
遥感图像解译是数字图像分析的重要组成部分，广泛应用于土地测绘、环境监测、城市建设、矿产调查、农业监测、军事指挥等领域。通过遥感数据的获取、处理和分析，人们能够在短时间内获得大量的有效信息，并实现对目标的动态监测。相比于传统人工调查的工作方式，遥感技术有效率高、成本低的优势。
由于深度学习的发展，采用深度学习的方法来直接提取地物信息实现地物信息分割与分类也成为一个热门的方向。对高分遥感图像直接采用深度神经网络来提取高维度的光谱信息特征以及图像的边缘，纹理特征，来进行多分类是一个常见的方法，该方法可以对高分遥感图像做到像素级的分类。
由于遥感图像采集地区的不同，会造成样本不均衡的问题。例如，在某北方城市由于草地、水体、道路等样本数据量少，样本严重不均衡，导致语义分割的精度大大下降。
发明内容
本发明所要解决的技术问题是，提出一种通过对超像素进行二次分类来解决已知样本不均衡对分割结果的影响的方法。
本发明为解决上述技术问题所采用的技术方案是，基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法，包括以下步骤：
1)集成分类网络模型训练步骤：
1-1)对原始遥感图像及其所对应的标签形成的图像数据集进行预处理；
1-2)对预处理后的遥感图像进行过分割获得超像素分割结果；
1-3)以每一个超像素的重心为中心切割超像素矩形图像，超像素矩形图像及其所对应的标签形成超像素矩形图像样本集；
1-4)在已知样本不均衡的情况下，将像素矩形图像样本集中的小样本合并作为一类，再将进行了小样本合并后的像素矩形图像样本集输入分类网络模型进行训练，得到一次分类模型；之后，再使用合并前的小样本来输入分类网络模型进行训练，得到二次分类模型；将一次分类模型和二次分类模型组成集成分类模型；所述小样本为在像素矩形图像样本集中该类型的样本数量仅为主要类型的样本数量1/N的类型样本，N为正整数；
2)语义分割步骤：
2-1)对原始遥感图像进行预处理；
2-2)对预处理后的遥感图像进行过分割获得超像素分割结果；
2-3)以每一个超像素的重心为中心切割超像素矩形图像得到超像素矩形图像数据集；
2-4)将待处理的超像素矩形图像数据集输入到集成分类模型中，小样本类型的数据在集成分类模型经2次分类后得到分类结果，主要类型的数据在集成分类模型经1次分类后得到分类结果，最终集成分类模型输出超像素矩形图像数据集中各超像素矩形图像的分类结果；
2-3)将超像素矩形图像的分类结果映射至原始遥感图像获取语义分割结果。
本发明对样本数量少的小样本合并为一类，与其它样本数据多的大样本进行一次分类训练，然后再单独对小样本进行二次分类训练，将两次训练得到的分类模型合并得到集成分类模型，使得每一次分类训练各类型的样本数量均衡。
本发明的有益效果是，相比于直接进行一次分类的方案，本发明可以有效提高最终合成分类图像的整体分类精度指标，减弱样本不均衡带来的影响，实现高分遥感图像自动解译。
附图说明
图1为本发明流程图；
图2-1为大小720×680的高分遥感图像过分割产生超像素结果；
图2-2为大小720×680的高分遥感图像生成超像素矩形图像的分割结果；
图2-3为大小720×680的高分遥感图像基于本方法的分割结果；
图2-4为大小720×680的高分遥感图像基于超像素分类的分割结果；
图2-5为大小为7200×6800的高分遥感图像基于深度学习的像素级语义分割结果。
具体实施方式
实施例包括图像预处理、训练集成分类模型、对一幅图进行超像素分割、产生超像素矩形图像、对超像素矩形图像进行分类、将分类结果映射成遥感图像语义图像这几个步骤。
步骤1、图像数据预处理
1-1首先将高分遥感图进行过分割处理产生多个超像素。
1-2然后以超像素的重心为中心，切割出多个超像素矩形图像，分辨率为32*32。
1-3利用标签图与超像素的映射关系，以超像素中所含类别中，像素点最多的一类作为超像素的标签，将超像素分为5类，包含道路、水体、草地、耕地、建筑，其标签分别为0、1、2、3、4、5。道路、水体、草地这三种分类在实施例的遥感图像中的样本数据少于耕地或建筑的2到4倍。实际操作中，样本数量低于其他类型的样本数量1/2的类型可以视为小样本。
1-4对于超像素矩形图像和对应的N组标签图，分别成对做镜像翻转，旋转，等操作实现数据扩充。
步骤2、训练多个集成分类网络模型
2-1将已知数据量少的类别即小样本进行合并，合并为一类(其他)。例如：在遥感图像中，将已知道路、水体、草地为小样本类别，因此在第一次分类时，我们将这三类进行合并作为其他类别。
2-2利用重新整理好的数据集训练M_1分类模型。
2-3拆分其他类别，例如：将道路，水体、草地作为三个类别，利用小样本数据训练M_2分类模型。
2-4将M_1分类模型和M_2分类模型整合为集成模型。
步骤3、预测
3-1将单幅待预测的图像进行过分割处理产生超像素、超像素矩形图像。
3-2将图像输入至训练好的集成模型中，得出每个超像素的标签。
3-2将超像素的标签映射至原图，用不同颜色对不同标签进行标注，产生最终的语义分割图像。
图2-1为大小720×680的高分遥感图像过分割产生超像素结果；图2-2为大小720×680的高分遥感图像生成超像素矩形图像的部分分割结果；图2-3为大小720×680的高分遥感图像基于本方法的分割结果；图2-4为大小720×680的高分遥感图像基于超像素分类的分割结果；图2-5为大小为7200×6800的高分遥感图像基于深度学习的像素级语义分割结果。
将单次完成5分类的分类结果以及采用基于深度学习的方法进行像素级分割的结果与本发明的二次分类结果进行对比：
Figure BDA0002302096890000031
Figure BDA0002302096890000032
该训练数据集大小为建筑类5000张32*32图像；耕地类5000张32*32图像；草地类1806张32*32图像；道路类1188张32*32图像，水体类2000张32*32图像。结果表明，本发明能有效提高超像素分类精度有效降低样本不均衡对分类结果的影响。在已知样本不均衡的情况下，有利于辅助深度学习语义分割网络进行小样本预测。

Claims (4)

1.基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法，其特征在于，包括以下步骤：
1)集成分类网络模型训练步骤：
1-1)对原始遥感图像及其所对应的标签形成的图像数据集进行预处理；其中，利用标签图与超像素的映射关系，以超像素中所含类别中，像素点最多的一类作为超像素的标签；
1-2)对预处理后的遥感图像进行过分割获得超像素分割结果；
1-3)以每一个超像素的重心为中心切割超像素矩形图像，超像素矩形图像及其所对应的标签形成超像素矩形图像样本集；
1-4)在已知样本不均衡的情况下，将像素矩形图像样本集中的小样本合并作为一类，再将进行了小样本合并后的像素矩形图像样本集输入分类网络模型进行训练，得到一次分类模型；之后，再使用合并前的小样本来输入分类网络模型进行训练，得到二次分类模型；将一次分类模型和二次分类模型组成集成分类模型；所述小样本为在像素矩形图像样本集中其类型的样本数量仅为主要类型的样本数量1/N的类型样本，N为正整数；
2)语义分割步骤：
2-1)对原始遥感图像进行预处理；
2-2)对预处理后的遥感图像进行过分割获得超像素分割结果；
2-3)以每一个超像素的重心为中心切割超像素矩形图像得到超像素矩形图像数据集；
2-4)将待处理的超像素矩形图像数据集输入到集成分类模型中，小样本类型的数据在集成分类模型经2次分类后得到分类结果，主要类型的数据在集成分类模型经1次分类后得到分类结果，最终集成分类模型输出超像素矩形图像数据集中各超像素矩形图像的分类结果；
2-3)将超像素矩形图像的分类结果映射至原始遥感图像获取语义分割结果。
2.如权利要求1所述方法，其特征在于，所述分类网络模型为ResNet18或DPN。
3.如权利要求1所述方法，其特征在于，所述预处理包括镜像翻转、旋转和加入高斯白噪声。
4.如权利要求1所述方法，其特征在于，N的取值范围为2-10。
CN201911225479.8A 2019-12-04 2019-12-04 基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法 Active CN111028244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911225479.8A CN111028244B (zh) 2019-12-04 2019-12-04 基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911225479.8A CN111028244B (zh) 2019-12-04 2019-12-04 基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法

Publications (2)

Publication Number Publication Date
CN111028244A CN111028244A (zh) 2020-04-17
CN111028244B true CN111028244B (zh) 2022-10-14

Family

ID=70204212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911225479.8A Active CN111028244B (zh) 2019-12-04 2019-12-04 基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法

Country Status (1)

Country Link
CN (1) CN111028244B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553222B (zh) * 2020-04-21 2021-11-05 中国电子科技集团公司第五十四研究所 一种基于迭代超像素分割的遥感地物分类后处理方法
CN111860208B (zh) * 2020-06-29 2023-10-24 中山大学 基于超像素的遥感影像地物分类方法、系统、装置及介质
CN113822287B (zh) * 2021-11-19 2022-02-22 苏州浪潮智能科技有限公司 一种图像处理方法、系统、设备以及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10446272B2 (en) * 2009-12-09 2019-10-15 Veracyte, Inc. Methods and compositions for classification of samples
CN109871892A (zh) * 2019-02-18 2019-06-11 华南理工大学 一种基于小样本度量学习的机器人视觉认知系统
CN110298391B (zh) * 2019-06-12 2023-05-02 同济大学 一种基于小样本的迭代式增量对话意图类别识别方法

Also Published As

Publication number Publication date
CN111028244A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
Dong et al. DenseU-net-based semantic segmentation of small objects in urban remote sensing images
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110619282B (zh) 一种无人机正射影像建筑物自动提取方法
CN111028244B (zh) 基于超像素的已知样本不均衡情况下的遥感图像语义分割的方法
CN111625608B (zh) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
CN109948593A (zh) 基于结合全局密度特征的mcnn人群计数方法
CN111738113A (zh) 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
CN106022341A (zh) 高分辨率光学遥感图像灾后水体信息提取方法及系统
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN102542293A (zh) 一种针对高分辨率sar图像场景解译的一类提取分类方法
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN111951285A (zh) 基于级联深度卷积神经网络的光学遥感影像林地分类方法
CN107992856A (zh) 城市场景下的高分遥感建筑物阴影检测方法
CN112819837A (zh) 一种基于多源异构遥感影像的语义分割方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
George et al. Efficient Road Segmentation Techniques with Attention-Enhanced Conditional GANs
Sanders Neural networks, AI, phone-based VR, machine learning, computer vision and the CUNAT automated translation app–not your father’s archaeological toolkit
Karakış et al. Analysis of segmentation parameters in ecognition software using high resolution quickbird ms imagery
CN106228553A (zh) 高分辨率遥感图像阴影检测装置与方法
CN116385716A (zh) 一种基于遥感图的三维地图地物数据自动化生产方法
Wang et al. An effective road extraction method from remote sensing images based on self-adaptive threshold function

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant