CN111914848B - 一种融合gis数据的遥感图像语义分割方法及系统 - Google Patents

一种融合gis数据的遥感图像语义分割方法及系统 Download PDF

Info

Publication number
CN111914848B
CN111914848B CN202010994823.6A CN202010994823A CN111914848B CN 111914848 B CN111914848 B CN 111914848B CN 202010994823 A CN202010994823 A CN 202010994823A CN 111914848 B CN111914848 B CN 111914848B
Authority
CN
China
Prior art keywords
remote sensing
image
ith
data
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010994823.6A
Other languages
English (en)
Other versions
CN111914848A (zh
Inventor
顾宇航
郝洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010994823.6A priority Critical patent/CN111914848B/zh
Publication of CN111914848A publication Critical patent/CN111914848A/zh
Priority to US17/144,256 priority patent/US11488403B2/en
Application granted granted Critical
Publication of CN111914848B publication Critical patent/CN111914848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T5/80—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本发明涉及一种融合GIS数据的遥感图像语义分割方法及系统，所述方法包括：获取第一遥感数据训练集和第一GIS数据；对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集；基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据；对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集；基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练；基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集。本发明针对相互遮蔽的建筑、树木和道路提高了语义分割的精度。

Description

一种融合GIS数据的遥感图像语义分割方法及系统
技术领域
本发明涉及语义分割技术领域，特别是涉及一种融合GIS数据的遥感图像语义分割方法及系统。
背景技术
航天遥感技术经过多年的发展，无论在光谱分辨率、空间分辨率还是时间分辨率方面都有巨大的进步，已经形成高光谱、高空间分辨率、全天时的对地观测能力。高分辨率遥感图像的产生，使得土地利用、城市规划、环境检测等民用方面有了更便利、更详细的数据来源。
语义分割不同于图像分类，它需要对图像的每个像素点进行分类；高分辨率遥感图像语义分割在土地分类以及智慧城市等领域中扮演者十分重要的角色，为其提供了良好的基础。然而，想要获取高精确度的语义分割结果是十分困难的，尤其是在密集的城镇建筑当中；传统的遥感图像分割主要还是依靠大量的人力进行手动分割，并结合后期的人工纠错不断完善分割结果，这种方式往往会耗费大量的财力精力，并且难以深度挖掘遥感大数据的潜在价值。
在过去的几年中，由于机器学习的不断发展以及深度学习在图像方面取得的重大成就，让遥感图像语义分割有了新的突破；机器学习的方法主要是基于像素的分类方法，例如支持向量机等方法可以对像素进行快速的分类，但是这种方法没有考虑到图像的空间拓扑关系，分割的结果往往包含许多噪声。全卷积神经网络的出现是语义分割的一个重大突破，它代表着语义分割从此进入深度学习时代。在这之后，许多基于全卷积的网络也渐渐被提出，其中DeepLabV3+是目前基于深度学习的语义分割模型中最通用且效果相对较好的网络。然而，由于高分辨率遥感图像中，地物繁杂，建筑、树木以及道路之间相互参杂与相互遮蔽，导致语义分割效果很差。
此外，现有的数据融合技术中，将遥感图像与开放街道地图(Open Street Map，简称OSM)的图像通道进行合并输入，以达到融合的目的，但单纯地将两个异构的数据混合在一起，显然并不合乎情理。也有研究利用FuseNet来融合遥感数据和OSM，然而，FuseNet采用的是较为简单的SegNet网络结构，因此融合的效果并不理想。
发明内容
本发明的目的是提供一种融合GIS数据的遥感图像语义分割方法及系统，以解决现有技术中针对相互遮蔽的建筑、树木和道路等分割精度低的问题。
为实现上述目的，本发明提供了如下方案：
一种融合GIS数据的遥感图像语义分割方法，包括：
获取第一遥感数据训练集和第一GIS数据；所述第一遥感数据训练集包括n幅训练遥感图像，n为大于1的正整数；
对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集；
基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据；
对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集；
基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练；
基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集。
优选地，所述对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集，包括：
令i＝1；
对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像；
对第i幅所述校正遥感图像进行坐标系转换，得到第i幅坐标遥感图像；
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像”；如果i大于或等于n，则输出所述第二遥感数据训练集；所述第二遥感数据训练集包括n幅所述坐标遥感图像。
优选地，所述基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据，包括：
令i＝1；
将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像；
在所述第i幅对齐图像中，基于第i幅所述坐标遥感图像对所述第一GIS数据进行裁剪得到第i幅GIS图像；
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像”；如果i大于或等于n，则输出所述第二GIS数据；所述第二GIS数据包括n幅所述GIS图像。
优选地，所述对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集，包括：
令i＝1；
对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像；
对第i幅所述坐标遥感图像进行分割处理，得到第i幅分割图像；
对第i幅所述坐标遥感图像进行镜像翻转处理，得到第i幅翻转图像；
对所述缩放图像、所述分割图像和所述翻转图像均进行k次按照设定角度旋转，得到第i幅旋转图像；k为大于1的正整数；
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像”；如果i大于或等于n，则输出缩放图像集、分割图像集、翻转图像集和旋转图像集；
所述缩放图像集包括n幅所述缩放图像，所述分割图像集包括n幅所述分割图像，所述翻转图像集包括n幅所述翻转图像，所述旋转图像集包括n幅所述旋转图像；所述第三遥感数据训练集包括所述缩放图像集、所述分割图像集、所述翻转图像集和所述旋转图像集。
优选地，所述方法在所述基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集之后，还包括：
基于条件随机场对所述语义集进行优化处理，得到优化语义集。
本发明还提供了一种融合GIS数据的遥感图像语义分割系统，包括：
数据获取模块，用于获取第一遥感数据训练集和第一GIS数据；所述第一遥感数据训练集包括n幅训练遥感图像，n为大于1的正整数；
第一预处理模块，用于对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集；
第二预处理模块，用于基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据；
数据增强模块；用于对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集；
模型训练模块，用于基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练；
语义分割模块，用于基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集。
优选地，所述第一预处理模块包括：
第一初始化单元，用于令i＝1；
校正单元，用于对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像；
转换单元，用于对第i幅所述校正遥感图像进行坐标系转换，得到第i幅坐标遥感图像；
第一判断单元，用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述校正单元；如果i大于或等于n，则输出所述第二遥感数据训练集；所述第二遥感数据训练集包括n幅所述坐标遥感图像。
优选地，所述第二预处理模块包括：
第二初始化单元，用于令i＝1；
对齐单元，用于将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像；
裁剪单元，用于在所述第i幅对齐图像中，基于第i幅所述坐标遥感图像对所述第一GIS数据进行裁剪得到第i幅GIS图像；
第二判断单元，用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述对齐单元；如果i大于或等于n，则输出所述第二GIS数据；所述第二GIS数据包括n幅所述GIS图像。
优选地，所述数据增强模块包括：
第三初始化单元，用于令i＝1；
缩放单元，用于对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像；
分割单元，用于对第i幅所述坐标遥感图像进行分割处理，得到第i幅分割图像；
翻转单元，用于对第i幅所述坐标遥感图像进行镜像翻转处理，得到第i幅翻转图像；
旋转单元，用于对所述缩放图像、所述分割图像和所述翻转图像均进行k次按照设定角度旋转，得到第i幅旋转图像；k为大于1的正整数；
第三判断单元，用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述缩放单元；如果i大于或等于n，则输出缩放图像集、分割图像集、翻转图像集和旋转图像集；
所述缩放图像集包括n幅所述缩放图像，所述分割图像集包括n幅所述分割图像，所述翻转图像集包括n幅所述翻转图像，所述旋转图像集包括n幅所述旋转图像；所述第三遥感数据训练集包括所述缩放图像集、所述分割图像集、所述翻转图像集和所述旋转图像集。
优选地，所述系统还包括：
语义优化模块，用于基于条件随机场对所述语义集进行优化处理，得到优化语义集。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明涉及一种融合GIS数据的遥感图像语义分割方法及系统，所述方法包括：获取第一遥感数据训练集和第一GIS数据；对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集；基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据；对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集；基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练；基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集。本发明针对相互遮蔽的建筑、树木和道路提高了语义分割的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明融合GIS数据的遥感图像语义分割方法流程图；
图2为本发明融合GIS数据的遥感图像语义分割系统结构图；
图3为本发明语义分割模型结构图。
符号说明：1-数据获取模块，2-第一预处理模块，3-第二预处理模块，4-数据增强模块，5-模型训练模块，6-语义分割模块，7-语义优化模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种融合GIS数据的遥感图像语义分割方法及系统，以解决现有技术中针对相互遮蔽的建筑、树木和道路等分割精度低的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明融合GIS数据的遥感图像语义分割方法流程图，如图1所示，本发明提供了一种融合GIS数据的遥感图像语义分割方法，包括：
步骤S1，获取第一遥感数据训练集和第一GIS数据；所述第一遥感数据训练集包括n幅训练遥感图像，n为大于1的正整数。所述第一GIS数据为开放街道地图和谷歌地图率中任意一者，本实施例中选用开放街道地图。
步骤S2，对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集。
具体地，所述步骤S2包括：
初始令i＝1。
对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像。以解决遥感成像过程中，受多种因素的综合影响，原始图像上地物的几何位置、形状、大小、尺寸和方位等特征与其对应的地面地物的特征出现的不一致这一问题。
对第i幅所述校正遥感图像进行坐标系转换，得到第i幅坐标遥感图像。通过转换成基准坐标系，以解决各个不同来源的遥感图像的坐标系不一致这一问题。本实施例中，所述基准坐标系为北京54坐标系。
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像”；如果i大于或等于n，则输出所述第二遥感数据训练集；所述第二遥感数据训练集包括n幅所述坐标遥感图像。
优选地，为了消除由于地球表面特性导致的蝴蝶结效应，本发明基于ENVI对每幅所述坐标遥感图像都进行处理，以消除蝴蝶结效应。
步骤S3，基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据。
作为一种可选的实施方式，本发明所述步骤S3包括：
初始令i＝1。
将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像。
在所述第i幅对齐图像中，基于第i幅所述坐标遥感图像对所述第一GIS数据进行裁剪得到第i幅GIS图像。所述第i幅GIS图像的像素大小与所述第i幅所述坐标遥感图像的像素相同。
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像”；如果i大于或等于n，则输出所述第二GIS数据；所述第二GIS数据包括n幅所述GIS图像。
步骤S4，对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集。
优选地，本发明所述增强处理包括缩放、分割、翻转和旋转。
进一步地，所述步骤S4包括：
初始令i＝1。
对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像。
对第i幅所述坐标遥感图像进行分割处理，得到第i幅分割图像。
对第i幅所述坐标遥感图像进行镜像翻转处理，得到第i幅翻转图像。
对所述缩放图像、所述分割图像和所述翻转图像均进行k次按照设定角度旋转，得到第i幅旋转图像；k为大于1的正整数。本实施例中，k取4，所述设定角度为90°。
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像”；如果i大于或等于n，则输出缩放图像集、分割图像集、翻转图像集和旋转图像集。
所述缩放图像集包括n幅所述缩放图像，所述分割图像集包括n幅所述分割图像，所述翻转图像集包括n幅所述翻转图像，所述旋转图像集包括n幅所述旋转图像；所述第三遥感数据训练集包括所述缩放图像集、所述分割图像集、所述翻转图像集和所述旋转图像集。
步骤S5，基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练。
进一步地，所述步骤S5包括：
基于TensorFlow2.1和python3.7构建语义分割模型。
如图3所示，所述语义分割模型包括主干编码器、辅助编码器、空洞空间金字塔和解码器。本实施例中，所述主干编码器选用ResNet-101残差网络，所述辅助编码器选用ResNet-18网络。
其中，Conv为卷积，Pool为池化，Concat为合并，rate为膨胀率，Image Pooling为映像池，Upsample为上采样，OSM-Input为遥感数据输入，所述遥感数据为所述第三遥感数据训练集，RSI-Input为地理数据输入，所述地理数据为所述第二GIS数据。
通过所述主干编码器对所述第三遥感数据训练集进行特征提取。
所述辅助编码器对所述第二GIS数据进行特征提取。
优选地，主干编码器在每次下采样之前都会融合辅助编码器对应尺度的特征映射，这就使得两种数据源都拥有单独的编码器的同时，语义分割模型又能深层次地融合二者的语义特征，从而提高了语义分割精度。
所述空洞空间金字塔用来学习不同像素的语义信息，以解决输入的图像大小不一致的问题，进一步提高了语义分割精度。
所述解码器除了考虑主干编码器提取到的高层特征之外，还进一步地融合了第二次下采样的底层特征，以尽可能地恢复图像的细节信息。
步骤S6，基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集。
优选地，为了进一步提高语义的精度，本发明还基于条件随机场对所述语义集进行优化处理，得到优化语义集。
图2为本发明融合GIS数据的遥感图像语义分割系统结构图，如图2所示，本发明还提供了一种融合GIS数据的遥感图像语义分割系统，包括：数据获取模块1、第一预处理模块2、第二预处理模块3、数据增强模块4、模型训练模块5和语义分割模块6。
所述数据获取模块1用于获取第一遥感数据训练集和第一GIS数据；所述第一遥感数据训练集包括n幅训练遥感图像，n为大于1的正整数。
所述第一预处理模块2用于对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集。
所述第二预处理模块3用于基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据。
所述数据增强模块4用于对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集。
所述模型训练模块5用于基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练。
所述语义分割模块6用于基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集。
作为一种可选的实施方式，本发明所述第一预处理模块2包括：第一初始化单元、校正单元、转换单元、和第一判断单元。
所述第一初始化单元用于令i＝1。
所述校正单元用于对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像。
所述转换单元用于对第i幅所述校正遥感图像进行坐标系转换，得到第i幅坐标遥感图像。
所述第一判断单元用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述校正单元；如果i大于或等于n，则输出所述第二遥感数据训练集；所述第二遥感数据训练集包括n幅所述坐标遥感图像。
作为一种可选的实施方式，本发明所述第二预处理模块3包括：第二初始化单元、对齐单元、裁剪单元和第二判断单元。
所述第二初始化单元用于令i＝1。
所述对齐单元用于将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐得到第i幅对齐图像。
所述裁剪单元用于在所述第i幅对齐图像中，基于第i幅所述坐标遥感图像对所述第一GIS数据进行裁剪得到第i幅GIS图像。
所述第二判断单元用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述对齐单元；如果i大于或等于n，则输出所述第二GIS数据；所述第二GIS数据包括n幅所述GIS图像。
作为一种可选的实施方式，本发明所述数据增强模块4包括：第三初始化单元、缩放单元、分割单元、翻转单元、旋转单元和第三判断单元。
所述第三初始化单元，用于令i＝1。
所述缩放单元用于对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像。
所述分割单元用于对第i幅所述坐标遥感图像进行分割处理，得到第i幅分割图像。
所述翻转单元用于对第i幅所述坐标遥感图像进行镜像翻转处理，得到第i幅翻转图像。
所述旋转单元用于对所述缩放图像、所述分割图像和所述翻转图像均进行k次按照设定角度旋转，得到第i幅旋转图像；k为大于1的正整数。
所述第三判断单元用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述缩放单元；如果i大于或等于n，则输出缩放图像集、分割图像集、翻转图像集和旋转图像集。
所述缩放图像集包括n幅所述缩放图像，所述分割图像集包括n幅所述分割图像，所述翻转图像集包括n幅所述翻转图像，所述旋转图像集包括n幅所述旋转图像；所述第三遥感数据训练集包括所述缩放图像集、所述分割图像集、所述翻转图像集和所述旋转图像集。
作为一种可选的实施方式，本发明所述系统还包括：语义优化模块7。
所述语义优化模块用于基于条件随机场对所述语义集进行优化处理，得到优化语义集。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种融合GIS数据的遥感图像语义分割方法，其特征在于，包括：
获取第一遥感数据训练集和第一GIS数据；所述第一遥感数据训练集包括n幅训练遥感图像，n为大于1的正整数；
对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集；
基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据；
对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集；
基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练；
基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集；
对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集，包括：
令i＝1；
对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像；
对第i幅所述校正遥感图像进行坐标系转换，得到第i幅坐标遥感图像；
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像”；如果i大于或等于n，则输出所述第二遥感数据训练集；所述第二遥感数据训练集包括n幅所述坐标遥感图像；
基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据，包括：
令i＝1；
将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像；
在所述第i幅对齐图像中，基于第i幅所述坐标遥感图像对所述第一GIS数据进行裁剪得到第i幅GIS图像；
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像”；如果i大于或等于n，则输出所述第二GIS数据；所述第二GIS数据包括n幅所述GIS图像；
对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集，包括：
令i＝1；
对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像；
对第i幅所述坐标遥感图像进行分割处理，得到第i幅分割图像；
对第i幅所述坐标遥感图像进行镜像翻转处理，得到第i幅翻转图像；
对所述缩放图像、所述分割图像和所述翻转图像均进行k次按照设定角度旋转，得到第i幅旋转图像；k为大于1的正整数；
判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至步骤“对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像”；如果i大于或等于n，则输出缩放图像集、分割图像集、翻转图像集和旋转图像集；
所述缩放图像集包括n幅所述缩放图像，所述分割图像集包括n幅所述分割图像，所述翻转图像集包括n幅所述翻转图像，所述旋转图像集包括n幅所述旋转图像；所述第三遥感数据训练集包括所述缩放图像集、所述分割图像集、所述翻转图像集和所述旋转图像集。
2.根据权利要求1所述的一种融合GIS数据的遥感图像语义分割方法，其特征在于，所述方法在所述基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集之后，还包括：
基于条件随机场对所述语义集进行优化处理，得到优化语义集。
3.一种融合GIS数据的遥感图像语义分割系统，其特征在于，包括：
数据获取模块，用于获取第一遥感数据训练集和第一GIS数据；所述第一遥感数据训练集包括n幅训练遥感图像，n为大于1的正整数；
第一预处理模块，用于对所述第一遥感数据训练集进行预处理得到第二遥感数据训练集；
第二预处理模块，用于基于所述第二遥感数据训练集对所述第一GIS数据进行预处理得到第二GIS数据；
数据增强模块；用于对所述第二遥感数据训练集进行数据增强处理得到第三遥感数据训练集；
模型训练模块，用于基于所述第三遥感数据训练集和所述第二GIS数据对语义分割模型进行训练；
语义分割模块，用于基于所述第一GIS数据和训练好的所述语义分割模型对待分割遥感图像进行语义分割，得到语义集；
所述第一预处理模块包括：
第一初始化单元，用于令i＝1；
校正单元，用于对第i幅所述训练遥感图像进行几何校正，得到第i幅校正遥感图像；
转换单元，用于对第i幅所述校正遥感图像进行坐标系转换，得到第i幅坐标遥感图像；
第一判断单元，用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述校正单元；如果i大于或等于n，则输出所述第二遥感数据训练集；所述第二遥感数据训练集包括n幅所述坐标遥感图像；
所述第二预处理模块包括：
第二初始化单元，用于令i＝1；
对齐单元，用于将第i幅所述坐标遥感图像与所述第一GIS数据按照经纬度坐标进行对齐，得到第i幅对齐图像；
裁剪单元，用于在所述第i幅对齐图像中，基于第i幅所述坐标遥感图像对所述第一GIS数据进行裁剪得到第i幅GIS图像；
第二判断单元，用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述对齐单元；如果i大于或等于n，则输出所述第二GIS数据；所述第二GIS数据包括n幅所述GIS图像；
所述数据增强模块包括：
第三初始化单元，用于令i＝1；
缩放单元，用于对第i幅所述坐标遥感图像进行缩放处理，得到第i幅缩放图像；
分割单元，用于对第i幅所述坐标遥感图像进行分割处理，得到第i幅分割图像；
翻转单元，用于对第i幅所述坐标遥感图像进行镜像翻转处理，得到第i幅翻转图像；
旋转单元，用于对所述缩放图像、所述分割图像和所述翻转图像均进行k次按照设定角度旋转，得到第i幅旋转图像；k为大于1的正整数；
第三判断单元，用于判断i是否大于或等于n；如果i小于n，则令i＝i+1，并返回至所述缩放单元；如果i大于或等于n，则输出缩放图像集、分割图像集、翻转图像集和旋转图像集；
所述缩放图像集包括n幅所述缩放图像，所述分割图像集包括n幅所述分割图像，所述翻转图像集包括n幅所述翻转图像，所述旋转图像集包括n幅所述旋转图像；所述第三遥感数据训练集包括所述缩放图像集、所述分割图像集、所述翻转图像集和所述旋转图像集。
4.根据权利要求3所述的一种融合GIS数据的遥感图像语义分割系统，其特征在于，所述系统还包括：
语义优化模块，用于基于条件随机场对所述语义集进行优化处理，得到优化语义集。
CN202010994823.6A 2020-09-21 2020-09-21 一种融合gis数据的遥感图像语义分割方法及系统 Active CN111914848B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010994823.6A CN111914848B (zh) 2020-09-21 2020-09-21 一种融合gis数据的遥感图像语义分割方法及系统
US17/144,256 US11488403B2 (en) 2020-09-21 2021-01-08 Semantic segmentation method and system for remote sensing image fusing GIS data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010994823.6A CN111914848B (zh) 2020-09-21 2020-09-21 一种融合gis数据的遥感图像语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN111914848A CN111914848A (zh) 2020-11-10
CN111914848B true CN111914848B (zh) 2024-04-12

Family

ID=73265360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010994823.6A Active CN111914848B (zh) 2020-09-21 2020-09-21 一种融合gis数据的遥感图像语义分割方法及系统

Country Status (2)

Country Link
US (1) US11488403B2 (zh)
CN (1) CN111914848B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914848B (zh) * 2020-09-21 2024-04-12 南京航空航天大学 一种融合gis数据的遥感图像语义分割方法及系统
CN114996488B (zh) * 2022-08-08 2022-10-25 北京道达天际科技股份有限公司 一种天网大数据决策级融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110189283A (zh) * 2019-05-21 2019-08-30 西安电子科技大学 基于语义分割图的遥感图像dsm融合方法
CN111259900A (zh) * 2020-01-13 2020-06-09 河海大学 一种卫星遥感图像的语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165217B2 (en) * 2013-01-18 2015-10-20 International Business Machines Corporation Techniques for ground-level photo geolocation using digital elevation
CN111914848B (zh) * 2020-09-21 2024-04-12 南京航空航天大学 一种融合gis数据的遥感图像语义分割方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110189283A (zh) * 2019-05-21 2019-08-30 西安电子科技大学 基于语义分割图的遥感图像dsm融合方法
CN111259900A (zh) * 2020-01-13 2020-06-09 河海大学 一种卫星遥感图像的语义分割方法

Also Published As

Publication number Publication date
US11488403B2 (en) 2022-11-01
US20220092368A1 (en) 2022-03-24
CN111914848A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
Zhao et al. Building extraction from satellite images using mask R-CNN with building boundary regularization
CN110059768B (zh) 用于街景理解的融合点与区域特征的语义分割方法及系统
CN101714262B (zh) 单幅图像的三维场景重建方法
CN113160234B (zh) 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN111914848B (zh) 一种融合gis数据的遥感图像语义分割方法及系统
JP2018523875A (ja) 車線認識のモデリング方法、装置、記憶媒体及び機器、並びに車線の認識方法、装置、記憶媒体及び機器
CN106530345B (zh) 一种同机影像辅助下的建筑物三维激光点云特征提取方法
CN113505842B (zh) 一种适用于大尺度区域遥感影像城市建筑物自动提取方法
CN113888550A (zh) 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN112819066A (zh) 一种Res-UNet单木树种分类技术
CN110705381A (zh) 遥感影像道路提取方法及装置
CN111709387B (zh) 一种高分辨率遥感影像的建筑物分割方法及系统
CN111340080A (zh) 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统
CN110263716A (zh) 一种基于街景图像的遥感影像超分辨率土地覆被制图方法
CN114049462A (zh) 一种三维模型单体化方法及装置
US20220092314A1 (en) Road Recognition Method and System Based on Seed Point
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN111726535A (zh) 基于车辆感知的智慧城市cim视频大数据画质控制方法
Xiao et al. Feature extraction using very high resolution satellite imagery
Dong et al. Generative ConvNet Foundation Model with Sparse Modeling and Low-Frequency Reconstruction for Remote Sensing Image Interpretation
CN114445726A (zh) 一种基于深度学习的样本库建立方法和装置
CN113723175A (zh) 一种遥感影像城市建成区提取方法
Zou et al. Multi-dimensional attention unet with variable size convolution group for road segmentation in remote sensing imagery
CN103996042A (zh) 一种面向对象分割结合灰度形态学的道路提取方法
Sirko et al. High-Resolution Building and Road Detection from Sentinel-2

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant