CN113239815B - 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备 - Google Patents

一种基于真实语义全网络学习的遥感影像分类方法、装置及设备 Download PDF

Info

Publication number
CN113239815B
CN113239815B CN202110535496.2A CN202110535496A CN113239815B CN 113239815 B CN113239815 B CN 113239815B CN 202110535496 A CN202110535496 A CN 202110535496A CN 113239815 B CN113239815 B CN 113239815B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
semantic
image data
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110535496.2A
Other languages
English (en)
Other versions
CN113239815A (zh
Inventor
兰泽英
陈晓晖
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Guangzhou Urban Planning Survey and Design Institute
Original Assignee
Guangdong University of Technology
Guangzhou Urban Planning Survey and Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology, Guangzhou Urban Planning Survey and Design Institute filed Critical Guangdong University of Technology
Priority to CN202110535496.2A priority Critical patent/CN113239815B/zh
Publication of CN113239815A publication Critical patent/CN113239815A/zh
Application granted granted Critical
Publication of CN113239815B publication Critical patent/CN113239815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例提供了一种基于真实语义全网络学习的遥感影像分类方法、装置及设备，包括：获取待分类遥感影像数据；基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；基于所述场景样本集，获取一对一地类的真实空间语义信息；基于所述真实空间语义信息，获取一对一尺度纹理特征；基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；基于所述网络模型对预置训练集进行训练，对待分类遥感影像数据进行预测，获取分类结果。

Description

一种基于真实语义全网络学习的遥感影像分类方法、装置及 设备
技术领域
本发明涉及遥感技术领域，尤其涉及一种基于真实语义全网络学习的遥感影像分类方法、装置及设备。
背景技术
遥感影像专题分类是获取地物信息的基础。随着遥感技术的快速发展，多传感器、多时相、高空间分辨率、高光谱分辨率的遥感影像数据越来越多，影像中所包含的语义信息也越来越丰富，与自然图像大有不同。同时，由于专题分类任务具有分类需求易变、全覆盖、所含地物复杂多样等特点，使得其分类过程远难于自然图像。因此，如何实现高智能化与准确率的遥感影像专题分类始终是遥感领域研究的热点与难点。现有的基于真实语义全网络学习的遥感影像分类方法中，主要采用基于深度学习框架的基于真实语义全网络学习的遥感影像分类方法。
所述基于深度学习框架的基于真实语义全网络学习的遥感影像分类方法，深度学习框架类型多种多样，能够实现端到端与逐像素的语义分割框架奠定了遥感影像专题分类模型的基础。而其中基于编解码结构所设计的分类网络模型因能有效解决特征图分辨率下降、较好地融合高低层语义信息并注重地物边界与细节信息而得到广泛应用。
目前，虽然现有编解码网络模型多种多样，在遥感影像专题分类任务中也表现出一定的优越性，但是网络模型设计依旧过于随机性，同时需依赖大量训练样本的低效学习帮助识别地物，导致过于依赖样本数量和以多次反复的低效率运算为代价提高精度。
发明内容
本发明实施例的目的是提供一种基于真实语义全网络学习的遥感影像分类方法，能够结合深度学习的优势，通过一对一尺度纹理特征的提取、轻量级语义启发式的网络模型设计和高质量训练集参与网络模型训练等方面，确保在分类全路径充分利用基于场景样本集所获取的真实空间语义启发信息，最终在遥感影像专题分类精度和效率上均能表现出一定的优越性，同时能适用于不同遥感影像专题分类任务。
为实现上述目的，本发明实施例提供了一种基于真实语义全网络学习的遥感影像分类方法，包括：
获取待分类遥感影像数据；
基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；
基于所述场景样本集，获取一对一地类的真实空间语义信息；
具体为：一对一地类的真实空间语义信息为POOF(Part based one-to-onefeatures，一对一地物)的真实空间语义信息；
基于所述真实空间语义信息，获取一对一尺度纹理特征；
基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；
基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；
即为构建轻量RSH-EDNET(Real Semantic Heuristic Encoder-DecoderNetwork，真实语义启发式编解码网络)模型。
获取待分类遥感影像数据；
基于所述网络模型对预置训练集进行训练，并对所述待分类遥感影像数据进行预测，获取分类结果。
作为上述方案的改进，所述基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集，具体包括：
基于多个约束条件下从所述遥感影像数据中获取场景样本集；
其中，所述多个约束条件包括：路网密度规则、空间连续性规则、空间规则和类别平衡性规则。
作为上述方案的改进，所述基于多个约束条件下从所述遥感影像数据中获取场景样本集具体为：
将遥感影像数据进行格网化；
分析待识别线状地物的等级，将最高级别及次一级别用地的交叉点作为场景标志点，并将标志点数量最多的格网作为场景样本的第一区域；
在空间连续性规则和类别平衡性规则的基础上，在所述第一区域相邻近的格网中进行场景样本扩选，获取扩选区域；
将第一区域及扩选区域的格网合并为一个完整的空间连续的场景样本区域，并对样本区域影像数据进行地物类别标记，获取场景样本集。
作为上述方案的改进，所述一对一地类的真实空间语义信息，具体包括：
所述真实空间语义信息为真实空间语义尺度，其中，所述语义尺度作为全路径的启发参数。
作为上述方案的改进，所述真实空间语义尺度，具体包括：
根据所述场景样本集，基于最小外接矩形测度法，遍历场景样本集内所有地类图斑，获取所有地类图斑的主轴长度；
根据所有的所述地类图斑的长度，基于线状地物均值算法统计各地类图斑的平均长度，以确定一对一地类的真实空间语义尺度。
作为上述方案的改进，所述基于所述真实空间语义信息，获取一对一尺度纹理特征，具体包括：
根据所获取的真实空间语义信息，确定一对一地类在提取GLCM纹理特征时的纹理窗口大小，提取一对一尺度纹理特征。
作为上述方案的改进，所述基于一对一尺度纹理特征，扩充场景样本集空间特征，获取预置训练集。
作为上述方案的改进，所述基于所述真实空间语义信息，构建轻量级语义启发式编解码网络模型，具体包括：
所述网络模型包括编码器和解码器共同构建形成；
通过确定网络层次、卷积核类型、卷积核大小和步长，获取所述编码器；
其中，将网络层次设定为一个多尺度感知块和四个编码块；
确定在多尺度感知块采用普通卷积和空洞卷积两种类型的卷积核，编码块则仅采用普通卷积；
计算多尺度感知块和各编码块中的卷积层操作窗口实际上对应网络模型输入影像数据的感受野窗口大小，通过与一对一地类的真实空间语义尺度进行比较，调整各卷积层的卷积核大小和步长，生成所述编码器；
根据所述编码器，设置与编码器的四个编码块一一对应的解码块，生成编码器。
本发明的实施例还提供了一种遥感影像专题分类装置，所述分类装置包括如下模块：
第一获取模块，所述第一获取模块用于获取待分类遥感影像数据；
场景样本模块，所述场景样本模块用于基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；
语义信息模块，所述语义信息模块用于基于所述场景样本集，获取一对一地类的真实空间语义信息；
纹理特征模块，所述纹理特征模块用于基于所述真实空间语义信息，获取一对一尺度纹理特征；
训练集模块，所述训练集模块用于基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；
网络模型模块，所述网络模型模块用于基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；
第二获取模块，所述第二获取模块用于获取待分类遥感影像数据；
训练模块，所述训练模块用于基于所述网络模型对预置训练集进行训练，并对所述待分类遥感影像数据进行预测，获取分类结果。
本发明的实施例还提供了一种遥感影像专题分类设备，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的一种基于真实语义全网络学习的遥感影像分类方法。
相比于现有技术，本发明的实施例的有益效果在于：
本发明的实施例提供了一种基于真实语义全网络学习的遥感影像分类方法、装置及设备，包括：获取待分类遥感影像数据；基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；基于所述场景样本集，获取一对一地类的真实空间语义信息；基于所述真实空间语义信息，获取一对一尺度纹理特征；基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；获取待分类遥感影像数据；基于所述网络模型对预置训练集进行训练，并对所述待分类遥感影像数据进行预测，获取分类结果。
本发明的实施例提供的一种基于真实语义全网络学习的遥感影像分类方法，能够结合深度学习的优势，通过一对一尺度纹理特征的提取、轻量级语义启发式的网络模型设计和高质量训练集参与网络模型训练等方面，确保在分类全路径充分利用基于场景样本集所获取的真实空间语义启发信息，最终在遥感影像专题分类精度和效率上均能表现出一定的优越性，同时能适用于不同遥感影像专题分类任务。这样，每当遥感影像专题分类任务的需求变化时，能够根据一对一地类的真实空间语义信息的获取结果适时调整网络模型和保证训练集质量，而无须经过多次反复的低效运算，保证获得较高的遥感影像专题分类精度与效率。从而解决了现有编解码网络模型多种多样，在遥感影像专题分类任务中也表现出一定的优越性，但是网络模型设计依旧过于随机性，同时需依赖大量训练样本的低效学习帮助识别地物，导致过于依赖样本数量和以多次反复的低效率运算为代价提高精度的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法的流程图；
图2是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法中不同地类真实空间语义信息获取示意图；
图3是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法中网络模型中编码器的编码块和多尺度感知块特征融合示意图；
图4是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法中各层次操作窗口对应输入遥感影像数据感受野窗口大小匹配示意图；
图5是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法中网络模型中解码器的不同高低层次特征融合示意图；
图6是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法中网络模型的整体结构示意图；
图7为本发明实施例提供的一种遥感影像专题分类装置的系统框架图；
图8为本发明实施例提供的一种遥感影像专题分类设备的设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法的流程图；
如图1-6，本发明的实施例还提供了一种基于真实语义全网络学习的遥感影像分类方法，包括：
S1：获取待分类遥感影像数据；
S2：基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；
S3：基于所述场景样本集，获取一对一地类的真实空间语义信息；
S4：基于所述真实空间语义信息，获取一对一尺度纹理特征；
S5：基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；
S6：基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；
S7：获取待分类遥感影像数据；
S8：基于所述网络模型对预置训练集进行训练，并对所述待分类遥感影像数据进行预测，获取分类结果。
具体的，在步骤S2中所述基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集，具体包括：
基于多个约束条件下从所述遥感影像数据中获取场景样本集；
其中，所述多个约束条件包括：路网密度规则、空间连续性规则、空间规则和类别平衡性规则。
其中，所述基于多个约束条件下从所述遥感影像数据中获取场景样本集具体为：
将遥感影像数据进行格网化；
分析待识别线状地物的等级，将最高级别及次一级别用地的交叉点作为场景标志点，并将标志点数量最多的格网作为场景样本的第一区域；
在空间连续性规则和类别平衡性规则的基础上，在所述第一区域相邻近的格网中进行场景样本扩选，获取扩选区域；
将第一区域及扩选区域的格网合并为一个完整的空间连续的场景样本区域，并对样本区域影像数据进行地物类别标记，获取场景样本集。
具体为：基于路网密度规则、空间连续性规则、空间规则和类别平衡性规则等多个约束条件，从遥感影像数据中获取场景样本集。首先，对遥感影像数据进行全覆盖标记地物类别，并标准化为四小幅，统计每一小幅的路网密度，即道路类像素数占总像素数的比例，从中选取路网密度最高的一幅作为场景样本集的一部分。其次，考虑到场景样本集的空间连续性，在选取路网密度最高的一幅小影像的基础上，只考虑与其相邻近的两幅小影像作为待选的场景样本集。再次，在考虑空间连续性所待选的两小幅影像的基础上，将两幅影像分别与路网密度最高的影像合并，统计各地物类别像素数的占比情况，从中选取地物类别较平衡的影像作为场景样本集的另一部分。最后，将两部分场景样本集合并为一个完整的空间连续的场景样本集。
从而避免从传统的标准图像数据库中只能获取大量低效或空集样本。
首先，将遥感影像数据以1000m*1000m的大小进行格网化；其次，分析待识别线状地物的等级，将最高级别及次一级别用地的交叉点作为场景标志点，并将标志点数量最多的格网作为场景样本的主要区域；再次，在空间连续性和类别平衡性的基础上，在主要区域相邻近的格网中进行场景样本扩选，保证地物类别全覆盖且占比相对平衡。最后，将主要部分及扩选部分的格网合并为一个完整的空间连续的场景样本区域，并对样本区域影像数据进行地物类别标记，以较少的样本数量和人工标记为代价获取高质量样本，反映更准确更丰富的空间特征。
比如，一幅遥感影像数据格网化的结果，分别标记格网序号为1-9。首先，分析该区域内线状地物及其级别为：公路(3-4级)、河流(小型)，统计上述线状地物交叉点在格网中的分布密度，假定统计结果为第4小幅最大，则将其选为主要场景样本区；其次，考虑到空间连续性，那么只能从第1、5或7幅影像中进行扩选；再次，以保证地物类别全覆盖且占比相对平衡为条件，以确定扩选区域，假定选择了第1幅。最后，将第1和4幅影像合并作为场景样本区，并进行标记。
1 2 3
4 5 6
7 8 9
具体的，在步骤S3中，参见图2，图2是本发明实施例提供的一种基于真实语义全网络学习的遥感影像分类方法中一对一地类的真实空间语义信息，主要指语义尺度获取的示意图；所述一对一地类的真实空间语义信息，主要指语义尺度的获取，并将其作为“全路径”的关键启发参数，具体包括：
根据所述场景样本集，基于最小外接矩形测度法，遍历场景样本集内所有地类图斑，获取所有地类图斑的主轴长度；在此基础上，基于线状地物均值算法统计各地类图斑的平均长度，以确定一对一地类的真实空间语义尺度，并将其作为“全路径”的关键启发参数。其中，“全路径”具体指的是从一对一尺度纹理特征的提取到轻量级语义启发式网络模型的设计，再到高质量训练集的选取并参与训练整个路径都将一对一地类的真实空间语义尺度作为关键启发参数。
具体的，采用最小外接矩形测度法确定所有地类图斑的主轴长度。将单个地类图斑绕某固定点在90°范围内等间隔地旋转，每次记录其外接矩形边界点坐标及旋转角度，选择面积最小的外接矩形，获取该矩形的主轴长度(如公式(1)与(2))。紧接着，根据单个地类图斑的主轴长度的获取结果，采用线状地物均值算法统计各地类的平均长度，作为一对一地类在分类过程中的真实空间语义尺度(如公式(3))。
x2＝(x1-x0)×cosθ-(y1-y0)×sinA+x0公式(1)
y2＝(x1-x0)×sinA-(y1-y0)×cosA+y0公式(2)
式中，(x0，y0)为某固定点；(x1，y1)为旋转前的点坐标；(x2，y2)为旋转后的点坐标，旋转角度θ。
Figure GDA0003753658340000091
式中，平均长度L，li为某地类第i个图斑的主轴长度，N为某地类图斑的总数。
所述真实空间语义尺度，具体包括：
根据所述场景样本集，基于最小外接矩形测度法，遍历场景样本集内所有地类图斑，获取所有地类图斑的主轴长度；
根据所有的所述地类图斑的长度，基于线状地物均值算法统计各地类图斑的平均长度，以确定一对一地类的真实空间语义尺度。
具体的，在步骤S4中，所述基于真实空间语义信息，获取一对一尺度纹理特征，具体包括：
纹理是一种可以有效反映遥感影像不同区域粗粒度、灰度与方向变化规律的最基本的空间特征之一。从统计学角度出发，GLCM(Grey Level Co-occurrence matrix，灰度共生矩阵)是最具代表性的纹理特征提取算法，可以计算出对比度、相关度、均匀性等14种纹理特征，提取的关键在于纹理窗口尺度参数的确定。因此，根据所获取的真实空间语义信息，确定一对一地类在提取GLCM纹理特征时的纹理窗口大小，提取一对一尺度纹理特征。
所述基于一对一尺度纹理特征，扩充场景样本集空间特征，获取预置训练集。
基于遥感影像数据所获取的初步场景样本集，其实只包含光谱特征，而我们为了提高场景样本集的质量，还提取了一对一尺度纹理特征，将其与光谱特征进行融合，则在光谱特征的基础上，增加了空间特征，提高了样本集质量，以此作为预置训练集。
所述基于所述真实空间语义信息，构建轻量级语义启发式编解码网络模型，具体包括：
所述网络模型包括编码器和解码器共同构建形成；
通过确定网络层次、卷积核类型、卷积核大小和步长，获取所述编码器；
其中，将网络层次设定为一个多尺度感知块和四个编码块；
确定在多尺度感知块采用普通卷积和空洞卷积两种类型的卷积核，编码块则仅采用普通卷积；
计算多尺度感知块和各编码块中的卷积层操作窗口实际上对应网络模型输入影像数据的感受野窗口大小，通过与一对一地类的真实空间语义尺度进行比较，调整各卷积层的卷积核大小和步长，生成所述编码器；
根据所述编码器，设置与编码器的四个编码块一一对应的解码块，生成编码器。
具体的，编解码网络模型的设计主要分为编码器和解码器两部分。其中，编码器用于影像特征的提取，解码器用于影像特征信息的恢复，并识别地物类别。
编码器的设计，主要确定网络层次、卷积核类型、卷积核大小和步长等方面。首先，为了尽可能获取到多种尺度以及大尺度感受野下的影像特征，将网络层次设定为一个多尺度感知块和四个编码块。其次，为了扩大多尺度感知块在影像特征提取时的感受野，同时保证不引入大量的卷积参数，确定在多尺度感知块采用普通卷积和空洞卷积两种类型的卷积核，编码块则仅采用普通卷积。最后，计算多尺度感知块和各编码块中的卷积层操作窗口实际上对应网络模型输入影像数据的感受野窗口大小，通过与一对一地类的真实空间语义尺度进行比较，调整各卷积层的卷积核大小和步长，确定最终的编码器设计。
根据所设计的编码器结构，设计与编码器的四个编码块一一对应的解码块，完成解码器的设计。
具体的，首先，考虑到遥感影像专题分类具有地类复杂多样、分类需求易变以及不同地类之间结构迥异等特点以及各深度学习框架类型的实际应用情况，确定采用能同时捕获多种影像信息并保证输入与输出影像大小一致的编解码网络结构。其次，根据真实空间语义信息，确定遥感影像数据真实空间语义尺度的范围。再次，考虑到不同地类之间形态特征差异较大，为了能够尽可能获取多尺度影像特征图，在网络模型的编码器部分组合设计了一个多尺度感知块和多个编码块，其中，多尺度感知块由一个普通卷积块和三个空洞卷积块组成。同时，为了充分利用多尺度感知块所提取的多尺度影像特征，将其与各编码块最后一层卷积层所提取的特征相融合，共同作为当前编码块中Relu层的输入，并经过Relu层与下采样层的操作，作为下一个编码块的输入(图3是编码块与多尺度感知块特征融合示意图)。在此基础上，根据公式(5)计算编码器中各层次操作窗口实际上对应输入遥感影像数据的感受野窗口大小，与一对一地类的真实空间语义尺度匹配对应(图4是各层次操作窗口对应输入遥感影像数据感受野窗口大小匹配示意图)，通过多次实验测试，确定最终的编码器结构设计。最后，出于网络结构对称性的考虑，根据编码器所设计的网络结构，设计解码器(图5是解码器中不同高低层次特征融合示意图)。(网络模型中所提及的卷积块均由卷积层、批量归一化层(Batch-Normalization,BN)和修正线性单元层(ReLU)依次组成。)
具体的，整个轻量级语义启发式编解码网络模型由编码器、中间层和解码器三个组成，各有4次下采样与4次上采样，输入与输出影像大小保持一致。其中，网络模型左边为用于影像特征提取的编码器，中间用于连接编码器与解码器不同层次的影像特征，右边为用于特征融合与影像信息恢复的解码器。而为了防止单一的下采样方式会在一定程度上弱化特征图的特征，网络模型采用步长为2的卷积和最大值池化两种下采样方式相结合，整体结构如图6所示。
RFi＝(RFi+1-1)×stridei+Ksizei 公式(5)
式中，RFi代表第i层卷积层的感受野，RFi+1代表第i+1层卷积层的感受野，stride指卷积的步长，Ksize指当前层卷积核的大小。
与现有技术相比，本发明公开的基于真实语义全网络学习的遥感影像分类方法，首先，基于遥感影像数据，面向专题全覆盖分类的需求，获取场景样本集，提取一对一地类的真实空间语义信息，主要指语义尺度，将其作为“全路径”的关键启发参数；其次，基于真实空间语义信息提取一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；再次，基于真实空间语义信息，构建轻量级语义启发式编解码网络模型，其中，网络模型的构建主要包括编码器与解码器的层次、卷积核类型、卷积核大小与步长等方面；最后，基于所构建的轻量级语义启发式编解码网络模型训练高质量预置训练集，并预测批量遥感影像数据，获取分类结果。
本发明公开的基于真实语义全网络学习的遥感影像分类方法能够结合深度学习的优势，通过一对一尺度纹理特征的提取、轻量级语义启发式的网络模型设计和高质量训练集参与网络模型训练等方面，确保在分类全路径充分利用基于场景样本集所获取的真实空间语义启发信息，最终在遥感影像专题分类精度和效率上均能表现出一定的优越性，同时能适用于不同遥感影像专题分类任务。这样，每当遥感影像专题分类任务的需求变化时，能够根据一对一地类的真实空间语义信息的获取结果适时调整网络模型和保证训练集质量，而无须经过多次反复的低效运算，保证获得较高的遥感影像专题分类精度与效率。
如图7所示，本发明的实施例还提供了一种遥感影像专题分类装置，所述分类装置包括如下模块：
第一获取模块201，所述第一获取模块201用于获取待分类遥感影像数据；
场景样本模块202，所述场景样本模块202用于基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；
语义信息模块203，所述语义信息模块203用于基于所述场景样本集，获取一对一地类的真实空间语义信息；
纹理特征模块204，所述纹理特征模块204用于基于所述真实空间语义信息，获取一对一尺度纹理特征；
训练集模块205，所述训练集模块205用于基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；
网络模型模块206，所述网络模型模块206用于基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；
第二获取模块207，所述第二获取模块207用于获取待分类遥感影像数据；
训练模块208，所述训练模块208用于基于所述网络模型对预置训练集进行训练，并对所述待分类遥感影像数据进行预测，获取分类结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图8所示，本发明的实施例还提供了一种遥感影像专题分类设备，包括处理器300以及存储器301；
所述存储器301用于存储程序代码，并将所述程序代码传输给所述处理器300；
所述处理器300用于根据所述程序代码中的指令执行上述的一种基于真实语义全网络学习的遥感影像分类方法。
示例性的，所述计算机程序302可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器301中，并由所述处理器300执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序302在所述终端设备30中的执行过程。
所述终端设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器300、存储器301。本领域技术人员可以理解，图8仅仅是终端设备30的示例，并不构成对终端设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器300可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器301可以是所述终端设备30的内部存储单元，例如终端设备30的硬盘或内存。所述存储器301也可以是所述终端设备30的外部存储设备，例如所述终端设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器301还可以既包括所述终端设备30的内部存储单元也包括外部存储设备。所述存储器301用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器301还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于真实语义全网络学习的遥感影像分类方法，其特征在于，包括：
获取待分类遥感影像数据；
基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；
基于所述场景样本集，获取一对一地类的真实空间语义信息；
基于所述真实空间语义信息，获取一对一尺度纹理特征；
基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；
基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；
基于所述网络模型对预置训练集进行训练，并对所述待分类遥感影像数据进行预测，获取分类结果；
其中，所述基于所述真实空间语义信息，构建轻量级语义启发式编解码网络模型，具体包括：
所述网络模型包括编码器和解码器共同构建形成；
通过确定网络层次、卷积核类型、卷积核大小和步长，获取所述编码器；
其中，将网络层次设定为一个多尺度感知块和四个编码块；
确定在多尺度感知块采用普通卷积和空洞卷积两种类型的卷积核，编码块则仅采用普通卷积；
计算多尺度感知块和各编码块中的卷积层操作窗口所对应的网络模型输入影像数据的感受野窗口的大小，通过与一对一地类的真实空间语义尺度进行比较，调整各卷积层的卷积核大小和步长，生成所述编码器；
根据所述编码器，设置与编码器的四个编码块一一对应的解码块，生成编码器。
2.如权利要求1所述的基于真实语义全网络学习的遥感影像分类方法，其特征在于，所述基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集，具体包括：
基于多个约束条件下从所述遥感影像数据中获取场景样本集；
其中，所述多个约束条件包括：路网密度规则、空间连续性规则、空间规则和类别平衡性规则。
3.如权利要求2所述的基于真实语义全网络学习的遥感影像分类方法，其特征在于，
所述基于多个约束条件下从所述遥感影像数据中获取场景样本集具体为：
将遥感影像数据进行格网化；
分析待识别线状地物的等级，将最高级别及次一级别用地的交叉点作为场景标志点，并将标志点数量最多的格网作为场景样本的第一区域；
在空间连续性规则和类别平衡性规则的基础上，在所述第一区域相邻近的格网中进行场景样本扩选，获取扩选区域；
将第一区域及扩选区域的格网合并为一个完整的空间连续的场景样本区域，并对样本区域影像数据进行地物类别标记，获取场景样本集。
4.如权利要求1所述的基于真实语义全网络学习的遥感影像分类方法，其特征在于，所述一对一地类的真实空间语义信息，具体包括：
所述真实空间语义信息为真实空间语义尺度，其中，所述语义尺度作为全路径的启发参数，从一对一尺度纹理特征的提取到轻量级语义启发式网络模型的设计，再到高质量训练集的选取并参与训练整个路径都将一对一地类的真实空间语义尺度作为关键启发参数。
5.如权利要求4所述的基于真实语义全网络学习的遥感影像分类方法，其特征在于，所述真实空间语义尺度，具体包括：
根据所述场景样本集，基于最小外接矩形测度法，遍历场景样本集内所有地类图斑，获取所有地类图斑的主轴长度；
根据所有的所述地类图斑的长度，基于线状地物均值算法统计各地类图斑的平均长度，以确定一对一地类的真实空间语义尺度。
6.如权利要求1所述的基于真实语义全网络学习的遥感影像分类方法，其特征在于，所述基于所述真实空间语义信息，获取一对一尺度纹理特征，具体包括：
根据所获取的真实空间语义信息，确定一对一地类在提取GLCM纹理特征时的纹理窗口大小，提取一对一尺度纹理特征。
7.如权利要求1所述的基于真实语义全网络学习的遥感影像分类方法，其特征在于，所述基于一对一尺度纹理特征，扩充场景样本集空间特征，获取预置训练集。
8.一种遥感影像专题分类装置，其特征在于，所述分类装置包括如下模块：
第一获取模块，所述第一获取模块用于获取待分类遥感影像数据；
场景样本模块，所述场景样本模块用于基于所述待分类遥感影像数据和专题全覆盖分类规则，获取场景样本集；
语义信息模块，所述语义信息模块用于基于所述场景样本集，获取一对一地类的真实空间语义信息；
纹理特征模块，所述纹理特征模块用于基于所述真实空间语义信息，获取一对一尺度纹理特征；
训练集模块，所述训练集模块用于基于所述一对一尺度纹理特征，扩充场景样本集特征，获取预置训练集；
网络模型模块，所述网络模型模块用于基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型；
训练模块，所述训练模块用于基于所述网络模型对预置训练集进行训练，并对所述待分类遥感影像数据进行预测，获取分类结果；
其中，所述网络模型模块用于基于所述真实空间语义信息，构建轻量级语义启发式编解码的网络模型，具体包括：
所述网络模型包括编码器和解码器共同构建形成；
通过确定网络层次、卷积核类型、卷积核大小和步长，获取所述编码器；
其中，将网络层次设定为一个多尺度感知块和四个编码块；
确定在多尺度感知块采用普通卷积和空洞卷积两种类型的卷积核，编码块则仅采用普通卷积；
计算多尺度感知块和各编码块中的卷积层操作窗口所对应的网络模型输入影像数据的感受野窗口的大小，通过与一对一地类的真实空间语义尺度进行比较，调整各卷积层的卷积核大小和步长，生成所述编码器；
根据所述编码器，设置与编码器的四个编码块一一对应的解码块，生成编码器。
9.一种遥感影像专题分类设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7中任意一项所述的一种基于真实语义全网络学习的遥感影像分类方法。
CN202110535496.2A 2021-05-17 2021-05-17 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备 Active CN113239815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110535496.2A CN113239815B (zh) 2021-05-17 2021-05-17 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110535496.2A CN113239815B (zh) 2021-05-17 2021-05-17 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113239815A CN113239815A (zh) 2021-08-10
CN113239815B true CN113239815B (zh) 2022-09-06

Family

ID=77134716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110535496.2A Active CN113239815B (zh) 2021-05-17 2021-05-17 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113239815B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581781B (zh) * 2022-05-05 2022-08-09 之江实验室 一种高分辨率遥感图像的目标检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
WO2019196633A1 (zh) * 2018-04-10 2019-10-17 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
KR20190119261A (ko) * 2018-04-12 2019-10-22 가천대학교 산학협력단 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법
CN111079649A (zh) * 2019-12-17 2020-04-28 西安电子科技大学 基于轻量化语义分割网络的遥感图像地物分类方法
CN111476170A (zh) * 2020-04-09 2020-07-31 首都师范大学 一种结合深度学习和随机森林的遥感影像语义分割方法
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832319B (zh) * 2017-06-20 2021-09-17 北京工业大学 一种基于语义关联网络的启发式查询扩展方法
CN109685762A (zh) * 2018-11-09 2019-04-26 五邑大学 一种基于多尺度深度语义分割网络的天线下倾角测量方法
EP3671542A1 (en) * 2018-12-18 2020-06-24 Visteon Global Technologies, Inc. Method for multilane detection using a convolutional neural network
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019196633A1 (zh) * 2018-04-10 2019-10-17 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
KR20190119261A (ko) * 2018-04-12 2019-10-22 가천대학교 산학협력단 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법
CN109255334A (zh) * 2018-09-27 2019-01-22 中国电子科技集团公司第五十四研究所 基于深度学习语义分割网络的遥感影像地物分类方法
CN111079649A (zh) * 2019-12-17 2020-04-28 西安电子科技大学 基于轻量化语义分割网络的遥感图像地物分类方法
CN111476170A (zh) * 2020-04-09 2020-07-31 首都师范大学 一种结合深度学习和随机森林的遥感影像语义分割方法
CN112101190A (zh) * 2020-09-11 2020-12-18 西安电子科技大学 一种遥感图像分类方法、存储介质及计算设备
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GIS Morphology Knowledge Aided Texture Windows Determination for RS Image Classification;Zeying LAN et al;《2017 2nd International Conference on Frontiers of Sensors Technologies (ICFST)》;20171218;第204-208页 *
Study on Multi-Scale Window Determination for GLCM Texture Description in High-Resolution Remote Sensing Image Geo-Analysis Supported by GIS and Domain Knowledge;Zeying Lan et al;《 International Journal of Geo-Information》;20180505;第1-24页 *
基于多尺度层的遥感影像分类问题研究;白亚彬等;《西部资源》;20140228;第176-200页 *
领域知识辅助下基于多尺度与主方向纹理的遥感影像土地利用分类;兰泽英等;《测绘学报》;20160831;第45卷(第8期);第973-982页 *

Also Published As

Publication number Publication date
CN113239815A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
Wang et al. An urban water extraction method combining deep learning and Google Earth engine
CN109829399B (zh) 一种基于深度学习的车载道路场景点云自动分类方法
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
Wang et al. Modeling indoor spaces using decomposition and reconstruction of structural elements
CN110533631A (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
Li et al. Spatial data quality and beyond
Yamashkin et al. Improving the efficiency of deep learning methods in remote sensing data analysis: geosystem approach
Surabuddin Mondal et al. Modeling of spatio-temporal dynamics of land use and land cover in a part of Brahmaputra River basin using Geoinformatic techniques
CN110992366B (zh) 一种图像语义分割方法、装置及存储介质
Du et al. Segmentation and sampling method for complex polyline generalization based on a generative adversarial network
CN111126459A (zh) 一种车辆细粒度识别的方法及装置
CN114022770A (zh) 基于改进自注意力机制与迁移学习的山体裂缝检测方法
CN114049462B (zh) 一种三维模型单体化方法及装置
CN115393240A (zh) Gis和bim融合的方法、装置、电子设备及可读存储介质
CN112580453A (zh) 一种基于遥感影像和深度学习的土地利用分类方法及系统
CN113836999A (zh) 基于探地雷达的隧道施工风险智能识别方法及系统
CN113807278A (zh) 一种基于深度学习的土地利用分类及变化预测方法
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113239815B (zh) 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备
CN113496260B (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
Peng et al. A high-speed feature matching method of high-resolution aerial images
CN116611725A (zh) 一种基于绿色生态指标的土地类型识别方法及装置
CN115147726B (zh) 城市形态图的生成方法、装置、电子设备和可读存储介质
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN112949657B (zh) 一种基于遥感影像纹理特征的林地分布提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant