CN113591685A - 一种基于多尺度池化的地理对象空间关系识别方法及系统 - Google Patents

一种基于多尺度池化的地理对象空间关系识别方法及系统 Download PDF

Info

Publication number
CN113591685A
CN113591685A CN202110861261.2A CN202110861261A CN113591685A CN 113591685 A CN113591685 A CN 113591685A CN 202110861261 A CN202110861261 A CN 202110861261A CN 113591685 A CN113591685 A CN 113591685A
Authority
CN
China
Prior art keywords
geographic object
spatial
distance
module
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110861261.2A
Other languages
English (en)
Other versions
CN113591685B (zh
Inventor
崔巍
王锦
夏聪
赵慧琳
郝元洁
王梓溦
李解
吴伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202110861261.2A priority Critical patent/CN113591685B/zh
Publication of CN113591685A publication Critical patent/CN113591685A/zh
Application granted granted Critical
Publication of CN113591685B publication Critical patent/CN113591685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多尺度池化的地理对象空间关系识别方法及系统，构建了地理对象空间关系识别网络，在提取地理对象节点的掩膜图后，对各个节点的掩膜分别进行多尺度的空间金字塔池化，然后将不同尺度的空间位置特征编码为一维向量并进行特征融合，接着将两两节点融合后的位置特征向量相减得到初始距离特征，然后输入第一个MLP模块得到节点之间的距离特征向量，再输入第二个MLP模块获得节点之间的空间金字塔距离，最后构建地理对象空间关系矩阵，可以快速为图神经网络提供可靠的输入，使图神经网络达到更优的分类效果。

Description

一种基于多尺度池化的地理对象空间关系识别方法及系统
技术领域
本发明涉及灾害场景的遥感影像识别领域，尤其涉及一种基于多尺度池化的地理对象空间关系识别方法及系统。
背景技术
自然灾害频发不仅对自然环境造成了不可磨灭的破坏，也间接影响了受灾地区周边人群的生活质量。如何高效、精确的进行灾害场景的遥感影像识别一直都是重点关注领域。
现有技术中，地理对象节点间的空间相关性目前主要以基于地理对象质心的欧式距离和一般性的拓普关系来表示，其算法复杂度较高，且实现较为困难。此外，经典的欧式距离算法只考虑了对象间质心的空间距离，无法考虑对象的掩膜的相关特征，因此区分效果不佳。
发明内容
本发明提出一种基于多尺度池化的地理对象空间关系识别方法及系统，用于解决或者至少部分解决灾害场景下地理对象空间关系识别中区分效果不佳的技术问题。
为了解决上述技术问题，本发明第一方面提供了一种基于多尺度池化的地理对象空间关系识别方法，包括：
S1：获取灾害场景下的原始遥感影像，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图；
S2：构建地理对象空间关系识别网络，其中，地理对象空间关系识别网络包括金字塔编码模块，金字塔编码模块包括：平均值池化层、特征融合模块、初始距离获得模块、两个多层感知模块以及线性变换层，平均值池化层用于对输入的地理对象节点掩膜图进行多尺度的空间金字塔池化，得到不同尺度的空间位置特征，特征融合模块用于对不同尺度的空间位置特征编码为一维向量并进行特征融合，得到初始特征向量，初始距离获得模块用于根据两个不同地理对象节点的初始特征向量的差获得初始距离特征向量，第一个多层感知模块用于根据初始距离向量获得两个不同地理对象节点之间的距离特征向量，第二个多层感知模块，用于根据两个不同地理对象节点之间的距离特征向量获得两个地理对象节点之间空间金字塔距离，线性变换层用于根据两个地理对象节点之间空间金字塔距离，构造不同地理对象节点之间的邻接矩阵，其中，邻接矩阵用以存储不同地理对象节点之间的空间金字塔距离；
S3：将提取出的地理对象节点的掩膜图为训练数据对地理对象空间关系识别网络进行训练，利用神经网络反向传播算法更新网络参数，最小化损失函数直到损失函数收敛，保存网络参数，得到训练好的地理对象空间关系识别网络；
S4：利用地理对象空间关系识别网络进行地理对象空间关系识别。
在一种实施方式中，步骤S1中，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图，包括：
S1.1：对原始遥感影像进行几何校正、拼接裁剪操作，并选取研究区域；
S1.2：根据选取的研究区域确定样本区域，按照地物不同的功能和类型，进行人工矢量化标注；
S1.3：将矢量化标注结果转化为相同大小的栅格灰度图；
S1.4：选取样本框并对遥感影像和转化后的栅格灰度图进行切割，选用的样本框的尺寸大小为224x224，得到影像图patch块和灰度图patch块；
S1.5：针对每个样本的影像图patch块和灰度图patch块利用开源的多尺度区域生长超像素分割算法获得每张影像对应的节点掩膜分割图，掩膜分割图尺寸大小为56x56。
在一种实施方式中，平均值池化层的处理过程包括：
将地理对象节点i的掩膜图进行不同尺度的平均值池化层得到空间位置特征，将地理对象节点l的掩膜图进行不同尺度的平均值池化层得到空间位置特征，其中，在进行平均池化时，池化的值乘以一个比例系数后得到对应尺度的空间位置特征，比例系数为节点i的掩膜与节点j的掩膜面积比，比例系数用以表示空间掩膜整体面积的语义。
在一种实施方式中，空间位置特征为不同尺度的空间位置特征，特征融合模块的处理过程包括：
将地理对象节点不同尺度的空间位置特征展开成一维特征向量；
对不同尺度的空间位置特征对应的一维特征向量进行融合，得到初始特征向量。
在一种实施方式中，线性变换层的处理过程包括：
获取不同地理对象节点间的空间金字塔距离；
对空间金字塔距离采用线性函数变换，获取空间邻接关系权值；
连接各个不同地理对象节点间邻接关系权值，构造不同地理对象节点之间的邻接矩阵。
基于同样的发明构思，本发明第二方面提供了一种基于多尺度池化的地理对象空间关系识别系统，包括：
数据获取模块，用于获取灾害场景下的原始遥感影像，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图；
网络构建模块，用于构建地理对象空间关系识别网络，其中，地理对象空间关系识别网络包括金字塔编码模块，金字塔编码模块包括：平均值池化层、特征融合模块、初始距离获得模块、两个多层感知模块以及线性变换层，平均值池化层用于对输入的地理对象节点掩膜图进行多尺度的空间金字塔池化，得到不同尺度的空间位置特征，特征融合模块用于对不同尺度的空间位置特征编码为一维向量并进行特征融合，得到初始特征向量，初始距离获得模块用于根据两个不同地理对象节点的初始特征向量的差获得初始距离特征向量，第一个多层感知模块用于根据初始距离向量获得两个不同地理对象节点之间的距离特征向量，第二个多层感知模块，用于根据两个不同地理对象节点之间的距离特征向量获得两个地理对象节点之间空间金字塔距离，线性变换层用于根据两个地理对象节点之间空间金字塔距离，构造不同地理对象节点之间的邻接矩阵，其中，邻接矩阵用以存储不同地理对象节点之间的空间金字塔距离；
网络训练模块，用于将提取出的地理对象节点的掩膜图为训练数据对地理对象空间关系识别网络进行训练，利用神经网络反向传播算法更新网络参数，最小化损失函数直到损失函数收敛，保存网络参数，得到训练好的地理对象空间关系识别网络；
空间关系识别模块，用于利用地理对象空间关系识别网络进行地理对象空间关系识别。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种基于多尺度池化的地理对象空间关系识别方法，构建了地理对象空间关系识别网络，通过该识别网络的金字塔编码模块可以得到不同地理对象节点之间的金字塔距离，具体包括通过平均池化得到节点不同尺度下的空间位置特征，然后将不同尺度下的空间位置特征分别编码为一维向量，接着进行融合，得到不同尺度的初始特征向量(表示初始空间特征的向量)，然后将两个对象节点的位置特征相减以获得初始距离特征，初始距离特征经过第一个MLP模块后得到节点两两之间的距离特征向量，再经过第二个MLP模块获得两两节点之间的空间金字塔距离值，最后经过线性变换层得到存储不同地理对象节点之间的空间金字塔距离的邻接矩阵。由于采用了金字塔编码模块，可以得到表示两个对象空间距离的金字塔距离，可以改善空间关系的识别效果。
进一步地，在进行多尺度池化时采用池化核中对象掩膜的面积占比来计算池化值(空间位置特征)，因此包含了对象面积这些更丰富的语义，有利于改善识别的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明构建的空间关系识别网络的处理流程图；
图2为本发明实施例中对应的金字塔距离与欧式距离，空间拓扑关系的效果对比示意图；
图3是本发明实施例中地理对象节点的掩膜图生成流程图。
具体实施方式
本申请发明人通过大量的研究与实践发现：现有技术中，地理对象节点间的空间相关性目前主要以基于地理对象质心的欧式距离和一般性的拓普关系来表示，其算法复杂度较高，且实现较为困难。此外，经典的欧式距离算法只考虑了对象间质心的空间距离，无法考虑对象的掩膜面积大小等特征。当存在面积大小不同的两两对象质心距离相同且一般空间关系均为空间相离时，则无法区分两种情况。而基于图神经网络模型(如图卷积神经网络GCN，图注意力神经网络GAT)的遥感影像识别，它将地理对象作为输入节点，在网络训练时为实现更好的分类效果，需要计算数据中不同对象的空间相关性，即空间邻接关系，因此如何更合理准确的识别对象间的空间相关性成了一个重要问题，现有技术中急需一个易于实现且区分效果更好的方法来表示地理对象节点的空间相关性。
基于以上考虑，本发明提供了一种基于多尺度池化的地理对象空间关系识别方法，该方法首先获取地理对象节点的掩膜图，然后构建地理对象空间关系识别网络，接着对网络进行训练，最后利用训练好的网络进行空间关系识别，其中，构建的地理对象空间关系网络对地理对象节点的掩膜进行多尺度金字塔位置池化，特征融合、特征相减、MLP训练，最后得到节点两两之间的空间金字塔距离，并构造了对象之间的空间邻接关系矩阵。该方法可以快速为图神经网络提供可靠的输入，使图神经网络达到更优的分类效果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于多尺度池化的地理对象空间关系识别方法，其包括：
S1：获取灾害场景下的原始遥感影像，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图；
S2：构建地理对象空间关系识别网络，其中，地理对象空间关系识别网络包括金字塔编码模块，金字塔编码模块包括：平均值池化层、特征融合模块、初始距离获得模块、两个多层感知模块以及线性变换层，平均值池化层用于对输入的地理对象节点掩膜图进行多尺度的空间金字塔池化，得到不同尺度的空间位置特征，特征融合模块用于对不同尺度的空间位置特征编码为一维向量并进行特征融合，得到初始特征向量，初始距离获得模块用于根据两个不同地理对象节点的初始特征向量的差获得初始距离特征向量，第一个多层感知模块用于根据初始距离向量获得两个不同地理对象节点之间的距离特征向量，第二个多层感知模块，用于根据两个不同地理对象节点之间的距离特征向量获得两个地理对象节点之间空间金字塔距离，线性变换层用于根据两个地理对象节点之间空间金字塔距离，构造不同地理对象节点之间的邻接矩阵，其中，邻接矩阵用以存储不同地理对象节点之间的空间金字塔距离；
S3：将提取出的地理对象节点的掩膜图为训练数据对地理对象空间关系识别网络进行训练，利用神经网络反向传播算法更新网络参数，最小化损失函数直到损失函数收敛，保存网络参数，得到训练好的地理对象空间关系识别网络；
S4：利用地理对象空间关系识别网络进行地理对象空间关系识别。
具体来说，本申请法主要针对地理对象的空间相关性识别，在节点相关性方面，地理对象的空间关系与普通节点空间关系的区别在于：地理对象不包含相交，包含等空间关系。
本申请构建的地理对象空间关系识别网络，每次输入两个地理对象节点，计算空间金字塔距离后，构建金字塔距离矩阵(邻接矩阵)，与现有的以多节点为输入构造邻接矩阵的方法相比，计算成本代价小，且较易实现。
与现有的语义分割方法中采用两个简单的相同的全连接层相比，本方案采用了两个不同参数的MLP模块，该网络均需单独训练，其产生的作用也不同，此外，本发明针对灾害场景下的遥感影像，场景信息更明确，在相同的训练下效果更好。
在一种实施方式中，步骤S1中，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图，包括：
S1.1：对原始遥感影像进行几何校正、拼接裁剪操作，并选取研究区域；
S1.2：根据选取的研究区域确定样本区域，按照地物不同的功能和类型，进行人工矢量化标注；
S1.3：将矢量化标注结果转化为相同大小的栅格灰度图；
S1.4：选取样本框并对遥感影像和转化后的栅格灰度图进行切割，选用的样本框的尺寸大小为224x224，得到影像图patch块和灰度图patch块；
S1.5：针对每个样本的影像图patch块和灰度图patch块利用开源的多尺度区域生长超像素分割算法获得每张影像对应的节点掩膜分割图，掩膜分割图尺寸大小为56x56。
具体来说，请参见图3，为地理对象节点的掩膜图生成流程图。
具体示例中，获取的原始遥感影像为2008年四川省汶川县及周边地区QuickBird高分辨率遥感数据，掩膜图的生成流程包括：
1、获取2008年四川省汶川县及周边地区QuickBird高分辨率遥感数据(分辨率大小为0.6米)；
2、利用基于辐射传输模型对其进行大气校正，然后再进行几何校正，最后对校正后的影像进行拼接裁剪操作；
3、选取典型特征区域作为样本区域，按照地物不同的功能和类型，进行人工矢量化标注
4、将矢量化标注结果转化为相同大小的栅格灰度图；
5、选取样本框并对遥感影像和转化后的灰度图进行切割，选用的样本框的尺寸大小为224x224，得到影像图patch块和灰度图patch块；
6、针对每个样本patch,利用开源的多尺度区域生长超像素分割算法获得每张影像对应的对象掩膜分割图，掩膜分割图尺寸为56x56。
在一种实施方式中，平均值池化层的处理过程包括：
将地理对象节点i的掩膜图进行不同尺度的平均值池化层得到空间位置特征，将地理对象节点l的掩膜图进行不同尺度的平均值池化层得到空间位置特征，其中，在进行平均池化时，池化的值乘以一个比例系数后得到对应尺度的空间位置特征，比例系数为节点i的掩膜与节点j的掩膜面积比，比例系数用以表示空间掩膜整体面积的语义。
具体实施过程中，不同尺度包括28×28、14×14和7×7。下面以两个不同地理对象节点i和j为例，说明不同尺度金字塔池化的实现过程：
将节点i掩膜经过28×28的平均值池化层得到空间位置特征
Figure BDA0003185702650000071
将节点i掩膜经过14×14的平均值池化层得到空间位置特征
Figure BDA0003185702650000072
将节点i掩膜经过7×7的平均值池化层得到空间位置特征
Figure BDA0003185702650000081
(其中空间位置特征
Figure BDA0003185702650000082
和
Figure BDA0003185702650000083
分别为池化值乘以对应的比例系数后得到的结果，可以用数据来表示)；
同理，节点j进行相同的操作得到对应尺度下的空间位置特征
Figure BDA0003185702650000084
本发明的方法与GIS或其他神经网络中的空间关系分析方法相比，使用了池化核中对象掩膜的面积占比来计算池化值，因此它在一定程度上包含了对象面积这些更丰富的语义；其与GIS中基于对象之间的质心距离的传统方法不同，其算法简单，易于实现；与其他基于目标检测神经网络的空间关系识别算法相比，它不需要复杂的计算，从而降低了网络压力，因此能够提高泛化能力。综合来说，该方法可以有效地构造节点之间的邻接矩阵，并快速为图神经网络提供可靠的输入。
在一种实施方式中，空间位置特征为不同尺度的空间位置特征，特征融合模块的处理过程包括：
将地理对象节点不同尺度的空间位置特征展开成一维特征向量；
对不同尺度的空间位置特征对应的一维特征向量进行融合，得到初始特征向量。
具体实施过程中，特征融合即为concatenate操作，对节点i的空间位置特征
Figure BDA0003185702650000085
和
Figure BDA0003185702650000086
进行展开后，进行concatenate操作，得到初始特征向量ei，对象j进行相同的操作。
在得到节点i的初始特征向量ei，节点j的初始特征向量ej之后，则用特征向量ei减去特征向量ej，得到初始距离特征向量。获取初始距离特征向量vij。将特征向量vij输入至第一个MLP模块，输出节点i，j之间的距离特征向量sp_vecij将距离特征向量sp_vecij输入至第二个MLP模块，输出节点i，j之间的空间金字塔距离SP_Valij。
在一种实施方式中，线性变换层的处理过程包括：
获取不同地理对象节点间的空间金字塔距离；
对空间金字塔距离采用线性函数变换，获取空间邻接关系权值；
连接各个不同地理对象节点间邻接关系权值，构造不同地理对象节点之间的邻接矩阵。
下面通过具体的示例对本发明构建的网络以及提供的方法进行详细说明。
请参见图1，为本发明构建的空间关系识别网络的处理流程图，包括：
A1，获取地理对象节点的掩膜图；
A2，对两个地理对象节点的掩膜分别进行多尺度的空间金字塔池化；
A3，将不同尺度的空间位置特征编码为一维向量并进行特征融合；
A4，将两两节点融合后的位置特征向量相减得到初始距离特征；
A5，输入第一个MLP模块(多层感知模块)得到节点之间的距离特征向量；
A6，输入第二个MLP模块获得节点之间的空间金字塔距离；
A7，构建地理对象空间关系矩阵。
空间关系识别网络首先以对象两两之间的掩模图(N×N)×W/4×H/4×2作为输入。然后，基于金字塔位置编码方法后，得到在不同尺度下的空间位置特征。为了融合这些特征，将它们分别编码为一维向量，得到融合了不同空间尺度的位置特征InitialFeatures，然后，将两个对象的位置特征相减以获得初始距离特征，该特征经过第一个MLP模块后得到节点两两之间的距离特征向量Sp_Vec，再经过第二个MLP模块获得两两节点之间的空间金字塔距离值Sp_val，最后采用concat连接和线性变换构建了空间邻接关系矩阵SPR_matrix。具体详细步骤如A1-A7所示。其中，MLP为多层感知器，其核心架构是一个全连接的网络结构，中间可以包含多个隐藏层，将值输入至网络中，通过中间层(隐藏层)网络参数的计算，最终获得输出的结果，本实施例的方法最后得出的结果为空间邻接关系值(1,2,3)。
其中，本发明构建的空间关系识别网络具体如下特点：
1.在计算距离特征时采用的MLP模块为多层感知神经网络，第一个MLP模块为最简单的MLP结构，包含一个隐藏层，输出通道数为C，在本实施例中C为值为32，第二个MLP模块内含两个隐藏层，输出通道数为3；两个MLP模块的隐藏层数量存在不同；
2.采用两个MLP模块的好处是可以减少参数量并提升网络深度，且易于训练；在实验中可以发现：相同参数量的情况下后者的网络深度更深，空间关系识别效果更好。
在本实施例研究区的数据集中，该方法的整体准确性基本都达到了80％以上，可以基本描述对象之间的空间距离。因此，它可以为后续的地理对象节点分类提供有利的基础。现有的方法可以计算出单个掩膜的值，没有计算掩膜的差值，本发明的方法则每次用两个掩膜作为输入，通过四叉树编码规则计算了掩膜的初始距离特征值，四叉树编码规则为一个将二维序列编码为一维序列的编码方式，即二维向量展开为一维向量。
图2为本发明实施例中对应的金字塔距离与欧式距离，空间拓扑关系的效果对比示意图；在实例中，本发明的方法根据三种不同的值来离散地描述地理对象之间的空间距离，其中1表示空间邻接，2表示空间间隔(近)，3表示空间间隔(远)。单个掩膜为一个二值分布图(白色区域为1，黑色区域为0)，图例为左上角的掩膜图减去右下角的掩膜图，最终得到的是一个二维的矩阵(含负值)。掩膜仅包含0和1值，在每一个池化核通过计算每个掩膜中含1值的栅格占栅格的总数的比值来计算，如图2例1的第一个池化核中值为0.08，代表该池化核中有8％的值为1的栅格。图2与表1展示了实例对应的金字塔距离与欧式距离，空间拓扑关系的效果对比。示例I为空间金字塔距离为2的两个对象三种尺度下的编码距离，示例II为空间金字塔距离为1的两个对象三种尺度下的编码距离。下表为空间金字塔距离编码与基于对象质心的欧式距离以及一般性的空间拓扑关系对比：
表1空间金字塔距离编码向量
Figure BDA0003185702650000101
由表可知，示例I中两个对象的距离与示例II中两个对象质心的欧式距离(图中斜线)完全相等，均为36.8，而且两个示例中的一般性空间关系均为空间相离。如果考虑GIS中通过对象质心的欧式距离或者对象间的一般性空间关系，则无法将两种情况区分。而金字塔池化编码由于利用平均值池化考虑了对象面积大小的语义，所以两种情况的距离编码向量存在着很大差异。通过观察不同尺度池化后的距离编码向量，可以看出，示例I经过金字塔池化编码之后的距离向量绝对值基本较小；而示例II经过金字塔池化编码之后的距离向量绝对值相对较大，两种情况差异明显，因此后续很容易将两种金字塔距离识别出来，可以提高区分的效果。综合来说，本发明的方法与GIS或其他神经网络中的空间关系分析方法相比的优势主要在于：
1)其使用了池化核中对象掩膜的面积占比来计算池化值，因此它在一定程度上包含了对象面积这些更丰富的语义；
2)其与GIS中基于对象之间的质心距离的传统方法不同，其方法简单，易于实现；
3)与其他基于目标检测神经网络的空间关系识别方法相比，它不需要复杂的计算，从而降低了网络压力，因此能够提高泛化能力。
因此，该方法可以有效地构造节点之间的邻接矩阵，并快速为图神经网络提供可靠的输入，其中基于图神经网络模型的遥感影像识别方法中，将地理对象作为输入节点，在网络训练时需要计算数据中不同节点的空间相关性，本发明提供的空间相关性识别网络为图神经网络提供对象之间的邻接矩阵。
实施例二
基于同样的发明构思，本实施例提供了一种基于多尺度池化的地理对象空间关系识别系统，包括：
数据获取模块，用于获取灾害场景下的原始遥感影像，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图；
网络构建模块，用于构建地理对象空间关系识别网络，其中，地理对象空间关系识别网络包括金字塔编码模块，金字塔编码模块包括：平均值池化层、特征融合模块、初始距离获得模块、两个多层感知模块以及线性变换层，平均值池化层用于对输入的地理对象节点掩膜图进行多尺度的空间金字塔池化，得到不同尺度的空间位置特征，特征融合模块用于对不同尺度的空间位置特征编码为一维向量并进行特征融合，得到初始特征向量，初始距离获得模块用于根据两个不同地理对象节点的初始特征向量的差获得初始距离特征向量，第一个多层感知模块用于根据初始距离向量获得两个不同地理对象节点之间的距离特征向量，第二个多层感知模块，用于根据两个不同地理对象节点之间的距离特征向量获得两个地理对象节点之间空间金字塔距离，线性变换层用于根据两个地理对象节点之间空间金字塔距离，构造不同地理对象节点之间的邻接矩阵，其中，邻接矩阵用以存储不同地理对象节点之间的空间金字塔距离；
网络训练模块，用于将提取出的地理对象节点的掩膜图为训练数据对地理对象空间关系识别网络进行训练，利用神经网络反向传播算法更新网络参数，最小化损失函数直到损失函数收敛，保存网络参数，得到训练好的地理对象空间关系识别网络；
空间关系识别模块，用于利用地理对象空间关系识别网络进行地理对象空间关系识别。
由于本发明实施例二所介绍的系统，为实施本发明实施例一中基于多尺度池化的地理对象空间关系识别方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属技术人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于多尺度池化的地理对象空间关系识别方法，其特征在于，包括：
S1：获取灾害场景下的原始遥感影像，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图；
S2：构建地理对象空间关系识别网络，其中，地理对象空间关系识别网络包括金字塔编码模块，金字塔编码模块包括：平均值池化层、特征融合模块、初始距离获得模块、两个多层感知模块以及线性变换层，平均值池化层用于对输入的地理对象节点掩膜图进行多尺度的空间金字塔池化，得到不同尺度的空间位置特征，特征融合模块用于对不同尺度的空间位置特征编码为一维向量并进行特征融合，得到初始特征向量，初始距离获得模块用于根据两个不同地理对象节点的初始特征向量的差获得初始距离特征向量，第一个多层感知模块用于根据初始距离向量获得两个不同地理对象节点之间的距离特征向量，第二个多层感知模块，用于根据两个不同地理对象节点之间的距离特征向量获得两个地理对象节点之间空间金字塔距离，线性变换层用于根据两个地理对象节点之间空间金字塔距离，构造不同地理对象节点之间的邻接矩阵，其中，邻接矩阵用以存储不同地理对象节点之间的空间金字塔距离；
S3：将提取出的地理对象节点的掩膜图为训练数据对地理对象空间关系识别网络进行训练，利用神经网络反向传播算法更新网络参数，最小化损失函数直到损失函数收敛，保存网络参数，得到训练好的地理对象空间关系识别网络；
S4：利用地理对象空间关系识别网络进行地理对象空间关系识别。
2.如权利要求1所述的地理对象空间关系识别方法，其特征在于，步骤S1中，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图，包括：
S1.1：对原始遥感影像进行几何校正、拼接裁剪操作，并选取研究区域；
S1.2：根据选取的研究区域确定样本区域，按照地物不同的功能和类型，进行人工矢量化标注；
S1.3：将矢量化标注结果转化为相同大小的栅格灰度图；
S1.4：选取样本框并对遥感影像和转化后的栅格灰度图进行切割，选用的样本框的尺寸大小为224x 224，得到影像图patch块和灰度图patch块；
S1.5：针对每个样本的影像图patch块和灰度图patch块利用开源的多尺度区域生长超像素分割算法获得每张影像对应的节点掩膜分割图，掩膜分割图尺寸大小为56x 56。
3.如权利要求1所述的地理对象空间关系识别方法，其特征在于，平均值池化层的处理过程包括：
将地理对象节点i的掩膜图进行不同尺度的平均值池化层得到空间位置特征，将地理对象节点l的掩膜图进行不同尺度的平均值池化层得到空间位置特征，其中，在进行平均池化时，池化的值乘以一个比例系数后得到对应尺度的空间位置特征，比例系数为节点i的掩膜与节点j的掩膜面积比，比例系数用以表示空间掩膜整体面积的语义。
4.如权利要求1所述的地理对象空间关系识别方法，其特征在于，空间位置特征为不同尺度的空间位置特征，特征融合模块的处理过程包括：
将地理对象节点不同尺度的空间位置特征展开成一维特征向量；
对不同尺度的空间位置特征对应的一维特征向量进行融合，得到初始特征向量。
5.如权利要求1所述的地理对象空间关系识别方法，其特征在于，线性变换层的处理过程包括：
获取不同地理对象节点间的空间金字塔距离；
对空间金字塔距离采用线性函数变换，获取空间邻接关系权值；
连接各个不同地理对象节点间邻接关系权值，构造不同地理对象节点之间的邻接矩阵。
6.一种基于多尺度池化的地理对象空间关系识别系统，其特征在于，包括：
数据获取模块，用于获取灾害场景下的原始遥感影像，对获取的原始遥感影像进行预处理，提取出地理对象节点的掩膜图；
网络构建模块，用于构建地理对象空间关系识别网络，其中，地理对象空间关系识别网络包括金字塔编码模块，金字塔编码模块包括：平均值池化层、特征融合模块、初始距离获得模块、两个多层感知模块以及线性变换层，平均值池化层用于对输入的地理对象节点掩膜图进行多尺度的空间金字塔池化，得到不同尺度的空间位置特征，特征融合模块用于对不同尺度的空间位置特征编码为一维向量并进行特征融合，得到初始特征向量，初始距离获得模块用于根据两个不同地理对象节点的初始特征向量的差获得初始距离特征向量，第一个多层感知模块用于根据初始距离向量获得两个不同地理对象节点之间的距离特征向量，第二个多层感知模块，用于根据两个不同地理对象节点之间的距离特征向量获得两个地理对象节点之间空间金字塔距离，线性变换层用于根据两个地理对象节点之间空间金字塔距离，构造不同地理对象节点之间的邻接矩阵，其中，邻接矩阵用以存储不同地理对象节点之间的空间金字塔距离；
网络训练模块，用于将提取出的地理对象节点的掩膜图为训练数据对地理对象空间关系识别网络进行训练，利用神经网络反向传播算法更新网络参数，最小化损失函数直到损失函数收敛，保存网络参数，得到训练好的地理对象空间关系识别网络；
空间关系识别模块，用于利用地理对象空间关系识别网络进行地理对象空间关系识别。
CN202110861261.2A 2021-07-29 2021-07-29 一种基于多尺度池化的地理对象空间关系识别方法及系统 Active CN113591685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110861261.2A CN113591685B (zh) 2021-07-29 2021-07-29 一种基于多尺度池化的地理对象空间关系识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110861261.2A CN113591685B (zh) 2021-07-29 2021-07-29 一种基于多尺度池化的地理对象空间关系识别方法及系统

Publications (2)

Publication Number Publication Date
CN113591685A true CN113591685A (zh) 2021-11-02
CN113591685B CN113591685B (zh) 2023-10-27

Family

ID=78251539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110861261.2A Active CN113591685B (zh) 2021-07-29 2021-07-29 一种基于多尺度池化的地理对象空间关系识别方法及系统

Country Status (1)

Country Link
CN (1) CN113591685B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049026A (zh) * 2022-08-17 2022-09-13 中国海洋大学 基于gsnnr的空间非平稳性关系的回归分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104056A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing
CN108776777A (zh) * 2018-05-25 2018-11-09 武汉理工大学 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN110490081A (zh) * 2019-07-22 2019-11-22 武汉理工大学 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
CN112183432A (zh) * 2020-10-12 2021-01-05 中国科学院空天信息创新研究院 一种基于中分辨率sar图像的建筑区提取方法以及系统
CN112991350A (zh) * 2021-02-18 2021-06-18 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104056A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Spatial pyramid pooling networks for image processing
CN108776777A (zh) * 2018-05-25 2018-11-09 武汉理工大学 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN110490081A (zh) * 2019-07-22 2019-11-22 武汉理工大学 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
CN112183432A (zh) * 2020-10-12 2021-01-05 中国科学院空天信息创新研究院 一种基于中分辨率sar图像的建筑区提取方法以及系统
CN112991350A (zh) * 2021-02-18 2021-06-18 西安电子科技大学 一种基于模态差异缩减的rgb-t图像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔巍;李荣;姚志武;陈建斌;汤世明;李清清;: "基于分维的遥感影像最佳分割尺度研究", 武汉理工大学学报, no. 12, pages 83 - 86 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049026A (zh) * 2022-08-17 2022-09-13 中国海洋大学 基于gsnnr的空间非平稳性关系的回归分析方法

Also Published As

Publication number Publication date
CN113591685B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN112101165B (zh) 兴趣点识别方法、装置、计算机设备和存储介质
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN110569901B (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN107967454B (zh) 顾及空间邻域关系的双路卷积神经网络遥感分类方法
CN108805280B (zh) 一种图像检索的方法和装置
CN115393404A (zh) 双光图像配准方法、装置及设备、存储介质
CN116645579A (zh) 一种基于异质图注意力机制的特征融合方法
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN115830179A (zh) 一种类别无关的遥感地物矢量拓扑结构提取方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN109886206B (zh) 一种三维物体识别方法及设备
CN113591685A (zh) 一种基于多尺度池化的地理对象空间关系识别方法及系统
CN114037743A (zh) 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN110348395B (zh) 一种基于时空关系的骨架行为识别方法
WO2023222643A1 (en) Method for image segmentation matching
CN111709945B (zh) 一种基于深度局部特征的视频拷贝检测方法
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN113326790A (zh) 基于异常检测思维的胶囊机器人排水管病害检测方法
Cao et al. Understanding 3D point cloud deep neural networks by visualization techniques
CN112801138A (zh) 基于人体拓扑结构对齐的多人姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant