CN114882292B - 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 - Google Patents

基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 Download PDF

Info

Publication number
CN114882292B
CN114882292B CN202210609751.8A CN202210609751A CN114882292B CN 114882292 B CN114882292 B CN 114882292B CN 202210609751 A CN202210609751 A CN 202210609751A CN 114882292 B CN114882292 B CN 114882292B
Authority
CN
China
Prior art keywords
sample
remote sensing
super
cross
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210609751.8A
Other languages
English (en)
Other versions
CN114882292A (zh
Inventor
崔巍
赵慧琳
夏聪
王锦
续兴
冯湛芸
陈佳乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202210609751.8A priority Critical patent/CN114882292B/zh
Publication of CN114882292A publication Critical patent/CN114882292A/zh
Application granted granted Critical
Publication of CN114882292B publication Critical patent/CN114882292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，该方法包括如下步骤：获取数据；数据预处理；超像素分割；影像解译；样本制作；数据集生成；网络构建；CSGAN训练；验证分析。本发明的目的是提供一种方法，可以充分利用遥感对象的语义信息，通过跨样本关注机制聚合来自不同样本的遥感对象语义信息，以实现遥感影像中海洋目标的识别提取。

Description

基于跨样本关注机制图神经网络的遥感影像海洋目标识别 方法
技术领域
本发明涉及海洋目标识别技术领域，尤其涉及一种基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法。
背景技术
现有的遥感影像解译体系和方法往往侧重于对陆地地物的观测，对于海洋与近海地物的识别研究较少。近海海面往往分布有岛屿、船只等多种不同类型的地物，这些地物与陆地地物的形态分布特征不同，往往不能直接使用陆地地物识别方法进行研究，因此需要针对海洋目标采取针对性的识别研究。船舶作为海上的主要分布地物，是海上遥感监测的重点关注对象，基于遥感影像的海上船舶对象解译识别一直是海洋遥感领域的研究热点。
伴随着人工智能技术的发展，深度学习方法在遥感影像解译中的应用日趋成熟，使用卷积神经网络进行高分辨率遥感影像识别成为研究热点。基于各种多种关注机制的卷积神经网络可以较为准确地提取影像一定区域内的陆地遥感信息，但海洋目标在遥感影像中分布与陆地不同，现有的方法在海洋目标的识别过程中仍然存在以下问题：
1)缺少遥感对象语义关系：传统的卷积神经网络以像素为基本单元，通过卷积窗口对邻域进行信息处理。这种方式没有充分考虑遥感对象间的空间关系，遥感对象间的隐式联系没有得到充分利用，因此会对遥感影像解译产生影响。
2)单一样本感受野不足：在计算机视觉领域中，单一图像中的对象尺寸差别较小，因此不需要考虑尺度效应。但在遥感影像中，实际地物分布的尺寸差异较大，尤其对于海洋目标，不同船只、建筑、岛屿的尺寸差异大，使用单一尺寸特征或单一样本，往往不能满足所有对象的分类需求。
发明内容
本发明提供一种基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，用以解决或者至少部分解决现有技术中存在的识别效果不佳的技术问题。
本发明公开了基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，包括：
S1：采集预设研究区域的高分辨率遥感影像；
S2：对采集的高分辨率遥感影像进行预处理；
S3：对预处理后的高分辨率遥感影像进行超像素分割，得到矢量超像素分割数据，其中，矢量超像素分割数据包含ID；
S4：对得到的矢量超像素分割数据进行标注和栅格化，得到标注图像数据；根据矢量超像素分割数据的ID对超像素进行栅格化，得到对象掩膜图像数据；
S5：对预设研究区域的预处理后的高分辨率遥感影像、标注图像数据以及超像素对象序号掩膜图像数据进行裁剪取样，构建遥感影像样本，并进行分组，其中，每一组遥感影像样本包括一个中心样本和四个边缘样本；
S6：生成的遥感影像样本按照预设比例划分为训练集、验证集和测试集；
S7：搭建基于跨样本关注机制的图神经网络模型，该网络模型包括骨干网络、图内关注模块、跨样本关注模块以及输出模块，其中，骨干网络用于从输入的数据中提取影像特征，图内关注模块用于将影像特征与对象掩膜进行叠加生成图节点特征，并使用图关注机制进行样本内的语义信息关注；跨样本关注模块用于根据样本内的语义信息关注将中心样本与每一个边缘样本进行跨样本关注，得到最终的节点特征，输出模块用于根据最终的节点特征得到超像素分类结果，并将超像素分类结果与超像素对象掩膜进行叠加，得到整个样本图像的语义分割结果；
S8：利用划分的训练集对基于跨样本关注机制的图神经网络模型进行训练，得到训练好的模型；
S9：利用训练好的模型进行遥感影像海洋目标识别。
在一种实施方式中，步骤S2包括：使用专业软件对采集的高分辨率遥感影像进行预处理，包括拼接裁剪、辐射定标、几何校正、大气校正。
在一种实施方式中，步骤S3包括：使用软件对预处理后的高分辨率遥感影像进行超像素分割。
在一种实施方式中，步骤S4中对得到的矢量超像素分割数据进行标注和栅格化，得到标注图像数据，包括：
对得到的矢量超像素分割数据进行标注，得到标注结果，包括在预设研究区域中的影像中每个超像素所对应的地物类别和编号；
基于标注结果，将超像素按照标注类别进行栅格化，得到标注图像数据，其中标注图像数据中的每个像素值表示该区域所属的地物类别编号。
在一种实施方式中，步骤S4中根据矢量超像素分割数据的ID对超像素进行栅格化，得到对象掩膜图像数据，包括：
对矢量超像素分割数据的ID进行排序，得到超像素的序号；
将超像素按照超像素序号进行栅格化，得到对象掩膜图像数据，其中，对象掩膜图像数据中每个像素值表示该研究区域所属的超像素的序号。
在一种实施方式中，图内关注模块使用图关注机制进行样本内的语义信息关注，包括：
计算两两图节点间的余弦相似度；
根据余弦相似度得到相似度关注权重；
将相似度关注权重与图节点特征进行矩阵叉乘，得到样本内的语义信息关注结果，其中样本内的语义信息关注结果中聚合了同一样本中包含的不同超像素对象的信息。
在一种实施方式中，跨样本关注模块根据样本内的语义信息关注将中心样本与每一个边缘样本进行跨样本关注，得到超像素分类结果，包括：
根据中心样本和边缘样本的像素交并比，获得中心样本对象与边缘样本对象的邻接关注权重；
根据相似度关注权重与邻接关注权重得到跨样本关注权重；
根据跨样本关注权重与图内关注模块生成的特征，得到聚合有边缘样本信息的中心样本的节点特征；
根据得到的聚合有边缘样本信息的中心样本的节点特征，得到最终的节点特征。
在一种实施方式中，所述方法还包括：利用测试集对训练好的模型进行测试。
相对于现有技术，本发明的优点和有益的技术效果如下：
本发明提供的一种基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，构建了基于跨样本关注机制的图神经网络模型，该网络模型采用了图神经网络GCN的结构，基于超像素进行语义分类，并加入了图关注机制GAT，以对遥感对象间的语义关联进行建模，同时采用的跨样本关注机制，该机制可以进一步融合关注邻居样本的信息，加入扩大样本的感受野。本发明可使用图神经网络对遥感影像超像素进行语义分类，相比于卷积神经网络，大大减少了计算复杂度；同时使用了跨样本关注机制，极大提升了网络感受野，可以有效聚合来自不同样本的语义信息，实现更对不同尺度的海洋目标对象的有效识别，从而改善了识别效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法的流程图；
图2为本发明实施例中基于跨样本关注机制的图神经网络模型的结构原理图；
图3为本发明实施例中一组遥感影像样本的示意图；
图4为本发明实施例中基于跨样本关注机制的图神经网络模型的功能模块示意图；
图5为本发明实施例中样本内关注机制的示意图；
图6本发明实施例中相似度关注权重计算过程示意图；
图7本发明实施例中邻接关注权重的计算示意图；
图8本发明实施例中跨样本关注权重的计算示意图；
图9本发明实施例中模型输出模块示意图；
图10本发明实施例中部分样本在不同网络的对比显示图。
具体实施方式
本发明的目的在于提供一种基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，可以充分利用高分辨率遥感影像中的不同遥感对象、不同样本间语义信息，实现高效准确的遥感影像海洋目标识别。该方法可以学习通过对象间的语义信息，增强网络的语义表达能力，并进一步通过提取跨样本对象信息，进一步提升对象的分类精度。
本发明的主要构思和创新如下：
本发明设计了一种基于跨样本关注机制的遥感影像海洋目标识别图神经网络，称为跨样本图关注神经网络。该网络采用了图神经网络(Graph Convolutional Network,GCN)的结构，基于超像素进行语义分类，并加入了图关注机制(Graph Attention，GAT)，以对遥感对象间的语义关联进行建模，同时采用的跨样本关注机制，该机制可以进一步融合关注邻居样本的信息，加入扩大样本的感受野。本发明可使用图网络对遥感影像超像素进行语义分类，相比于卷积神经网络，大大减少了计算复杂度；同时使用了跨样本关注机制，极大提升了网络感受野，可以有效聚合来自不同样本的语义信息，实现更对不同尺度的海洋目标对象的有效识别。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，包括：
S1：采集预设研究区域的高分辨率遥感影像；
S2：对采集的高分辨率遥感影像进行预处理；
S3：对预处理后的高分辨率遥感影像进行超像素分割，得到矢量超像素分割数据，其中，矢量超像素分割数据包含ID；
S4：对得到的矢量超像素分割数据进行标注和栅格化，得到标注图像数据；根据矢量超像素分割数据的ID对超像素进行栅格化，得到对象掩膜图像数据；
S5：对预设研究区域的预处理后的高分辨率遥感影像、标注图像数据以及超像素对象序号掩膜图像数据进行裁剪取样，构建遥感影像样本，并进行分组，其中，每一组遥感影像样本包括一个中心样本和四个边缘样本；
S6：生成的遥感影像样本按照预设比例划分为训练集、验证集和测试集；
S7：搭建基于跨样本关注机制的图神经网络模型，该网络模型包括骨干网络、图内关注模块、跨样本关注模块以及输出模块，其中，骨干网络用于从输入的数据中提取影像特征，图内关注模块用于将影像特征与对象掩膜进行叠加生成图节点特征，并使用图关注机制进行样本内的语义信息关注；跨样本关注模块用于根据样本内的语义信息关注将中心样本与每一个边缘样本进行跨样本关注，得到最终的节点特征，输出模块用于根据最终的节点特征得到超像素分类结果，并将超像素分类结果与超像素对象掩膜进行叠加，得到整个样本图像的语义分割结果；
S8：利用划分的训练集对基于跨样本关注机制的图神经网络模型进行训练，得到训练好的模型；
S9：利用训练好的模型进行遥感影像海洋目标识别。
请参见图1，为本发明实施例中基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法的流程图。
步骤S1中的预设研究区域可以根据需要选取，本实例获取的是从Google Earth中沿海区域遥感影像，影像空间分辨率为0.5m。
具体实施过程中，步骤S4中可以通过python脚本将对象序号栅格图转换为对象掩膜图，每个超像素对象生成一个对象掩膜图，根据对象序号栅格图中的对象序号确定某个对象的区域，在生成的该对象掩膜图中，该对象区域为1，其余区域为0。
在S5进行样本制作时，可以使用python脚本对预设研究区域的预处理后的高分辨率遥感影像、标注图像数据以及超像素对象序号掩膜图像数据进行裁剪取样，在研究区域中随机不重叠地裁剪部分区域数据。裁剪时每组样本按照空间关系，每5个样本划分为一组，位于中心位置的样本称为中心样本，其余4个样本称为1号、2号、3号、4号边缘样本，如图3所示。具体地，根据网络模型需求与硬件环境选取224*224大小的样本切割尺度，使用python脚本对研究区域的遥感影像以及栅格灰度图按照切割尺度进行取样，切割取样结果按序号规则命名得到2000个样本数据。
S6中的预设比例可以根据实际情况进行选取，例如可以为7：1：2。
S7中使用pytorch框架搭建基于跨样本关注机制的图神经网络模型。
在步骤S8的训练过程中，需要设置合适的学习率、batch_size以及迭代次数等超参数以保证网络平稳收敛。
在一种实施方式中，步骤S2包括：使用专业软件对采集的高分辨率遥感影像进行预处理，包括拼接裁剪、辐射定标、几何校正、大气校正。
具体来说，使用的专业软件可以为ENVI。
在一种实施方式中，步骤S3包括：使用软件对预处理后的高分辨率遥感影像进行超像素分割。
具体来说，使用的软件可以为SuperSIAT软件。
在一种实施方式中，步骤S4中对得到的矢量超像素分割数据进行标注和栅格化，得到标注图像数据，包括：
对得到的矢量超像素分割数据进行标注，得到标注结果，包括在预设研究区域中的影像中每个超像素所对应的地物类别和编号；
基于标注结果，将超像素按照标注类别进行栅格化，得到标注图像数据，其中标注图像数据中的每个像素值表示该区域所属的地物类别编号。
具体来说，可以使用ArcGIS等GIS专业软件对得到的矢量超像素分割数据进行标注(解译)。
在一种实施方式中，步骤S4中根据矢量超像素分割数据的ID对超像素进行栅格化，得到对象掩膜图像数据，包括：
对矢量超像素分割数据的ID进行排序，得到超像素的序号；
将超像素按照超像素序号进行栅格化，得到对象掩膜图像数据，其中，对象掩膜图像数据中每个像素值表示该研究区域所属的超像素的序号。
在一种实施方式中，图内关注模块使用图关注机制进行样本内的语义信息关注，包括：
计算两两图节点间的余弦相似度；
根据余弦相似度得到相似度关注权重；
将相似度关注权重与图节点特征进行矩阵叉乘，得到样本内的语义信息关注结果，其中样本内的语义信息关注结果中聚合了同一样本中包含的不同超像素对象的信息。
具体来说，网络中各功能模块如图4所示。
1)骨干网络生成图像特征：选择ResNet101作为骨干网络，进行影像特征的提取。相比于其他网络，ResNet101的参数量适中，且具有较好的特征提取能力，适合作为骨干网络。
2)通过图内关注机制进行样本内特征关注：这一过程分为创建图结构数据、进行图关注生成关注后结果两部分，具体如图5所示。其中，基于跨样本关注机制的图神经网络模型的结构原理如图2所示。
a.生成节点特征：骨干网络生成的特征图形状为[H*W*C]，H、W分表表示特征图的像素长度与宽度，C表示特征图的通道数。首先将生成的特征图复制N次，得到重复的图像特征，其中N为每个样本的对象个数。然后使用样本中的各个对象掩膜矩阵与重复的图像特征进行相乘得到各个对象特征，对象特征形状为[N*H*W*C]进一步使用全局平均池化，特征进行压缩，得到节点特征[N*C]。
需要说明的是，对象掩膜矩阵是指步骤S5样本制作中生成的对象掩膜图。样本、对象节点之间的关系是：
单个样本指的是图3中的一个区域，一组样本由5个样本组成。每个样本由n个超像素对象组成，n在每个样本中的取值不同，取决于SuperSIAT软件结果。
在图关注机制之前，称为对象特征，在图关注机制之后，由于构成了图结构数据，对象被称为节点，因此得到的是节点特征。
b.图注意力机制：计算两两节点间的余弦相似度，得到相似度关注权重，权重形状为[N*N]，将相似度关注权重与节点特征进行矩阵叉乘，得到样本内的语义信息关注结果，关注结果的特征图形状与输入特征图形状相同。通过这一操作，可以将不同对象的信息互相进行聚合，特征相似度高的对象聚合过程中的权重占比高。最终加上未经处理的节点特征形成残差结构。
需要说明的是，矩阵叉乘是指矩阵的外积，相似度关注权重构成的矩阵与节点特征构成的矩阵相乘。
在一种实施方式中，跨样本关注模块根据样本内的语义信息关注将中心样本与每一个边缘样本进行跨样本关注，得到超像素分类结果，包括：
根据中心样本和边缘样本的像素交并比，获得中心样本对象与边缘样本对象的邻接关注权重；
根据相似度关注权重与邻接关注权重得到跨样本关注权重；
根据跨样本关注权重与图内关注模块生成的特征，得到聚合有边缘样本信息的中心样本的节点特征；
根据得到的聚合有边缘样本信息的中心样本的节点特征，得到最终的节点特征。
具体来说，在进行跨样本关注时，需要分别生成相似度关注权重与邻接关注权重以生成跨样本关注权重。
在GAT(图内关注机制)中，通过每个样本内的节点特征计算余弦相似度进行样本内信息聚合。在CSA中，首先通过计算不同样本间的余弦相似度生成相似度关注权重Wcos，Wcos形状为[N0*N’]，其中N0是中心样本对象个数，N’为边缘样本对象个数。相似度关注权重生成过程如图6所示。
在样本划分过程中，由于遥感对象的不规则性，常常会将同一个遥感对象划分到不同样本中，因此在样本边界左右两侧存在2个超像素属于同一个遥感对象。经过统计，在实验所用的数据集中几乎所有边界两侧对象都存在这个问题，在这一前提下，提出了基于同一对象跨样本存在的所有相邻样本邻接关注权重，其生成如图7所示，具体过程如下：
假设m1是中心样本的对象掩膜，n1是边缘样本的对象掩膜。
首先将n1镜像翻转(对于1号、2号边缘样本，采用水平镜像翻转，3号、4号则采用垂直镜像翻转)，得到镜像n1
然后根据边缘样本的位置，取m1与镜像n1最边缘L列的像素。在图示中由于n1属于4号边缘样本，因此取最右侧L列像素得到Lm1与Ln1。
计算这2个L列像素的交并比，Intersect表示Lm1与Ln1的交集、Union表示Lm1与Ln1的并集，IoU表示Lm1与Ln1的交并比。
对中心样本的所有对象掩膜与边缘样本的所有对象掩膜分别采用上述过程进行计算，可以得到中心样本对象与边缘样本对象的邻域关注权重。对于不处在样本边界的对象，当取L列像素掩膜时，获取的是空像素，因此权重为0；对于处理样本边界，但是不相邻的两对象，在计算Lm1与Ln1时，得到的IoU也为0。IoU的值域范围为0到1，相邻对象的IoU接近于1，所以将IoU直接作为邻接关注权重Wadj，Wadj形状为[N0*N’]。通过该算法，可以有效判断对象的相邻关系。
跨样本关注权重由相似度关注权重与邻接关注权重生成，计算公式如下：
Wcs(i，j)＝max(Wcos(i，j)，Wadj(i，j))
通过取最大值，可以将相似度关注权重中，关于相邻对象部分的权重进行放大，从而强调同一遥感对象在不同样本中的超像素对象间的重要关系。图8是本发明实施例中跨样本关注权重的计算示意图。
生成的跨样本关注权重Wcs与图内关注生成的特征进行矩阵叉乘，得到聚合了边缘样本的中心样本的节点特征。4个边缘样本依次与中心样本进行CSA后，得到最终的节点特征。
将节点特征输入MLP后经过Softmax、argmax得到预测类别，将各个对象掩膜与类别样本相叠加，得到整个影像的语义分割预测结果，具体如图9所示。
在一种实施方式中，所述方法还包括：利用测试集对训练好的模型进行测试。
具体来说，CSGAN网络训练：将数据集的影像与标注图像作为输入数据对CSGAN网络进行迭代训练，使得网络学习样本内语义信息与跨样本语义信息。保存网络训练过程及最优模型权重，最佳影像识别精度达到0.9745。
验证分析：对上述模型的精度以及遥感对象识别的效果进行分析。使用Unet、GAT以及CSGAN对部分样本进行预测得到的可视化结果如图10所示，其中，P1为原始图像，P2为标注图像，第三行为Unet预测结果，第四行为GAT预测结果，第五行为CSGAN(本发明的模型)预测结果。
由图10可见，Unet、GAT网络对于部分跨样本存在的遥感对象识别精度不佳，会将同一遥感对象错误地分类为不同类别。而CSGAN由于采用了跨样本关注，扩大了网络感受野，因此可以有效识别不同样本中的同一遥感对象，识别精度高。
使用3种网络对测试集进行测试，得到测试集精度结果如表所示。
表1不同网络实验结果对比
从表1中可以看出，CSGAN在海洋目标对象识别数据集上的mIoU精度达到0.8896，准确率精度达到0.9745，说明本发明的效果较佳，达到较高实用水平，对于海洋目标识别提供了科学有效的方法。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，其特征在于，包括：
S1：采集预设研究区域的高分辨率遥感影像；
S2：对采集的高分辨率遥感影像进行预处理；
S3：对预处理后的高分辨率遥感影像进行超像素分割，得到矢量超像素分割数据，其中，矢量超像素分割数据包含ID；
S4：对得到的矢量超像素分割数据进行标注和栅格化，得到标注图像数据；根据矢量超像素分割数据的ID对超像素进行栅格化，得到对象掩膜图像数据；
S5：对预设研究区域的预处理后的高分辨率遥感影像、标注图像数据以及超像素对象序号掩膜图像数据进行裁剪取样，构建遥感影像样本，并进行分组，其中，每一组遥感影像样本包括一个中心样本和四个边缘样本；
S6：生成的遥感影像样本按照预设比例划分为训练集、验证集和测试集；
S7：搭建基于跨样本关注机制的图神经网络模型，该网络模型包括骨干网络、图内关注模块、跨样本关注模块以及输出模块，其中，骨干网络用于从输入的数据中提取影像特征，图内关注模块用于将影像特征与对象掩膜进行叠加生成图节点特征，并使用图关注机制进行样本内的语义信息关注；跨样本关注模块用于根据样本内的语义信息关注将中心样本与每一个边缘样本进行跨样本关注，得到最终的节点特征，输出模块用于根据最终的节点特征得到超像素分类结果，并将超像素分类结果与超像素对象掩膜进行叠加，得到整个样本图像的语义分割结果；
S8：利用划分的训练集对基于跨样本关注机制的图神经网络模型进行训练，得到训练好的模型；
S9：利用训练好的模型进行遥感影像海洋目标识别；
其中，图内关注模块使用图关注机制进行样本内的语义信息关注，包括：
计算两两图节点间的余弦相似度；
根据余弦相似度得到相似度关注权重；
将相似度关注权重与图节点特征进行矩阵叉乘，得到样本内的语义信息关注结果，其中样本内的语义信息关注结果中聚合了同一样本中包含的不同超像素对象的信息；
跨样本关注模块根据样本内的语义信息关注将中心样本与每一个边缘样本进行跨样本关注，得到超像素分类结果，包括：
根据中心样本和边缘样本的像素交并比，获得中心样本对象与边缘样本对象的邻接关注权重；
根据相似度关注权重与邻接关注权重得到跨样本关注权重；
根据跨样本关注权重与图内关注模块生成的特征，得到聚合有边缘样本信息的中心样本的节点特征；
根据得到的聚合有边缘样本信息的中心样本的节点特征，得到最终的节点特征。
2.如权利要求1所述的基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，其特征在于，步骤S2包括：使用专业软件对采集的高分辨率遥感影像进行预处理，包括拼接裁剪、辐射定标、几何校正、大气校正。
3.如权利要求1所述的基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，其特征在于，步骤S3包括：使用软件对预处理后的高分辨率遥感影像进行超像素分割。
4.如权利要求1所述的基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，其特征在于，步骤S4中对得到的矢量超像素分割数据进行标注和栅格化，得到标注图像数据，包括：
对得到的矢量超像素分割数据进行标注，得到标注结果，包括在预设研究区域中的影像中每个超像素所对应的地物类别和编号；
基于标注结果，将超像素按照标注类别进行栅格化，得到标注图像数据，其中标注图像数据中的每个像素值表示该区域所属的地物类别编号。
5.如权利要求1所述的基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，其特征在于，步骤S4中根据矢量超像素分割数据的ID对超像素进行栅格化，得到对象掩膜图像数据，包括：
对矢量超像素分割数据的ID进行排序，得到超像素的序号；
将超像素按照超像素序号进行栅格化，得到对象掩膜图像数据，其中，对象掩膜图像数据中每个像素值表示该研究区域所属的超像素的序号。
6.如权利要求1所述的基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法，其特征在于，所述方法还包括：利用测试集对训练好的模型进行测试。
CN202210609751.8A 2022-05-31 2022-05-31 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 Active CN114882292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210609751.8A CN114882292B (zh) 2022-05-31 2022-05-31 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210609751.8A CN114882292B (zh) 2022-05-31 2022-05-31 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法

Publications (2)

Publication Number Publication Date
CN114882292A CN114882292A (zh) 2022-08-09
CN114882292B true CN114882292B (zh) 2024-04-12

Family

ID=82678734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210609751.8A Active CN114882292B (zh) 2022-05-31 2022-05-31 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法

Country Status (1)

Country Link
CN (1) CN114882292B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490081A (zh) * 2019-07-22 2019-11-22 武汉理工大学 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
CN112560733A (zh) * 2020-12-23 2021-03-26 上海交通大学 面向两期遥感影像的多任务处理系统及方法
CN113220891A (zh) * 2021-06-15 2021-08-06 北京邮电大学 基于无监督的概念到句子的生成对抗网络图像描述算法
WO2022023988A1 (en) * 2020-07-28 2022-02-03 Way2Vat Ltd. Systems and methods for document image analysis by alignment of document image sets to spreadsheets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490081A (zh) * 2019-07-22 2019-11-22 武汉理工大学 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
WO2022023988A1 (en) * 2020-07-28 2022-02-03 Way2Vat Ltd. Systems and methods for document image analysis by alignment of document image sets to spreadsheets
CN112560733A (zh) * 2020-12-23 2021-03-26 上海交通大学 面向两期遥感影像的多任务处理系统及方法
CN113220891A (zh) * 2021-06-15 2021-08-06 北京邮电大学 基于无监督的概念到句子的生成对抗网络图像描述算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于DBNMI模型的海洋遥感影像自动标注方法;黄冬梅;许琼琼;杜艳玲;贺琪;;中国科学技术大学学报;20170715(第07期);全文 *

Also Published As

Publication number Publication date
CN114882292A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN111652240B (zh) 一种基于cnn的图像局部特征检测与描述方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN107392863A (zh) 基于亲和矩阵融合谱聚类方法的sar图像变化检测方法
CN112270259A (zh) 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法
CN114882292B (zh) 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统
CN112989919B (zh) 一种从影像中提取目标对象的方法及系统
Pang et al. PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images
Tian et al. Augmentation Method for anti-vibration hammer on power transimission line based on CycleGAN
Li et al. Change detection in sar images based on a multi-scale attention convolution network
CN116030347B (zh) 一种基于注意力网络的高分辨率遥感影像建筑物提取方法
CN113657214B (zh) 一种基于Mask RCNN的建筑损伤评估方法
CN112508958B (zh) 一种轻量多尺度的生物医学图像分割方法
CN117557775B (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant