CN116229277A - 基于语义相关性的强抗干扰海洋遥感图像语义分割方法 - Google Patents
基于语义相关性的强抗干扰海洋遥感图像语义分割方法 Download PDFInfo
- Publication number
- CN116229277A CN116229277A CN202310504914.0A CN202310504914A CN116229277A CN 116229277 A CN116229277 A CN 116229277A CN 202310504914 A CN202310504914 A CN 202310504914A CN 116229277 A CN116229277 A CN 116229277A
- Authority
- CN
- China
- Prior art keywords
- feature map
- stage
- semantic
- segmentation result
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 108
- 230000008569 process Effects 0.000 claims abstract description 74
- 238000010586 diagram Methods 0.000 claims abstract description 72
- 238000004873 anchoring Methods 0.000 claims abstract description 27
- 238000002347 injection Methods 0.000 claims abstract description 26
- 239000007924 injection Substances 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000007792 addition Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域,公开了基于语义相关性的强抗干扰海洋遥感图像语义分割方法,包括编码阶段、基于语义相关性的解码阶段、抗干扰能力增强阶段,基于语义相关性的解码阶段对特征图的语义类别相关性进行判定,使用不同类型的解码器处理相应类型的特征图;抗干扰能力增强阶段包括类别信息指导、关系建模与锚定信息注入过程,从粗分割结果特征图获得类别关系图,与粗分割结果特征图融合,通过局部关系建模与全局关系建模挖掘出像素间的关系,输出阶段分割结果特征图,将锚定信息注入阶段分割结果特征图,注入锚定信息的阶段分割结果特征图作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次,输出最终分割结果。
Description
技术领域
本发明属于图像处理技术领域,特别涉及基于语义相关性的强抗干扰海洋遥感图像语义分割方法。
背景技术
作为海洋遥感图像的处理与分析的重要手段之一,语义分割是指为图像中每个像素点分配类别标签,主要包括两个步骤:其一,对遥感图像特征提取,挖掘其深层/高级/语义表征。其二,基于提取的深层/高级/语义表征对图像中每个像素点进行分类。针对过程一,目前主要采用深度神经网络表征模型,如:基于卷积的深度神经网络特征提取器。针对过程二,目前主要采用多分类损失函数函数,如:交叉熵损失。
前沿的语义分割方法是基于深度可分离卷积的编码器-解码器结(DeeplabV 3+),来实现图像语义分割场景下的上下文信息挖掘。该方法的优势在于联合空洞卷积与空间金字塔池化层,在扩大感受野的同时,能捕获不同尺度特征的上下文信息,充分融合低级语义特征与高级语义特征,从而提升了分割结果的精度。但是,现有语义分割方法用于处理海洋遥感图像时存在着以下问题:
第一、未关注到不同的海洋遥感图像自身有着不同的语义相关性的问题,海洋遥感图像内目标的自身不同的语义相关性被忽略。海洋遥感图像中的待分割目标存在着的大小、颜色、形状等特征变化范围大的特点。现有的使用编码器解码器结构的语义分割方法在解码阶段仅采用一个解码器对编码部分得到的特征图进行分析,难以同时准确的分析大小、颜色、形状等特征变化范围十分大的海洋遥感图像中包含的语义信息。
第二、海洋遥感图像中存在的低质量问题被忽略。海洋遥感图像中包含大量复杂的干扰信息,如遥感器对水体探测时产生的条带现象、船舶在海洋中行驶时所溅起的浪花、阳光照射到海面上所产生的反射现象以及时常发生的大气散射现像等,这往往会使得海洋遥感图像中出现物体变形、物体遮挡、物体模糊等情况。现有的语义分割方法在原始图像基础上实施特征提取、上下文挖掘、反卷积等操作后生成分割结果,这一分割结果往往会受到海洋遥感图像中所包含的大量复杂的干扰信息的影响。
发明内容
针对现有技术存在的不足,本发明提供基于语义相关性的强抗干扰海洋遥感图像语义分割方法,通过基于语义相关性的解码方式和抗干扰能力增强方法,提高海洋遥感图像语义分割的精度。
为了解决上述技术问题,本发明采用的技术方案是:
基于语义相关性的强抗干扰海洋遥感图像语义分割方法,包括粗分割阶段与抗干扰能力增强阶段,其中粗分割阶段分为编码阶段与基于语义相关性的解码阶段,具体步骤如下:
步骤一、编码阶段,使用深度卷积神经网络、空洞空间金字塔池化模块对输入的待分割的遥感图像进行特征提取,输出特征图M;
步骤二、基于语义相关性的解码阶段,首先对编码阶段输出的特征图M的语义类别相关性进行判定,然后根据判定结果使用高、中、低不同类型的解码器处理相应类型的特征图,获得粗分割结果特征图P,作为抗干扰能力增强阶段的输入;
步骤三、抗干扰能力增强阶段,包括类别信息指导过程、关系建模过程与锚定信息注入过程,其中,类别信息指导过程首先从输入的粗分割结果特征图P中获得类别关系图U,然后通过构建类别关系矩阵的方式探索不同类别间的关系,得到经过类别信息指导的特征图J,作为抗干扰能力增强阶段中关系建模模块的输入;
关系建模过程通过关系建模模块实现,关系建模模块包括区域划分、基于自注意力机制的局部关系建模模块和全局关系建模模块,通过设计基于自注意力机制的局部关系建模模块与全局关系建模模块充分挖掘出海洋遥感图像中像素间的关系,输出阶段分割结果特征图S;
锚定信息注入过程首先从粗分割结果特征图P中获得锚定信息,然后注入阶段分割结果特征图S,使得模型的每一阶段分割结果都受到上一阶段分割结果的影响;接下来,注入锚定信息的阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次,输出最终分割结果。
进一步的,在基于语义相关性的解码阶段,将输入的特征图,C、H、W分别为特征图M的通道数、高度、宽度,采用K均值聚类算法对H×W个特征向量进行聚类,H×W个特征向量在经过K均值聚类算法聚类后会被分为n个类,每个类的数目记为k1、k2、k3……kn;接下来根据聚类结果进行语义相关性判定,指导特征进入符合其语义相关性的一个解码器,具体的判定过程为:
(4)若max(k1,k2,k3……kn)位于阈值1与阈值2之间,则该特征图进入低语义相关性特征解码器;若max(k1,k2,k3……kn)位于阈值2与阈值3之间,则特征图进入中语义相关性特征解码器;若max(k1,k2,k3……kn)大于阈值3,则特征图进入高语义相关性特征解码器。
进一步的,高、中、低三种类型的解码器采用相同的结构,具体表现为:当经过语义类别相关性判别的特征图M进入解码器后,首先对该特征图M进行1×1卷积与四倍上采样得到特征图,再使编码阶段的深度卷积神经网络中的低级特征图进行1×1卷积操作得到特征图,接下来合并特征图与特征图,最后将合并后的结果进行3×3卷积与四倍上采样操作以得到粗分割结果特征图P。
(1)是一个维度为H×W的二维矩阵,其上共有H×W个像素点,并以由左至右,由上至下的顺序为每个像素点标记像素点号,每个像素点上的数字代表着该像素被分到的类别,想要获得的类别关系图是一个维度为(H×W)×(H×W)的二维矩阵,类别关系图U上的值为:
其中表示类别关系图U上每个像素点上的值,代表第i个点位于粗分割结果特征图中的第几行,代表第i个点位于粗分割结果特征图中的第几列,代表第j个点位于粗分割结果特征图中的第几行,代表第j个点位于粗分割结果特征图中的第几列,代表第i个点被预测的类别,代表第j个点被预测的类别,其中,,;
以生成类别1对应的锚为例:首先通过粗分割结果特征图获知哪些像素点被分到了类别1,将这些像素点记录下来,接下来,在粗分割结果特征图中找到这些像素点对应的特征向量,并取其平均值,最终获得类别1所对应的锚,以此类推获取到n个类别所对应的锚,锚的数量为n个,维度为n×H×W。
进一步的,关系建模过程中,包括局部建模过程和全局建模过程,具体如下:
(1)首先对一张初始特征图进行划分区域的操作,得到个维度为的特征图L,并以由左至右,由上至下的顺序为每个特征图L标记区域号,其中R代表分割率,代表着每个区域所包含的像素数,为了方便全局关系建模过程的讲解,记第a行第b列的区域为,,其中,;
(2)接下来对每一个区域特征图进行自注意力机制的操作,也就是说在抗干扰能力增强阶段的关系建模模块中的局部关系建模阶段中每一个局部特征图L都进行自注意力机制的运算,在这一过程中,不是简单的对整张特征图进行自注意力机制操作,而是采用一种新的全局建模方式,具体的执行过程如下:
首先对输入的每一个区域的特征图进行变换维度的操作,使其变为,接下来特征图进入三个不同的多层感知机,以生成与自身相对应的三个不同的特征图Q、K、V,,其中特征图Q在自身要主动与其他的特征图进行注意力机制计算时所使用,特征图K在其他的特征图要与自身进行注意力计算时所使用,特征图V代表特征图中所蕴含的信息;
接下来将自身的Q特征图分别与除自身区域之外的K特征图的转置进行矩阵乘法并通过归一化指数函数,再将得到的结果乘以权重系数之后与自身的V特征图进行矩阵乘法操作,得到特征图,再进行变换维度操作,得到最终的特征图,其中权重系数定义如下:
其中代表第p个区域位于经过区域划分的特征图J中的第几行,代表第p个区域位于经过区域划分的特征图J中的第几列,代表第q个区域位于经过区域划分的特征图J中的第几行,代表第q个区域位于经过区域划分的特征图J中的第几列,其中,,;
进一步的,通过阶段分割特征图获知在这一阶段模型将各个像素点预测为了何种类别,接下来,将在粗分割阶段结束后获得的n个维度为n×H×W的锚加到阶段分割特征图S中,对阶段分割特征图S进行锚定信息注入过程的具体的执行过程如下:以添加类别1对应的锚为例,首先通过阶段分割特征图获知哪些像素点被分到了类别1,将这些像素点记录下来,接下来,以对应元素相加的形式将类别1所对应的锚添加到阶段分割特征图S中被分到类别1的像素点的特征向量上;以此类推,将n个类别所对应的锚添加到各自对应的像素点上,最终完成锚定信息注入过程;接下来,阶段分割结果特征图将作为新的粗分割结果特征图重复上述操作N次,以获得最终分割结果。
与现有技术相比,本发明优点在于:
(1)本发明关注到了不同的海洋遥感图像自身有着不同的语义相关性的问题。经典的语义分割方法往往仅采用一个解码器对编码部分得到的特征图进行分析,但一个解码器往往难以同时准确的分析大小、颜色、形状等特征变化范围十分大的海洋遥感图像。针对这一问题本发明提出了基于语义相关性的解码方式,该解码方式的核心创新在于首先以特征间的语义相关性为依据对有着大小、颜色、形状等特征变化范围大的待分割目标的海洋遥感图像进行分类,对不同类别的海洋遥感图像采用不同的解码器对其解码,这使得各个解码器能够各司其职,精确的分析相应类别的海洋遥感图像中所蕴含的语义信息。
(2)本发明大幅提高了模型应对海洋遥感图像中复杂的干扰信息的能力。海洋遥感图像中包含大量复杂的干扰信息,如海洋遥感图像中时常会出现物体变形、物体遮挡、物体模糊等情况。针对这一问题,本发明首先提出了类别信息指导的过程,在这一过程后,能够更容易的捕获到各个类别间的联系,其次提出了关系建模模块,采用局部与全局相结合的建模方式大大增强了模型对于海洋遥感图像中存在的大量干扰信息的抵抗能力。最后,提出了锚定信息注入的方法,模型在生成阶段分割结果时会受到之前阶段的分割结果的指导,这意味着模型在生成某一个点的分割结果时会知道该点大概率是某一类别(上一阶段的分割结果),但如果此时模型给出的分割结果仍不同于上一阶段的分割结果,那么说明模型认为该分割结果具有非常高的可信度,这可以使模型最终的分割准确度得到提升。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图;
图2为本发明的自注意力机制的执行过程。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
如图1所示,本实施例提供一种基于语义相关性的强抗干扰海洋遥感图像语义分割方法,是在经典方法Deeplab V3+的基础之上改进而来的,包括粗分割阶段与抗干扰能力增强阶段,其中粗分割阶段分为编码阶段与基于语义相关性的解码阶段,具体步骤如下:
步骤二、基于语义相关性的解码阶段,首先对编码阶段输出的特征图M的语义类别相关性进行判定,然后根据判定结果使用高、中、低不同类型的解码器处理相应类型的特征图,获得粗分割结果特征图P,作为抗干扰能力增强阶段的输入。
在基于语义相关性的解码阶段,将输入的特征图,采用K均值聚类算法对H×W个特征向量进行聚类,K均值聚类算法的原理是:随机设置k个簇的质心,根据最近邻理论将样本划分到每个簇中;然后,重新计算每个簇的质心,直到质心的变化小于给定值。
H×W个特征向量在经过K均值聚类算法聚类后会被分为n个类(待分割的遥感图像中的像素共有n个类别),每个类的数目记为k1、k2、k3……kn;接下来根据聚类结果进行语义相关性判定,指导特征进入符合其语义相关性的一个解码器,具体的判定过程为:
(4)若max(k1,k2,k3……kn)位于阈值1与阈值2之间,则该特征图进入低语义相关性特征解码器;若max(k1,k2,k3……kn)位于阈值2与阈值3之间,则特征图进入中语义相关性特征解码器;若max(k1,k2,k3……kn)大于阈值3,则特征图进入高语义相关性特征解码器。
高、中、低三种类型的解码器采用相同的结构,具体表现为:当经过语义类别相关性判别的特征图M进入解码器后,首先对该特征图M进行1×1卷积与四倍上采样得到特征图,再使编码阶段的深度卷积神经网络中的低级特征图进行1×1卷积操作得到特征图,接下来合并特征图与特征图,最后将合并后的结果进行3×3卷积与四倍上采样操作以得到粗分割结果特征图P。
在这一过程中,不同类型的特征图虽然通过了结构相同的解码器,但当进行反向传播更新模型参数时,不同类型的解码器能够根据不同类型的特征图产生不同的参数,以达到有针对性的对不同类型的特征图进行解码的目的。
步骤三、抗干扰能力增强阶段,包括类别信息指导过程、关系建模过程与锚定信息注入过程。
1、类别信息指导过程首先从输入的粗分割结果特征图P中获得类别关系图U,然后通过构建类别关系矩阵的方式探索不同类别间的关系,加强了模型对于各类别特征的理解,得到经过类别信息指导的特征图J,作为抗干扰能力增强阶段中关系建模模块的输入。特征图在经过相应的解码器解码之后,获得了粗分割结果,接下来将进入抗干扰能力增强阶段的第一个部分——类别信息指导过程。首先将通过粗分割阶段获得的粗分割结果特征图与粗分割结果特征图生成类别关系图U,具体过程为:
(1)是一个维度为H×W的二维矩阵,其上共有H×W个像素点,并以由左至右,由上至下的顺序为每个像素点标记像素点号,每个像素点上的数字代表着该像素被分到的类别,想要获得的类别关系图是一个维度为(H×W)×(H×W)的二维矩阵,类别关系图U上的值为:
其中表示类别关系图U上每个像素点上的值,代表第i个点位于粗分割结果特征图中的第几行,代表第i个点位于粗分割结果特征图中的第几列,代表第j个点位于粗分割结果特征图中的第几行,代表第j个点位于粗分割结果特征图中的第几列,代表第i个点被预测的类别,代表第j个点被预测的类别,其中,,。
与此同时,根据粗分割阶段获得的粗分割结果特征图与粗分割结果特征图生成n个特征向量(锚),锚的定义方式如下:以生成类别1对应的锚为例,首先通过粗分割结果特征图获知哪些像素点被分到了类别1,将这些像素点记录下来,接下来,在粗分割结果特征图中找到这些像素点对应的特征向量,并取其平均值,最终获得类别1所对应的锚,以此类推获取到n个类别所对应的锚,锚的数量为n个,维度为n×H×W。这n个锚将在锚定信息注入过程中起到关键作用。
2、关系建模过程通过关系建模模块实现,关系建模模块包括区域划分、基于自注意力机制的局部关系建模模块和全局关系建模模块,通过设计基于自注意力机制的局部关系建模模块与全局关系建模模块充分挖掘出海洋遥感图像中像素间的关系,输出阶段分割结果特征图S。
关系建模过程中,包括局部建模过程和全局建模过程,旨在通过充分挖掘海洋遥感图像中像素间的关系以达到增强模型对海洋遥感图像中存在的大量干扰信息的抵抗能力的目的。由于自注意力机制有着十分强大的全局建模能力,可以捕获到全局像素之间的依赖关系,所以以自注意力机制作为关系建模模块的核心,但直接从全局范围进行建模也存在着自身的问题,因为海洋遥感图像中存在着大量的干扰信息,自注意力机制在全局建模的过程中,往往难以处理如此大量的干扰信息,针对这一问题,本发明提出了局部与全局建模相结合的关系建模过程,并在这一过程中进行锚定信息注入的操作,最终实现了提升模型抗干扰能力的目标,提高语义分割精度。具体如下:
(1)首先对一张初始特征图进行划分区域的操作,得到个维度为的特征图L,并以由左至右,由上至下的顺序为每个特征图L标记区域号,其中R代表分割率,代表着每个区域所包含的像素数,经过区域划分的特征图L共有个区域(如图1中的立方体所示),为了方便全局关系建模过程的讲解,记第一行第一列的区域为,第一行第二列的区域为,以此类推,记第a行第b列的区域为,,其中,。
(2)接下来对每一个区域特征图进行自注意力机制的操作。在抗干扰能力增强阶段的关系建模模块中的局部关系建模阶段中每一个局部特征图L都进行自注意力机制的运算,在这一过程中,模型在包含较少干扰信息的区域中进行像素间依赖的捕获,这往往比直接在包含大量干扰信息的全局范围内进行像素间依赖的捕获的效果要好,但仅在局部范围内进行特征建模是不全面的,于是提出了全局关系建模过程,不是简单的对整张特征图进行自注意力机制操作,而是采用一种新的全局建模方式,结合图2所示,具体的执行过程如下:
首先对输入的每一个区域的特征图进行变换维度的操作,使其变为,接下来特征图进入三个不同的多层感知机,以生成与自身相对应的三个不同的特征图Q、K、V,,其中特征图Q在自身要主动与其他的特征图进行注意力机制计算时所使用,特征图K在其他的特征图要与自身进行注意力计算时所使用,特征图V代表特征图中所蕴含的信息;
接下来将自身的Q特征图分别与除自身区域之外的K特征图的转置进行矩阵乘法并通过归一化指数函数,得到特征图,这一特征图上的每一个像素点也有着自身的意义,那就是某一个点对于另一个点关注程度;再将得到的特征图乘以权重系数之后与自身的V特征图进行矩阵乘法操作,得到特征图,再进行变换维度操作,得到最终的特征图,其中权重系数定义如下:
其中代表第p个区域位于经过区域划分的特征图J中的第几行,代表第p个区域位于经过区域划分的特征图J中的第几列,代表第q个区域位于经过区域划分的特征图J中的第几行,代表第q个区域位于经过区域划分的特征图J中的第几列,其中,,。
3、接下来就要进行锚定信息注入过程,这一过程旨在提升阶段分割结果的准确度,锚定信息注入过程首先从粗分割结果特征图P中获得锚定信息,然后注入阶段分割结果特征图S,使得模型的每一阶段分割结果都受到上一阶段分割结果的影响,提高了模型分割结果的可信度;接下来,注入锚定信息的阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次,输出最终分割结果。
通过阶段分割特征图获知在这一阶段模型将各个像素点预测为了何种类别,接下来,将在粗分割阶段结束后获得的n个维度为n×H×W的锚加到阶段分割特征图S中,对阶段分割特征图S进行锚定信息注入过程的具体的执行过程如下:
以添加类别1对应的锚为例:首先通过阶段分割特征图获知哪些像素点被分到了类别1,将这些像素点记录下来,接下来,以对应元素相加的形式将类别1所对应的锚添加到阶段分割特征图S中被分到类别1的像素点的特征向量上;以此类推,将n个类别所对应的锚添加到各自对应的像素点上,最终完成锚定信息注入过程。
接下来,阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导操作、关系建模操作、锚定信息注入操作3次,以获得最终分割结果。
综上所述,本发明首先提出了基于语义相关性的解码方式,以特征间的语义相关性为依据对有着大小、颜色、形状等特征变化范围大的待分割目标的海洋遥感图像进行分类,最终达到对不同类别的海洋遥感图像采用不同的解码器进行解码的效果,分析海洋遥感图像中蕴含的语义信息,得到粗分割结果;然后对粗分割结果进行优化,提出了类别信息指导过程、关系建模过程和锚定信息注入过程,其中类别信息指导过程通过将类别关系图与粗分割结果特征图进行融合,使得模型能够更容易的捕获到各个类别间的联系,最终使得模型的分割结果更为精确;关系建模过程分为局部关系建模过程与全局关系建模过程,采用局部与全局相结合的建模方式大大增强了在语义分割时本发明对于海洋遥感图像中存在的大量干扰信息的抵抗能力;生成阶段分割结果时会受到之前阶段的分割结果的指导,锚定信息注入这一操作可以使得最终给出的阶段分割结果具有更高的可信度,从而达到提升最终分割准确度的效果。
当然,上述说明并非是对本发明的限制,本发明也并不限于上述举例,本技术领域的普通技术人员,在本发明的实质范围内,做出的变化、改型、添加或替换,都应属于本发明的保护范围。
Claims (7)
1.基于语义相关性的强抗干扰海洋遥感图像语义分割方法,其特征在于,包括粗分割阶段与抗干扰能力增强阶段,其中粗分割阶段分为编码阶段与基于语义相关性的解码阶段,具体步骤如下:
步骤一、编码阶段,使用深度卷积神经网络、空洞空间金字塔池化模块对输入的待分割的遥感图像进行特征提取,输出特征图M;
步骤二、基于语义相关性的解码阶段,首先对编码阶段输出的特征图M的语义类别相关性进行判定,然后根据判定结果使用高、中、低不同类型的解码器处理相应类型的特征图,获得粗分割结果特征图P,作为抗干扰能力增强阶段的输入;
步骤三、抗干扰能力增强阶段,包括类别信息指导过程、关系建模过程与锚定信息注入过程,其中,类别信息指导过程首先从输入的粗分割结果特征图P中获得类别关系图U,然后通过构建类别关系矩阵的方式探索不同类别间的关系,得到经过类别信息指导的特征图J,作为抗干扰能力增强阶段中关系建模模块的输入;
关系建模过程通过关系建模模块实现,关系建模模块包括区域划分、基于自注意力机制的局部关系建模模块和全局关系建模模块,通过设计基于自注意力机制的局部关系建模模块与全局关系建模模块充分挖掘出海洋遥感图像中像素间的关系,输出阶段分割结果特征图S;
锚定信息注入过程首先从粗分割结果特征图P中获得锚定信息,然后注入阶段分割结果特征图S,使得模型的每一阶段分割结果都受到上一阶段分割结果的影响;接下来,注入锚定信息的阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次,输出最终分割结果。
2.根据权利要求1所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法,其特征在于,在基于语义相关性的解码阶段,将输入的特征图,C、H、W分别为特征图M的通道数、高度、宽度,采用K均值聚类算法对H×W个特征向量进行聚类,H×W个特征向量在经过K均值聚类算法聚类后会被分为n个类,每个类的数目记为k1、k2、k3……kn;接下来根据聚类结果进行语义相关性判定,指导特征进入符合其语义相关性的一个解码器,具体的判定过程为:
(4)若max(k1,k2,k3……kn)位于阈值1与阈值2之间,则该特征图进入低语义相关性特征解码器;若max(k1,k2,k3……kn)位于阈值2与阈值3之间,则特征图进入中语义相关性特征解码器;若max(k1,k2,k3……kn)大于阈值3,则特征图进入高语义相关性特征解码器。
4.根据权利要求2所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法,其特征在于,抗干扰能力增强阶段的类别信息指导过程,首先将通过粗分割阶段获得的粗分割结果特征图与粗分割结果特征图生成类别关系图U,具体过程为:
(1)是一个维度为H×W的二维矩阵,其上共有H×W个像素点,并以由左至右,由上至下的顺序为每个像素点标记像素点号,每个像素点上的数字代表着该像素被分到的类别,想要获得的类别关系图是一个维度为(H×W)×(H×W)的二维矩阵,类别关系图U上的值为:
其中表示类别关系图U上每个像素点上的值,代表第i个点位于粗分割结果特征图中的第几行,代表第i个点位于粗分割结果特征图中的第几列,代表第j个点位于粗分割结果特征图中的第几行,代表第j个点位于粗分割结果特征图中的第几列,代表第i个点被预测的类别,代表第j个点被预测的类别,其中,,;
6.根据权利要求4所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法,其特征在于,关系建模过程中,包括局部建模过程和全局建模过程,具体如下:
(1)首先对一张初始特征图进行划分区域的操作,得到个维度为的特征图L,并以由左至右,由上至下的顺序为每个特征图L标记区域号,其中R代表分割率,代表着每个区域所包含的像素数,为了方便全局关系建模过程的讲解,记第a行第b列的区域为,,其中,;
(2)接下来对每一个区域特征图进行自注意力机制的操作,也就是说在抗干扰能力增强阶段的关系建模模块中的局部关系建模阶段中每一个局部特征图L都进行自注意力机制的运算,在这一过程中,不是简单的对整张特征图进行自注意力机制操作,而是采用一种新的全局建模方式,具体的执行过程如下:
首先对输入的每一个区域的特征图进行变换维度的操作,使其变为,接下来特征图进入三个不同的多层感知机,以生成与自身相对应的三个不同的特征图Q、K、V,,其中特征图Q在自身要主动与其他的特征图进行注意力机制计算时所使用,特征图K在其他的特征图要与自身进行注意力计算时所使用,特征图V代表特征图中所蕴含的信息;
接下来将自身的Q特征图分别与除自身区域之外的K特征图的转置进行矩阵乘法并通过归一化指数函数,再将得到的结果乘以权重系数之后与自身的V特征图进行矩阵乘法操作,得到特征图,再进行变换维度操作,得到最终的特征图,其中权重系数定义如下:
其中代表第p个区域位于经过区域划分的特征图J中的第几行,代表第p个区域位于经过区域划分的特征图J中的第几列,代表第q个区域位于经过区域划分的特征图J中的第几行,代表第q个区域位于经过区域划分的特征图J中的第几列,其中,,;
7.根据权利要求6所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法,其特征在于,通过阶段分割特征图获知在这一阶段模型将各个像素点预测为了何种类别,接下来,将在粗分割阶段结束后获得的n个维度为n×H×W的锚加到阶段分割特征图S中,对阶段分割特征图S进行锚定信息注入过程的具体的执行过程如下:以添加类别1对应的锚为例,首先通过阶段分割特征图获知哪些像素点被分到了类别1,将这些像素点记录下来,接下来,以对应元素相加的形式将类别1所对应的锚添加到阶段分割特征图S中被分到类别1的像素点的特征向量上;以此类推,将n个类别所对应的锚添加到各自对应的像素点上,最终完成锚定信息注入过程;接下来,阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次,以获得最终分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310504914.0A CN116229277B (zh) | 2023-05-08 | 2023-05-08 | 基于语义相关性的强抗干扰海洋遥感图像语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310504914.0A CN116229277B (zh) | 2023-05-08 | 2023-05-08 | 基于语义相关性的强抗干扰海洋遥感图像语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116229277A true CN116229277A (zh) | 2023-06-06 |
CN116229277B CN116229277B (zh) | 2023-08-08 |
Family
ID=86587608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310504914.0A Active CN116229277B (zh) | 2023-05-08 | 2023-05-08 | 基于语义相关性的强抗干扰海洋遥感图像语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116229277B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005328A1 (en) * | 2017-06-29 | 2019-01-03 | Accenture Global Solutions Limited | Natural language unification based robotic agent control |
WO2019197021A1 (en) * | 2018-04-10 | 2019-10-17 | Huawei Technologies Co., Ltd. | Device and method for instance-level segmentation of an image |
US20200027002A1 (en) * | 2018-07-20 | 2020-01-23 | Google Llc | Category learning neural networks |
CN111932553A (zh) * | 2020-07-27 | 2020-11-13 | 北京航空航天大学 | 基于区域描述自注意力机制的遥感图像语义分割方法 |
CN112085747A (zh) * | 2020-09-08 | 2020-12-15 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于局部关系指导的图像分割方法 |
CN114426069A (zh) * | 2021-12-14 | 2022-05-03 | 哈尔滨理工大学 | 一种基于实时语义分割的室内救援车及图像语义分割方法 |
CN114742996A (zh) * | 2021-01-07 | 2022-07-12 | 阿里巴巴集团控股有限公司 | 图像语义分割方法、装置、电子设备及存储介质 |
CN115272681A (zh) * | 2022-09-22 | 2022-11-01 | 中国海洋大学 | 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统 |
CN115359261A (zh) * | 2022-10-21 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 图像识别方法、计算机可读存储介质以及电子设备 |
WO2022257578A1 (zh) * | 2021-06-07 | 2022-12-15 | 京东科技信息技术有限公司 | 用于识别文本的方法和装置 |
-
2023
- 2023-05-08 CN CN202310504914.0A patent/CN116229277B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190005328A1 (en) * | 2017-06-29 | 2019-01-03 | Accenture Global Solutions Limited | Natural language unification based robotic agent control |
WO2019197021A1 (en) * | 2018-04-10 | 2019-10-17 | Huawei Technologies Co., Ltd. | Device and method for instance-level segmentation of an image |
US20200027002A1 (en) * | 2018-07-20 | 2020-01-23 | Google Llc | Category learning neural networks |
CN111932553A (zh) * | 2020-07-27 | 2020-11-13 | 北京航空航天大学 | 基于区域描述自注意力机制的遥感图像语义分割方法 |
CN112085747A (zh) * | 2020-09-08 | 2020-12-15 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于局部关系指导的图像分割方法 |
CN114742996A (zh) * | 2021-01-07 | 2022-07-12 | 阿里巴巴集团控股有限公司 | 图像语义分割方法、装置、电子设备及存储介质 |
WO2022257578A1 (zh) * | 2021-06-07 | 2022-12-15 | 京东科技信息技术有限公司 | 用于识别文本的方法和装置 |
CN114426069A (zh) * | 2021-12-14 | 2022-05-03 | 哈尔滨理工大学 | 一种基于实时语义分割的室内救援车及图像语义分割方法 |
CN115272681A (zh) * | 2022-09-22 | 2022-11-01 | 中国海洋大学 | 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统 |
CN115359261A (zh) * | 2022-10-21 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 图像识别方法、计算机可读存储介质以及电子设备 |
Non-Patent Citations (2)
Title |
---|
ZHEN WANG等: ""Hidden Feature-Guided Semantic Segmentation Network for Remote Sensing Images"", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 61 * |
何爽: ""基于图卷积神经网络的遥感图像语义分割研究及应用"", 《硕士电子期刊》, vol. 2023, no. 02 * |
Also Published As
Publication number | Publication date |
---|---|
CN116229277B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321813B (zh) | 基于行人分割的跨域行人重识别方法 | |
CN111598174B (zh) | 基于半监督对抗学习的模型训练方法及图像变化分析方法 | |
CN113780149A (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
CN112597815A (zh) | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 | |
CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
CN117079139B (zh) | 一种基于多尺度语义特征的遥感图像目标检测方法及系统 | |
CN113111716B (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
CN113536925B (zh) | 一种基于引导注意力机制的人群计数方法 | |
CN113569724B (zh) | 基于注意力机制和扩张卷积的道路提取方法及系统 | |
CN109977968B (zh) | 一种深度学习分类后比较的sar变化检测方法 | |
CN111369522A (zh) | 基于生成对抗卷积神经网络的光场显著性目标检测方法 | |
CN117409192B (zh) | 一种基于数据增强的红外小目标检测方法及装置 | |
CN114663371A (zh) | 基于模态独有和共有特征提取的图像显著目标检测方法 | |
CN111563408A (zh) | 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法 | |
CN114037640A (zh) | 图像生成方法及装置 | |
CN117635628B (zh) | 一种基于上下文注意力和边界感知引导的海陆分割方法 | |
CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
CN114926826A (zh) | 场景文本检测系统 | |
CN112330562A (zh) | 一种异构遥感图像变换方法及系统 | |
CN116935249A (zh) | 一种无人机场景下三维特征增强的小目标检测方法 | |
CN116229277B (zh) | 基于语义相关性的强抗干扰海洋遥感图像语义分割方法 | |
CN115082778B (zh) | 一种基于多分支学习的宅基地识别方法及系统 | |
CN115641445A (zh) | 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法 | |
CN112598043B (zh) | 一种基于弱监督学习的协同显著性检测方法 | |
CN114693951A (zh) | 一种基于全局上下文信息探索的rgb-d显著性目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |