CN116229277B - 基于语义相关性的强抗干扰海洋遥感图像语义分割方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了基于语义相关性的强抗干扰海洋遥感图像语义分割方法，包括编码阶段、基于语义相关性的解码阶段、抗干扰能力增强阶段，基于语义相关性的解码阶段对特征图的语义类别相关性进行判定，使用不同类型的解码器处理相应类型的特征图；抗干扰能力增强阶段包括类别信息指导、关系建模与锚定信息注入过程，从粗分割结果特征图获得类别关系图，与粗分割结果特征图融合，通过局部关系建模与全局关系建模挖掘出像素间的关系，输出阶段分割结果特征图，将锚定信息注入阶段分割结果特征图，注入锚定信息的阶段分割结果特征图作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次，输出最终分割结果。

Description

基于语义相关性的强抗干扰海洋遥感图像语义分割方法

技术领域

本发明属于图像处理技术领域，特别涉及基于语义相关性的强抗干扰海洋遥感图像语义分割方法。

背景技术

作为海洋遥感图像的处理与分析的重要手段之一，语义分割是指为图像中每个像素点分配类别标签，主要包括两个步骤：其一，对遥感图像特征提取，挖掘其深层/高级/语义表征。其二，基于提取的深层/高级/语义表征对图像中每个像素点进行分类。针对过程一，目前主要采用深度神经网络表征模型，如：基于卷积的深度神经网络特征提取器。针对过程二，目前主要采用多分类损失函数函数，如：交叉熵损失。

前沿的语义分割方法是基于深度可分离卷积的编码器-解码器结（DeeplabV 3+），来实现图像语义分割场景下的上下文信息挖掘。该方法的优势在于联合空洞卷积与空间金字塔池化层，在扩大感受野的同时，能捕获不同尺度特征的上下文信息，充分融合低级语义特征与高级语义特征，从而提升了分割结果的精度。但是，现有语义分割方法用于处理海洋遥感图像时存在着以下问题：

第一、未关注到不同的海洋遥感图像自身有着不同的语义相关性的问题，海洋遥感图像内目标的自身不同的语义相关性被忽略。海洋遥感图像中的待分割目标存在着的大小、颜色、形状等特征变化范围大的特点。现有的使用编码器解码器结构的语义分割方法在解码阶段仅采用一个解码器对编码部分得到的特征图进行分析，难以同时准确的分析大小、颜色、形状等特征变化范围十分大的海洋遥感图像中包含的语义信息。

第二、海洋遥感图像中存在的低质量问题被忽略。海洋遥感图像中包含大量复杂的干扰信息，如遥感器对水体探测时产生的条带现象、船舶在海洋中行驶时所溅起的浪花、阳光照射到海面上所产生的反射现象以及时常发生的大气散射现像等，这往往会使得海洋遥感图像中出现物体变形、物体遮挡、物体模糊等情况。现有的语义分割方法在原始图像基础上实施特征提取、上下文挖掘、反卷积等操作后生成分割结果，这一分割结果往往会受到海洋遥感图像中所包含的大量复杂的干扰信息的影响。

发明内容

针对现有技术存在的不足，本发明提供基于语义相关性的强抗干扰海洋遥感图像语义分割方法，通过基于语义相关性的解码方式和抗干扰能力增强方法，提高海洋遥感图像语义分割的精度。

为了解决上述技术问题，本发明采用的技术方案是：

基于语义相关性的强抗干扰海洋遥感图像语义分割方法，包括粗分割阶段与抗干扰能力增强阶段，其中粗分割阶段分为编码阶段与基于语义相关性的解码阶段，具体步骤如下：

步骤一、编码阶段，使用深度卷积神经网络、空洞空间金字塔池化模块对输入的待分割的遥感图像进行特征提取，输出特征图M；

步骤二、基于语义相关性的解码阶段，首先对编码阶段输出的特征图M的语义类别相关性进行判定，然后根据判定结果使用高、中、低不同类型的解码器处理相应类型的特征图，获得粗分割结果特征图P，作为抗干扰能力增强阶段的输入；

步骤三、抗干扰能力增强阶段，包括类别信息指导过程、关系建模过程与锚定信息注入过程，其中，类别信息指导过程首先从输入的粗分割结果特征图P中获得类别关系图U，然后通过构建类别关系矩阵的方式探索不同类别间的关系，得到经过类别信息指导的特征图J，作为抗干扰能力增强阶段中关系建模模块的输入；

关系建模过程通过关系建模模块实现，关系建模模块包括区域划分、基于自注意力机制的局部关系建模模块和全局关系建模模块，通过设计基于自注意力机制的局部关系建模模块与全局关系建模模块充分挖掘出海洋遥感图像中像素间的关系，输出阶段分割结果特征图S；

锚定信息注入过程首先从粗分割结果特征图P中获得锚定信息，然后注入阶段分割结果特征图S，使得模型的每一阶段分割结果都受到上一阶段分割结果的影响；接下来，注入锚定信息的阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次，输出最终分割结果。

进一步的，在基于语义相关性的解码阶段，将输入的特征图，C、H、W分别为特征图M的通道数、高度、宽度，采用K均值聚类算法对H×W个特征向量进行聚类，H×W个特征向量在经过K均值聚类算法聚类后会被分为n个类，每个类的数目记为k1、k2、k3……kn；接下来根据聚类结果进行语义相关性判定，指导特征进入符合其语义相关性的一个解码器，具体的判定过程为：

（1）设置语义相关性阈值1：，

（2）设置语义相关性阈值2：，

（3）设置语义相关性阈值3：，

（4）若max(k1，k2，k3……kn)位于阈值1与阈值2之间，则该特征图进入低语义相关性特征解码器；若max(k1，k2，k3……kn)位于阈值2与阈值3之间，则特征图进入中语义相关性特征解码器；若max(k1，k2，k3……kn)大于阈值3，则特征图进入高语义相关性特征解码器。

进一步的，高、中、低三种类型的解码器采用相同的结构，具体表现为：当经过语义类别相关性判别的特征图M进入解码器后，首先对该特征图M进行1×1卷积与四倍上采样得到特征图，再使编码阶段的深度卷积神经网络中的低级特征图进行1×1卷积操作得到特征图/>，接下来合并特征图/>与特征图/>，最后将合并后的结果进行3×3卷积与四倍上采样操作以得到粗分割结果特征图P。

进一步的，抗干扰能力增强阶段的类别信息指导过程，首先将通过粗分割阶段获得的粗分割结果特征图与粗分割结果特征图/>生成类别关系图U，具体过程为：

（1）是一个维度为H×W的二维矩阵，其上共有H×W个像素点，并以由左至右，由上至下的顺序为每个像素点标记像素点号，每个像素点上的数字代表着该像素被分到的类别，想要获得的类别关系图/>是一个维度为(H×W)×(H×W)的二维矩阵，类别关系图U上的值为：

；

其中表示类别关系图U上每个像素点上的值，/>代表第i个点位于粗分割结果特征图/>中的第几行，/>代表第i个点位于粗分割结果特征图/>中的第几列，/>代表第j个点位于粗分割结果特征图/>中的第几行，/>代表第j个点位于粗分割结果特征图/>中的第几列，/>代表第i个点被预测的类别，/>代表第j个点被预测的类别，其中/>，/>，/>；

（2）将粗分割结果特征图进行改变维度操作并使用1×1卷积调整其维度，使其变为/>，最终将类别关系图/>与粗分割结果特征图进行矩阵乘，再进行改变维度操作，最终得到经过类别信息指导的特征图。

进一步的，锚定信息注入过程，首先根据粗分割阶段获得的粗分割结果特征图与粗分割结果特征图/>生成锚，锚的定义方式如下：

以生成类别1对应的锚为例：首先通过粗分割结果特征图获知哪些像素点被分到了类别1，将这些像素点记录下来，接下来，在粗分割结果特征图/>中找到这些像素点对应的特征向量，并取其平均值，最终获得类别1所对应的锚/>，以此类推获取到n个类别所对应的锚，锚的数量为n个，维度为n×H×W。

进一步的，关系建模过程中，包括局部建模过程和全局建模过程，具体如下：

（1）首先对一张初始特征图进行划分区域的操作，得到/>个维度为/>的特征图L，并以由左至右，由上至下的顺序为每个特征图L标记区域号，其中R代表分割率，/>代表着每个区域所包含的像素数，为了方便全局关系建模过程的讲解，记第a行第b列的区域为/>，/>，其中/>，/>；

（2）接下来对每一个区域特征图进行自注意力机制的操作，也就是说在抗干扰能力增强阶段的关系建模模块中的局部关系建模阶段中每一个局部特征图L都进行自注意力机制的运算，在这一过程中，不是简单的对整张特征图进行自注意力机制操作，而是采用一种新的全局建模方式，具体的执行过程如下：

首先对输入的每一个区域的特征图进行变换维度的操作，使其变为，接下来特征图/>进入三个不同的多层感知机，以生成与自身相对应的三个不同的特征图Q、K、V，/>，其中特征图Q在自身要主动与其他的特征图进行注意力机制计算时所使用，特征图K在其他的特征图要与自身进行注意力计算时所使用，特征图V代表特征图中/>所蕴含的信息；

接下来将自身的Q特征图分别与除自身区域之外的K特征图的转置进行矩阵乘法并通过归一化指数函数，再将得到的结果乘以权重系数之后与自身的V特征图进行矩阵乘法操作，得到特征图/>，再进行变换维度操作，得到最终的特征图，其中权重系数/>定义如下：

；

其中代表第p个区域位于经过区域划分的特征图J中的第几行，/>代表第p个区域位于经过区域划分的特征图J中的第几列，/>代表第q个区域位于经过区域划分的特征图J中的第几行，/>代表第q个区域位于经过区域划分的特征图J中的第几列，其中，/>，/>；

（3）最后，将得到的个区域的特征图/>进行拼接并改变其维度，获得阶段分割特征图/>。

进一步的，通过阶段分割特征图获知在这一阶段模型将各个像素点预测为了何种类别，接下来，将在粗分割阶段结束后获得的n个维度为n×H×W的锚加到阶段分割特征图S中，对阶段分割特征图S进行锚定信息注入过程的具体的执行过程如下：以添加类别1对应的锚为例，首先通过阶段分割特征图/>获知哪些像素点被分到了类别1，将这些像素点记录下来，接下来，以对应元素相加的形式将类别1所对应的锚添加到阶段分割特征图S中被分到类别1的像素点的特征向量上；以此类推，将n个类别所对应的锚添加到各自对应的像素点上，最终完成锚定信息注入过程；接下来，阶段分割结果特征图将作为新的粗分割结果特征图重复上述操作N次，以获得最终分割结果。

与现有技术相比，本发明优点在于：

（1）本发明关注到了不同的海洋遥感图像自身有着不同的语义相关性的问题。经典的语义分割方法往往仅采用一个解码器对编码部分得到的特征图进行分析，但一个解码器往往难以同时准确的分析大小、颜色、形状等特征变化范围十分大的海洋遥感图像。针对这一问题本发明提出了基于语义相关性的解码方式，该解码方式的核心创新在于首先以特征间的语义相关性为依据对有着大小、颜色、形状等特征变化范围大的待分割目标的海洋遥感图像进行分类，对不同类别的海洋遥感图像采用不同的解码器对其解码，这使得各个解码器能够各司其职，精确的分析相应类别的海洋遥感图像中所蕴含的语义信息。

（2）本发明大幅提高了模型应对海洋遥感图像中复杂的干扰信息的能力。海洋遥感图像中包含大量复杂的干扰信息，如海洋遥感图像中时常会出现物体变形、物体遮挡、物体模糊等情况。针对这一问题，本发明首先提出了类别信息指导的过程，在这一过程后，能够更容易的捕获到各个类别间的联系，其次提出了关系建模模块，采用局部与全局相结合的建模方式大大增强了模型对于海洋遥感图像中存在的大量干扰信息的抵抗能力。最后，提出了锚定信息注入的方法，模型在生成阶段分割结果时会受到之前阶段的分割结果的指导，这意味着模型在生成某一个点的分割结果时会知道该点大概率是某一类别（上一阶段的分割结果），但如果此时模型给出的分割结果仍不同于上一阶段的分割结果，那么说明模型认为该分割结果具有非常高的可信度，这可以使模型最终的分割准确度得到提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明的自注意力机制的执行过程。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

如图1所示，本实施例提供一种基于语义相关性的强抗干扰海洋遥感图像语义分割方法，是在经典方法Deeplab V3+的基础之上改进而来的，包括粗分割阶段与抗干扰能力增强阶段，其中粗分割阶段分为编码阶段与基于语义相关性的解码阶段，具体步骤如下：

步骤一、编码阶段，仍采取经典的编码方式，使用深度卷积神经网络、空洞空间金字塔池化模块对输入的待分割的遥感图像进行特征提取，输出特征图，C、H、W分别为特征图M的通道数、高度、宽度。

步骤二、基于语义相关性的解码阶段，首先对编码阶段输出的特征图M的语义类别相关性进行判定，然后根据判定结果使用高、中、低不同类型的解码器处理相应类型的特征图，获得粗分割结果特征图P，作为抗干扰能力增强阶段的输入。

在基于语义相关性的解码阶段，将输入的特征图，采用K均值聚类算法对H×W个特征向量进行聚类，K均值聚类算法的原理是：随机设置k个簇的质心，根据最近邻理论将样本划分到每个簇中；然后，重新计算每个簇的质心，直到质心的变化小于给定值。

H×W个特征向量在经过K均值聚类算法聚类后会被分为n个类（待分割的遥感图像中的像素共有n个类别），每个类的数目记为k1、k2、k3……kn；接下来根据聚类结果进行语义相关性判定，指导特征进入符合其语义相关性的一个解码器，具体的判定过程为：

（1）设置语义相关性阈值1：，

（2）设置语义相关性阈值2：，

（3）设置语义相关性阈值3：，

（4）若max(k1，k2，k3……kn)位于阈值1与阈值2之间，则该特征图进入低语义相关性特征解码器；若max(k1，k2，k3……kn)位于阈值2与阈值3之间，则特征图进入中语义相关性特征解码器；若max(k1，k2，k3……kn)大于阈值3，则特征图进入高语义相关性特征解码器。

高、中、低三种类型的解码器采用相同的结构，具体表现为：当经过语义类别相关性判别的特征图M进入解码器后，首先对该特征图M进行1×1卷积与四倍上采样得到特征图，再使编码阶段的深度卷积神经网络中的低级特征图进行1×1卷积操作得到特征图/>，接下来合并特征图/>与特征图/>，最后将合并后的结果进行3×3卷积与四倍上采样操作以得到粗分割结果特征图P。

在这一过程中，不同类型的特征图虽然通过了结构相同的解码器，但当进行反向传播更新模型参数时，不同类型的解码器能够根据不同类型的特征图产生不同的参数，以达到有针对性的对不同类型的特征图进行解码的目的。

步骤三、抗干扰能力增强阶段，包括类别信息指导过程、关系建模过程与锚定信息注入过程。

1、类别信息指导过程首先从输入的粗分割结果特征图P中获得类别关系图U，然后通过构建类别关系矩阵的方式探索不同类别间的关系，加强了模型对于各类别特征的理解，得到经过类别信息指导的特征图J，作为抗干扰能力增强阶段中关系建模模块的输入。特征图在经过相应的解码器解码之后，获得了粗分割结果，接下来将进入抗干扰能力增强阶段的第一个部分——类别信息指导过程。首先将通过粗分割阶段获得的粗分割结果特征图与粗分割结果特征图/>生成类别关系图U，具体过程为：

（1）是一个维度为H×W的二维矩阵，其上共有H×W个像素点，并以由左至右，由上至下的顺序为每个像素点标记像素点号，每个像素点上的数字代表着该像素被分到的类别，想要获得的类别关系图/>是一个维度为(H×W)×(H×W)的二维矩阵，类别关系图U上的值为：

；

其中表示类别关系图U上每个像素点上的值，/>代表第i个点位于粗分割结果特征图/>中的第几行，/>代表第i个点位于粗分割结果特征图/>中的第几列，/>代表第j个点位于粗分割结果特征图/>中的第几行，/>代表第j个点位于粗分割结果特征图/>中的第几列，/>代表第i个点被预测的类别，/>代表第j个点被预测的类别，其中/>，/>，/>。

（2）将粗分割结果特征图进行改变维度操作并使用1×1卷积调整其维度，使其变为/>，最终将类别关系图/>与粗分割结果特征图/>进行矩阵乘，再进行改变维度操作，最终得到经过类别信息指导的特征图。

与此同时，根据粗分割阶段获得的粗分割结果特征图与粗分割结果特征图/>生成n个特征向量(锚)，锚的定义方式如下：以生成类别1对应的锚为例，首先通过粗分割结果特征图/>获知哪些像素点被分到了类别1，将这些像素点记录下来，接下来，在粗分割结果特征图/>中找到这些像素点对应的特征向量，并取其平均值，最终获得类别1所对应的锚/>，以此类推获取到n个类别所对应的锚，锚的数量为n个，维度为n×H×W。这n个锚将在锚定信息注入过程中起到关键作用。

2、关系建模过程通过关系建模模块实现，关系建模模块包括区域划分、基于自注意力机制的局部关系建模模块和全局关系建模模块，通过设计基于自注意力机制的局部关系建模模块与全局关系建模模块充分挖掘出海洋遥感图像中像素间的关系，输出阶段分割结果特征图S。

关系建模过程中，包括局部建模过程和全局建模过程，旨在通过充分挖掘海洋遥感图像中像素间的关系以达到增强模型对海洋遥感图像中存在的大量干扰信息的抵抗能力的目的。由于自注意力机制有着十分强大的全局建模能力，可以捕获到全局像素之间的依赖关系，所以以自注意力机制作为关系建模模块的核心，但直接从全局范围进行建模也存在着自身的问题，因为海洋遥感图像中存在着大量的干扰信息，自注意力机制在全局建模的过程中，往往难以处理如此大量的干扰信息，针对这一问题，本发明提出了局部与全局建模相结合的关系建模过程，并在这一过程中进行锚定信息注入的操作，最终实现了提升模型抗干扰能力的目标，提高语义分割精度。具体如下：

（1）首先对一张初始特征图进行划分区域的操作，得到/>个维度为/>的特征图L，并以由左至右，由上至下的顺序为每个特征图L标记区域号，其中R代表分割率，/>代表着每个区域所包含的像素数，经过区域划分的特征图L共有个区域（如图1中的立方体所示），为了方便全局关系建模过程的讲解，记第一行第一列的区域为/>，第一行第二列的区域为/>，以此类推，记第a行第b列的区域为/>，，其中/>，/>。

（2）接下来对每一个区域特征图进行自注意力机制的操作。在抗干扰能力增强阶段的关系建模模块中的局部关系建模阶段中每一个局部特征图L都进行自注意力机制的运算，在这一过程中，模型在包含较少干扰信息的区域中进行像素间依赖的捕获，这往往比直接在包含大量干扰信息的全局范围内进行像素间依赖的捕获的效果要好，但仅在局部范围内进行特征建模是不全面的，于是提出了全局关系建模过程，不是简单的对整张特征图进行自注意力机制操作，而是采用一种新的全局建模方式，结合图2所示，具体的执行过程如下：

首先对输入的每一个区域的特征图进行变换维度的操作，使其变为，接下来特征图/>进入三个不同的多层感知机，以生成与自身相对应的三个不同的特征图Q、K、V，/>，其中特征图Q在自身要主动与其他的特征图进行注意力机制计算时所使用，特征图K在其他的特征图要与自身进行注意力计算时所使用，特征图V代表特征图中/>所蕴含的信息；

接下来将自身的Q特征图分别与除自身区域之外的K特征图的转置进行矩阵乘法并通过归一化指数函数，得到特征图，这一特征图上的每一个像素点也有着自身的意义，那就是某一个点对于另一个点关注程度；再将得到的特征图/>乘以权重系数/>之后与自身的V特征图进行矩阵乘法操作，得到特征图/>，再进行变换维度操作，得到最终的特征图/>，其中权重系数/>定义如下：

；

其中代表第p个区域位于经过区域划分的特征图J中的第几行，/>代表第p个区域位于经过区域划分的特征图J中的第几列，/>代表第q个区域位于经过区域划分的特征图J中的第几行，/>代表第q个区域位于经过区域划分的特征图J中的第几列，其中，/>，/>。

（3）最后，将得到的个区域的特征图/>进行拼接并改变其维度，获得阶段分割特征图/>。

3、接下来就要进行锚定信息注入过程，这一过程旨在提升阶段分割结果的准确度，锚定信息注入过程首先从粗分割结果特征图P中获得锚定信息，然后注入阶段分割结果特征图S，使得模型的每一阶段分割结果都受到上一阶段分割结果的影响，提高了模型分割结果的可信度；接下来，注入锚定信息的阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导、关系建模、锚定信息注入操作3次，输出最终分割结果。

通过阶段分割特征图获知在这一阶段模型将各个像素点预测为了何种类别，接下来，将在粗分割阶段结束后获得的n个维度为n×H×W的锚加到阶段分割特征图S中，对阶段分割特征图S进行锚定信息注入过程的具体的执行过程如下：

以添加类别1对应的锚为例：首先通过阶段分割特征图获知哪些像素点被分到了类别1，将这些像素点记录下来，接下来，以对应元素相加的形式将类别1所对应的锚添加到阶段分割特征图S中被分到类别1的像素点的特征向量上；以此类推，将n个类别所对应的锚添加到各自对应的像素点上，最终完成锚定信息注入过程。

接下来，阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导操作、关系建模操作、锚定信息注入操作3次，以获得最终分割结果。

综上所述，本发明首先提出了基于语义相关性的解码方式，以特征间的语义相关性为依据对有着大小、颜色、形状等特征变化范围大的待分割目标的海洋遥感图像进行分类，最终达到对不同类别的海洋遥感图像采用不同的解码器进行解码的效果，分析海洋遥感图像中蕴含的语义信息，得到粗分割结果；然后对粗分割结果进行优化，提出了类别信息指导过程、关系建模过程和锚定信息注入过程，其中类别信息指导过程通过将类别关系图与粗分割结果特征图进行融合，使得模型能够更容易的捕获到各个类别间的联系，最终使得模型的分割结果更为精确；关系建模过程分为局部关系建模过程与全局关系建模过程，采用局部与全局相结合的建模方式大大增强了在语义分割时本发明对于海洋遥感图像中存在的大量干扰信息的抵抗能力；生成阶段分割结果时会受到之前阶段的分割结果的指导，锚定信息注入这一操作可以使得最终给出的阶段分割结果具有更高的可信度，从而达到提升最终分割准确度的效果。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (5)

1.基于语义相关性的强抗干扰海洋遥感图像语义分割方法，其特征在于，包括粗分割阶段与抗干扰能力增强阶段，其中粗分割阶段分为编码阶段与基于语义相关性的解码阶段，具体步骤如下：

步骤一、编码阶段，使用深度卷积神经网络、空洞空间金字塔池化模块对输入的待分割的遥感图像进行特征提取，输出特征图M；

步骤二、基于语义相关性的解码阶段，首先对编码阶段输出的特征图M的语义相关性进行判定，然后根据判定结果使用高语义相关性特征解码器或中语义相关性特征解码器或低语义相关性特征解码器处理相应类型的特征图，获得粗分割结果特征图P，作为抗干扰能力增强阶段的输入；

在基于语义相关性的解码阶段，将输入的特征图M∈R^C×H×W，C、H、W分别为特征图M的通道数、高度、宽度，采用K均值聚类算法对H×W个特征向量进行聚类，H×W个特征向量在经过K-Means聚类算法后会被分为n个类，每个类的数目记为k1、k2、k3........kn；接下来根据聚类结果进行语义相关性判定，指导特征进入符合其语义相关性的一个解码器，具体的判定过程为：

(1)设置语义相关性阈值1：

(2)设置语义相关性阈值2：

(3)设置语义相关性阈值3：

(4)若max(k1，k2，k3........kn)位于阈值1与阈值2之间，则该特征图进入低语义相关性特征解码器；若max(k1，k2，k3........kn)位于阈值2与阈值3之间，则特征图进入中语义相关性特征解码器；若max(k1，k2，k3........kn)大于阈值3，则特征图进入高语义相关性特征解码器；

步骤三、抗干扰能力增强阶段，包括类别信息指导过程、关系建模过程与锚定信息注入过程，其中，类别信息指导过程首先从输入的粗分割结果特征图P中获得类别关系图U，然后通过构建类别关系矩阵的方式探索不同类别间的关系，得到经过类别信息指导的特征图J，作为抗干扰能力增强阶段中关系建模模块的输入；类别信息指导过程具体如下：首先将通过粗分割阶段获得的粗分割结果特征图P∈T^n×H×W与粗分割结果Q∈R^H×W生成类别关系图U，具体过程为：

(1)Q∈R^H×W是一个维度为H×W的二维矩阵，其上共有H×W个像素点，并以由左至右，由上至下的顺序为每个像素点标记像素点号，每个像素点上的数字代表着该像素被分到的类别，想要获得的类别关系图U∈R^{(H×W)×(H×W)}是一个维度为(H×W)×(H×W)的二维矩阵，类别关系图U上的值为：

其中U_ij表示类别关系图U上每个像素点上的值，X_i代表第i个点位于粗分割结果特征图Q∈R^H×W中的第几行，Y_i代表第i个点位于粗分割结果特征图Q∈R^H×W中的第几列，X_j代表第j个点位于粗分割结果特征图Q∈R^H×W中的第几行，Y_j代表第j个点位于粗分割结果特征图Q∈R^H×W中的第几列，class(i)代表第i个点被预测的类别，class(j)代表第j个点被预测的类别，其中i，j∈[1，H×W]，X_i，X_j∈[1，H]，Y_i，Y_j∈[1，W]；

(2)将粗分割结果特征图P∈R^n×H×W进行改变维度操作并使用1×1卷积调整其维度，使其变为P₁∈R^(H×W)×C，最终将类别关系图U∈R^{(H×W)×(H×W)}与粗分割结果特征图P₁∈R^(H×W)×C进行矩阵乘，再进行改变维度操作，最终得到经过类别信息指导的特征图

J∈R^C×H×W；

关系建模过程通过关系建模模块实现，关系建模模块包括区域划分模块、基于自注意力机制的局部关系建模模块和基于自注意力机制的全局关系建模模块，通过设计基于自注意力机制的局部关系建模模块与基于自注意力机制的全局关系建模模块充分挖掘出海洋遥感图像中像素间的关系，输出阶段分割结果特征图S；

锚定信息注入过程首先从粗分割结果特征图P中获得锚定信息，然后注入阶段分割结果特征图S，使得模型的每一阶段分割结果都受到上一阶段分割结果的影响；接下来，注入锚定信息的阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导操作、关系建模操作、锚定信息注入操作2次，即类别信息指导操作、关系建模操作、锚定信息注入操作共执行3次，输出最终分割结果。

2.根据权利要求1所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法，其特征在于，高语义相关性特征解码器、中语义相关性特征解码器、低语义相关性特征解码器采用相同的结构，具体表现为：

当经过语义相关性判别的特征图M进入解码器后，首先对该特征图M进行进行1×1卷积与四倍上采样得到特征图A₁，再使编码阶段的深度卷积神经网络中的低级特征图进行1×1卷积操作得到特征图A₂，接下来合并特征图A₁与特征图A₂，最后将合并后的结果进行3×3卷积与四倍上采样操作以得到粗分割结果特征图P。

3.根据权利要求1所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法，其特征在于，锚定信息注入过程，首先根据粗分割阶段获得的粗分割结果特征图P∈R^n×H×W与粗分割结果特征图Q∈R^H×W生成锚，锚的定义方式如下：以生成类别1对应的锚为例，首先通过粗分割结果特征图Q∈R^H×W获知哪些像素点被分到了类别1，将这些像素点记录下来，接下来，在粗分割结果特征图P∈R^n×H×^W中找到这些像素点对应的特征向量，并取其平均值，最终获得类别1所对应的锚N₁∈Rⁿ，以此类推可以获取到n个类别所对应的锚，锚的数量为n个，维度为n×H×W。

4.根据权利要求1所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法，其特征在于，关系建模过程中，包括局部建模过程和全局建模过程，具体如下：

(1)首先对一张初始特征图J∈R^C×H×W进行划分区域的操作，得到个维度为C×R₁×R₂的特征图L，并以由左至右，由上至下的顺序为每个特征图L标记区域号，其中R代表分割率，R₁×R₂代表着每个区域所包含的像素数，为了方便全局关系建模过程的讲解，记第a行第b列的区域为L_a，b，L_a，b∈R^C×H×W，其中/>

(2)接下来对每一个区域特征图L_a，b进行自注意力机制的操作，也就是说在抗干扰能力增强阶段的关系建模模块中的局部关系建模阶段中每一个局部特征图L都进行自注意力机制的运算，在这一过程中，不是简单的对整张特征图进行自注意力机制操作，而是采用一种新的全局建模方式，具体的执行过程如下：

首先对输入的每一个区域的特征图L_a，b进行变换维度的操作，使其变为L_a，b∈R^(H×W)×c，接下来特征图L′_a，b∈R^(H×W)×C进入三个不同的多层感知机，以生成与自身相对应的三个不同的特征图Q、K、V，Q，K，V∈R^(H×W)×C，其中特征图Q在自身要主动与其他的特征图进行注意力机制计算时所使用，特征图K在其他的特征图要与自身进行注意力计算时所使用，特征图V代表特征图中L′_a，b∈R^(H×W)×C所蕴含的信息；

接下来将自身的Q特征图分别与除自身区域之外的K特征图的转置进行矩阵乘法并通过归一化指数函数，再将得到的结果乘以权重系数γ_p，q之后与自身的V特征图进行矩阵乘法操作，得到特征图F∈R^C×H×W，再进行变换维度操作，得到最终的特征图F′∈R^C×H×W，其中权重系数γ_p，q定义如下：

其中X_p代表第p个区域位于经过区域划分的特征图J中的第几行，Y_p代表第p个区域位于经过区域划分的特征图J中的第几列，X_q代表第q个区域位于经过区域划分的特征图J中的第几行，Y_q代表第q个区域位于经过区域划分的特征图J中的第几列，其中

(3)最后，将得到的个区域的特征图F′进行拼接并改变其维度，获得阶段分割特征图S∈R^n×H×W。

5.根据权利要求4所述的基于语义相关性的强抗干扰海洋遥感图像语义分割方法，其特征在于，通过阶段分割特征图S∈R^n×H×W，可以获知在这一阶段，模型将各个像素点预测为了何种类别，接下来，将在粗分割阶段结束后获得的n个维度为n×H×W的锚加到阶段分割特征图S中，对阶段分割特征图S进行锚定信息注入过程的具体的执行过程如下：以添加类别1对应的锚为例，首先通过阶段分割特征图S∈R^n×H×W获知哪些像素点被分到了类别1，将这些像素点记录下来，接下来，以对应元素相加的形式将类别1所对应的锚添加到阶段分割特征图S中被分到类别1的像素点的特征向量上；以此类推，可以将n个类别所对应的锚添加到各自对应的像素点上，最终完成锚定信息注入过程；接下来，阶段分割结果特征图将作为新的粗分割结果特征图重复类别信息指导操作、关系建模操作、锚定信息注入操作3次，以获得最终分割结果。