CN115984293A - 基于边缘感知注意力机制的空间目标分割网络及方法 - Google Patents

Abstract

本发明提供一种基于边缘感知注意力机制的空间目标分割网络及方法，空间目标分割网络包括：编码网络层，包括n层串联的第一卷积层；译码网络层，包括n‑1个边缘感知注意力机制结构、n‑1个特征选择融合结构和一层第二卷积层，边缘感知注意力机制结构与特征选择融合结构交替串联且与第二卷积层连接特征选择融合结构，第二卷积层连接与第n层第一卷积层；每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入；边缘感知注意力机制结构对目标边缘区域特征感知及相关性特征重构，特征选择融合结构对浅层边缘细节特征的选择性特征融合。

Description

基于边缘感知注意力机制的空间目标分割网络及方法

技术领域

本发明涉及空间目标图像分割等计算机视觉技术领域，尤其涉及一种基于边缘感知注意力机制的空间目标分割网络及方法。

背景技术

空间目标分割技术主要任务是从星空背景中分割出空间目标以及目标部件信息，便于后续对目标信息（属性、功能与意图）进一步判读，因此空间目标分割是空间态势感知技术的一个基础性关键技术。目前，主流图像分割技术的分割对象为街景、汽车、飞机、舰船等，针对空间目标的专用分割方法在行业内依然是空白。相较于普通自然图像与高分辨率遥感图像，天基光学观测图像具有宽幅大场景、光照不均、边缘模糊、过曝光严重等数据特点，上述数据特点严重地干扰图像特征提取。因此设计专用的空间目标分割方法是一件亟待解决问题。

基于注意力机制的深度神经网络具有强大的全局特征提取能力，能够捕捉对当前预测任务更具辨识力的特征，目前在计算机视觉和自然语言处理等领域获得了极其广泛的应用，能够很好地应用于空间目标分割方法。

然而，现有空间目标分割方法主流是基于Non-Local注意力机制的图像分割算法，得益于注意力机制强大的全局特征提取能力，使其在自然图像与高分辨率遥感图像分割领域取得了优异的性能与广泛的应用。但受限于Non-Local注意力机制原理与空间图像宽幅大场景特点，直接将基于Non-Local注意力机制的图像分割算法用于空间目标图像分割任务存在以下难点：

第一，权重矩阵参数量大，占用显存过多导致GPU显存爆炸。注意力权重参数矩阵的空间复杂度为O(HW*HW)，即参数量与计算量与图像尺寸值HW平方成正比，因此Non-local注意力机制计算过程中存储代价大。

第二，应用范围受限。由于特征图尺寸大小限制，极大地限制了Non-local注意力机制在稠密预测任务（如语义分割任务）的网络特征提取阶段应用，Non-Local结构难以在空间目标图像这类较大尺度特征图中使用。

第三，权重参数矩阵难以压缩，难以实现网络参数轻量化，对服务器硬件要求较高。

发明内容

针对上述技术问题，本发明提供一种基于边缘感知注意力机制的空间目标分割网络及方法，用于至少部分解决上述技术问题。

基于此，本发明一方面提供一种基于边缘感知注意力机制的空间目标分割网络，空间目标分割网络以UNet网络为基础，包括编码网络层、译码网络层和n-1个边缘预测器，n为大于等于2的整数；编码网络层包括n层第一卷积层，n层第一卷积层之间串联；译码网络层包括n-1个边缘感知注意力机制结构、n-1个特征选择融合结构和一层第二卷积层，沿图像传输方向，n-1个边缘感知注意力机制结构与n-1个特征选择融合结构交替串联且与第二卷积层连接的是特征选择融合结构，第二卷积层连接与第n层第一卷积层；每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入；其中，第一卷积层用于对空间目标图像进行卷积处理，以提取空间目标图像的第一特征图；边缘预测器用于根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息；特征选择融合结构用于选择性融合第一特征图中的边缘细节信息，得到第二特征图；边缘感知注意力机制结构用于基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构。

根据本发明的实施例，特征选择融合结构用于选择性融合第一特征图中的边缘细节信息包括：以第二卷积层或边缘感知注意力机制结构输出的第三特征图的高级语义特征为先验指导，经过卷积和激活处理生成特征权重图；将特征权重图与第一特征图进行点乘运算以对第一特征图中的边缘特征进行特征选择，将特征选择后的第一特征图与第三特征图融合，得到包含边缘细节信息的第二特征图。

根据本发明的实施例，边缘感知注意力机制结构用于基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构包括：根据边缘预测图确定目标边缘轮廓区域；根据目标边缘轮廓区域对第二特征图进行边缘特征采样，得到边缘特征；对边缘特征进行相关性计算，得到重构边缘特征；将重构边缘特征与边缘特征进行融合，得到融合边缘特征。

根据本发明的实施例，根据边缘预测图确定目标边缘轮廓区域包括：计算边缘预测图中各个像素点的置信概率；对各个像素点的置信概率按大小进行排序，根据置信概率偏大的前K个像素点确定目标边缘轮廓区域。

根据本发明的实施例，根据目标边缘轮廓区域对第二特征图进行边缘特征采样，得到边缘特征包括：根据

对第二特征图进行边缘特征采样，其中，F表示第二特征图，F _E 表示边缘特征，S _K (·)表示边缘特征采样过程，H，W，C分别表示第二特征图的长度、宽度以及通道数，K表示边缘特征采样的特征数量，κ表示采样率，

表示第二特征图在采样过程表征为一组K×C大小的矩阵，其中，采样率κ满足0.3≤κ≤0.5。

根据本发明的实施例，对边缘特征进行相关性计算，得到重构边缘特征包括：对边缘特征进行嵌入特征空间映射，得到第一嵌入特征、第二嵌入特征和第三嵌入特征；将第一嵌入特征和第二嵌入特征叉乘，得到相关性参数矩阵；对相关性参数矩阵标准化后与第三嵌入特征叉乘，得到重构边缘特征。

根据本发明的实施例，对边缘特征进行嵌入特征空间映射包括：根据

对边缘特征进行嵌入特征空间映射，其中，φ _E 、θ _E 、γ _E 分别表示第一嵌入特征、第二嵌入特征和第三嵌入特征，W _φ 、W _θ 、W _γ 分别表示φ _E 、θ _E 、γ _E 对应的线性映射矩阵，C ₀表示表示φ _E 、θ _E 、γ _E 对应的特征通道数。

根据本发明的实施例，将重构边缘特征与边缘特征进行融合，得到融合边缘特征包括：根据

进行特征融合，其中，O _E0表示融合边缘特征，O _E 表示重构边缘特征，F _E 表示边缘特征，W _v 为卷积运算，用于将重构边缘特征的特征通道数转换成与边缘特征一致，α表示边缘感知注意力机制结构的学习参数。

根据本发明的实施例，空间目标分割网络的训练过程为：在空间目标分割网络的训练的前期，边缘感知注意力机制结构不参与训练，在空间目标分割网络的训练的后期，边缘感知注意力机制结构参与梯度反传与网络训练。

本发明第二方面提供一种基于边缘感知注意力机制的空间目标分割方法，空间目标分割方法基于上述空间目标分割网络实现，包括：将空间目标图像输入编码网络层进行卷积处理，以提取空间目标图像的第一特征图；通过边缘预测器根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息；通过特征选择融合结构选择性融合第一特征图中的边缘细节信息，得到第二特征图；通过边缘感知注意力机制结构基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构；基于边缘细节信息、相关性特征重构和空间目标图像的非边缘特征输出目标分割图像。

根据本发明实施例提供的基于边缘感知注意力机制的空间目标分割网络及方法，至少包括以下有益效果：

该空间目标分割网络以UNet主干网络为基础，UNet主干网络采用“编码器-译码器”结构，基于编码阶段浅层卷积具有海量边缘细节信息，通过嵌入编码网络层的目标边缘预测器提供边缘先验信息，在译码阶段卷积网络的多层级特征图中嵌入三个边缘感知注意力机制结构（Edge Aware Module，简称EAM），增强了网络特征提取能力，提高了特征（尤其目标边缘特征）的类别可分离性，显著地提升了太空目标边缘轮廓分割准确性。在解码阶段边缘细节重建过程中，利用特征选择融合结构（Features Selection & Fusion Module，简称FSFM结构）的特征选择融合能力，选择性地融合编码阶段浅层特征图中的边缘细节信息，抑制空间图像的光照不均、边缘模糊等影响，避免浅层特征融合对译码阶段边缘重构的噪声干扰。

进一步地，该空间目标分割网络设置为一个多任务学习网络，包括图像分割任务与边缘分割任务；在网络训练过程中，基于输入空间目标图像、目标分割图像真值以及目标边缘图像真值，同时开展对图像分割与边缘分割任务训练，在网络训练早期（小于epoch迭代次数50%）关闭EAM结构功能，EAM结构不参与梯度反传与网络训练；在网络训练中后期（大于等于epoch迭代次数50%），EAM结构参与梯度反传与网络训练，这样降低网络训练难度，增强参数训练稳定性，有利于网络快速收敛，提高网络训练学习效率。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割网络的结构图。

图2示意性示出了本发明实施例提供的特征选择融合模块的结构图。

图3示意性示出了本发明实施例提供的边缘感知注意力机制结构的结构图。

图4示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

类似地，为了精简本发明并帮助理解各个公开方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。

针对现有基于Non-local注意力机制的图像分割算法用于空间目标图像分割任务存在的问题，本发明方案首先提出了边缘感知注意力机制结构（Edge Aware Module，简称EAM）以及特征选择融合结构（Features Selection & Fusion Module，简称FSFM），实现了对目标边缘区域特征感知与相关性特征重构以及对浅层边缘细节特征的选择性特征融合；最后将EAM与FSFM结构分别嵌入主流的UNet分割网络中，增强网络特征提取能力与边缘特征类间可分离性，抑制空间目标图像的光照不均、边缘模糊等影响，可以提高空间目标边缘分割准确性；同时压缩了权重矩阵的参数量，实现了神经网络的轻量化。

图1示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割网络的结构图。

如图1所示，空间目标分割网络以UNet网络为基础，包括编码网络层、译码网络层和n-1个边缘预测器，n为大于等于2的整数。

编码网络层包括n层第一卷积层，n层第一卷积层之间串联。

译码网络层包括n-1个边缘感知注意力机制结构、n-1个特征选择融合结构和一层第二卷积层，沿图像传输方向，n-1个边缘感知注意力机制结构与n-1个特征选择融合结构交替串联且与第二卷积层连接的是特征选择融合结构，第二卷积层连接与第n层第一卷积层。

每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入。

在本发明实施例中，第一卷积层用于对空间目标图像进行卷积处理，以提取空间目标图像的第一特征图。

在本发明实施例中，边缘预测器用于根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息。

示例性地，以4层第一卷积层为例，4层第一卷积层依次记为Stage 1、Stage 2、Stage 3和Stage 4。空间目标分割网络中包含三组边缘预测器，分别连接于深度卷积层Stage 1、Stage 2、Stage 3层后，用于二值化目标边缘分割结果预测任务，一方面为后续边缘感知注意力机制结构提供边缘先验信息，另一方面与图像分割任务构成多任务学习，提高整个卷积网络性能。

记空间目标分割网络输入的空间目标图像为I，则与之对应的第m个stage卷积层的二值化边缘真值图记为：

也即Y ^m 由共计|I|个像素点真值组成。

第m个stage卷积层预测器输出边缘预测图记为：

则第m个stage卷积层边缘预测器损失函数为：

则边缘分割任务的总损失函数为：

其中，参数η表示图像真值图Y ^m 中边缘点与非边缘点的数量比值，用于解决训练过程正负样本不均问题。

应当理解，图1所示的空间目标分割网络的第一卷积层的层数为4是示例性的，具体层数可以根基实际应用需求设置，本发明不做限制。

在本发明实施例中，特征选择融合结构用于选择性融合第二特征图中的边缘细节信息。

特征选择融合模块（FSFM）核心功能以译码阶段高级语义特征为先验，指导网络学习选择性地融合编码阶段特征图中边缘细节信息，抑制空间图像的光照不均、边缘模糊等影响，避免浅层特征融合对译码阶段边缘重构的噪声干扰。具体地，选择性融合第二特征图中的边缘细节信息可以包括：

以第二卷积层或边缘感知注意力机制结构输出的第三特征图的高级语义特征为先验指导，经过卷积和激活处理生成特征权重图。将特征权重图与第一特征图进行点乘运算以对第一特征图中的边缘特征进行特征选择，将特征选择后的第一特征图与第三特征图融合，得到边缘细节信息。

图2示意性示出了本发明实施例提供的特征选择融合模块的结构图。

如图2所示，FSFM以编码器（第一卷积层）第一特征图

、解码器（第二卷积层或EAM结构）第三特征图

为输入，以融合特征图

为输出。以第一特征图F _en 的高级语义特征为先验指导，经过卷积层与sigmoid激活函数生成特征权重图

，再将成特征权重图W与第一特征图F _en 进行位置点乘运算对第一特征图F _en 进行特征选择，最后将经过特征选择后的第一特征图与第三特征图F _de 进行融合，得到包含边缘细节信息的第二特征图，具体如下：

其中，δ(·)表示参数标准化，实际中采用sigmoid激活函数实现，Conv(·)表示卷积操作，H，W，C分别表示第一特征图或第三特征图的长度、宽度以及通道数，

表示第一特征图或第三特征图的矩阵格式，

表示第一特征图F _en 表示在运算过程中表征为一组H×W×C大小的矩阵。

在本发明实施例中，边缘感知注意力机制结构用于基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构。

边缘感知注意力机制模块（EAM）功能核心以边缘信息为先验，对边缘区域特征进行相关性特征重构，增大了边缘特征类间距离进而增强了类别可分离性，显著地提升了目标边缘轮廓分割准确性。具体地，对第二特征图中的边缘特征进行相关性特征重构可以包括：

根据边缘预测图确定目标边缘轮廓区域。根据目标边缘轮廓区域对第二特征图进行边缘特征采样，得到边缘特征。对边缘特征进行相关性计算，得到重构边缘特征。将重构边缘特征与边缘特征进行融合，得到融合边缘特征。

图3示意性示出了本发明实施例提供的边缘感知注意力机制结构的结构图。

如图3所示，EAM结构以解码器（特征选择融合结构）的第二特征图

边缘预测器的边缘预测图P _edge 为输入，以边缘相关性重构特征图O为输出。

首先，EAM结构将边缘预测图P _edge 的边缘预测结果按照置信概率大小进行排序，选取置信概率最大的M个点确定为目标边缘轮廓区域，构建边缘特征集合E，另外第二特征图F中其他特征构成集合U。

然后，依据边缘预测图P _edge 的目标先验边缘轮廓区域，对第二特征图

对应位置进行边缘特征采样，并将K个特征构成边缘特征F _E 。具体地，根据

对第二特征图进行边缘特征采样，其中，F表示第二特征图，F _E 表示边缘特征，S _K (·)表示边缘特征采样过程，H，W，C分别表示第二特征图的长度、宽度以及通道数，K表示边缘特征采样的特征数量，κ表示采样率，

表示第二特征图在采样过程表征为一组K×C大小的矩阵，其中，采样率κ满足0.3≤κ≤0.5，也即边缘采样特征数应占特征总数的30%~50%，此时采样效果最佳。

进一步地，对边缘特征进行相关性计算，得到重构边缘特征可以包括对边缘特征进行嵌入特征空间映射，得到第一嵌入特征、第二嵌入特征和第三嵌入特征。将第一嵌入特征和第二嵌入特征叉乘，得到相关性参数矩阵。对相关性参数矩阵标准化后与第三嵌入特征叉乘，得到重构边缘特征。

可以根据

对边缘特征F _E 进行嵌入特征空间映射，其中，φ _E 、θ _E 、γ _E 分别表示第一嵌入特征、第二嵌入特征和第三嵌入特征，W _φ 、W _θ 、W _γ 分别表示φ _E 、θ _E 、γ _E 对应的线性映射矩阵，可以为1×1卷积层学习的参数，可以是，C ₀表示表示φ _E 、θ _E 、γ _E 对应的特征通道数。

将第二嵌入特征θ _E 转置后与第一嵌入特征φ _E 进行矩阵乘法运算，生成相关性参数矩阵V _E ，具体如下：

再对相关性参数矩阵V _E 进行标准化处理：

其中，f(·)表示标准化函数，实际中采用softmax激活函数实现参数矩阵标准化。

最后，计算输出重构边缘特征O _E ：

进一步地，将重构边缘特征与边缘特征进行融合，得到融合边缘特征包括：

进行特征融合，其中，O _E0表示融合边缘特征，O _E 表示重构边缘特征，F _E 表示边缘特征，W _v 为卷积运算，可以为1×1卷积层，用于将重构边缘特征的特征通道数从C ₀转换成C保持与边缘特征的特征通道数一致，α表示边缘感知注意力机制结构的学习参数。

则EAM结构输出特征O为：

其中，F _U 表示第二特征图F中出边缘特征F _E 之外的其他特征。

基于EAM结构输出特征O即可输出目标分割图像。

需要说明的是，常规Non-local注意力机制权重参数矩阵的参数量为O(HW×HW)，EAM结构参数矩阵的参数量为O(K×K)，因此EAM结构与常规注意力机制权重参数矩阵大小比值为：

一般地，（依据分割性能调节）边缘采样率κ满足0.3≤κ≤0.5，故0.09≤κ ²≤0.25，因此EAM结构的权重参数矩阵大小仅仅相当于常规注意力机制的9%至25%。因此，EAM结构能够极大地压缩权重参数矩阵的参数量，降低注意力机制的计算量和内存占用量。

进一步地，空间目标分割网络训练可以基于Adam训练方法，配合学习率参数采用Warp up策略以及余弦指数衰减方法，实现空间目标分割网络多任务（图像分割任务与边缘分割任务）学习；相较于单任务学习，多任务学习能够取得更好的训练效果，网络模型具备更强的泛化能力。

空间目标分割网络的训练过程为：在空间目标分割网络的训练的前期，边缘感知注意力机制结构不参与训练，在空间目标分割网络的训练的后期，边缘感知注意力机制结构参与梯度反传与网络训练。

示例性地，在网络训练早期（小于epoch迭代次数50%）关闭EAM结构功能，EAM结构不参与网络训练；在网络训练中后期（大于等于epoch迭代次数50%），EAM结构参与梯度反传与网络训练，可以降低网络训练难度，增强参数训练稳定性，有利于网络快速收敛，提高网络训练学习效率。

记空间目标分割网络输入的空间目标图像为I，则与之对应的图像分割真值图为：

也即Y _j 由共计|I|个像素点真值组成。

空间目标分割网络输出的分割结果图为：

空间目标分割网络分割任务的损失函数为：

其中，β为超参数，一般可以设置为2。

则空间目标分割网络的总损失函数为：

其中，ρ为超参数，可根据训练效果调节，一般情况下设置为2~10。

综上所述，空间目标分割网络采用边缘感知注意力机制模块，以目标边缘预测为先验信息，感知边缘区域特征并进行相关性特征重构，有效地提升了边缘特征的类别可分离性以及目标边缘轮廓分割的准确性，同时降低权重参数矩阵的参数量和计算量，压缩了中GPU显存占用量。采用特征选择融合模块指导网络有选择性地融合编码阶段特征图中边缘细节信息，抑制了浅层特征融合对译码阶段边缘重构的噪声干扰，改善了空间图像的光照不均、边缘模糊等因素对目标边缘分割性能的不利影响。采用多任务学习方法，将图像分割任务与目标边缘分割任务整合到分割网络同步学习训练，具有取得更好的训练效果，提高了网络模型的泛化能力。此外，相比于Non-local注意力结构，该空间目标分割网络极大地增强了对大尺寸特征图的适应性，可作为应对宽幅空间目标图像分割任务的专用分割方法。

基于同一发明构思，本发明实施例还提供一种基于边缘感知注意力机制的空间目标分割方法，该空间目标分割方法基于上述空间目标分割网络实现。

图4示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割方法流程图。

如图4所示，该空间目标分割方法可以包括操作S401~操作S405。

在操作S401，将空间目标图像输入编码网络层进行卷积处理，以提取空间目标图像的第一特征图。

在操作S402，通过边缘预测器根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息。

在操作S403，通过特征选择融合结构选择性融合第一特征图中的边缘细节信息，得到第二特征图。

在操作S404，通过所述边缘感知注意力机制结构基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构。

在操作S405，基于边缘细节信息、相关性特征重构和空间目标图像的非边缘特征输出目标分割图像。

需要说明的是，空间目标分割方法实施例部分的实施细节及带来的技术效果与空间目标分割网络实施例部分的实施细节及带来的技术效果对应，此处不再赘述。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述空间目标分割网络以UNet网络为基础，包括编码网络层、译码网络层和n-1个边缘预测器，n为大于等于2的整数；

所述编码网络层包括n层第一卷积层，n层第一卷积层之间串联；

所述译码网络层包括n-1个边缘感知注意力机制结构、n-1个特征选择融合结构和一层第二卷积层，沿图像传输方向，n-1个边缘感知注意力机制结构与n-1个特征选择融合结构交替串联且与所述第二卷积层连接的是特征选择融合结构，所述第二卷积层连接与第n层第一卷积层；

每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入；

其中，所述第一卷积层用于对空间目标图像进行卷积处理，以提取所述空间目标图像的第一特征图；所述边缘预测器用于根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息；所述特征选择融合结构用于选择性融合所述第一特征图中的边缘细节信息，得到第二特征图；所述边缘感知注意力机制结构用于基于所述边缘先验信息对所述第二特征图中的边缘特征进行相关性特征重构。

2.根据权利要求1所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述特征选择融合结构用于选择性融合所述第一特征图中的边缘细节信息包括：

以所述第二卷积层或所述边缘感知注意力机制结构输出的第三特征图的高级语义特征为先验指导，经过卷积和激活处理生成特征权重图；

将所述特征权重图与所述第一特征图进行点乘运算以对所述第一特征图中的边缘特征进行特征选择，将特征选择后的第一特征图与所述第三特征图融合，得到包含所述边缘细节信息的第二特征图。

3.根据权利要求1所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述边缘感知注意力机制结构用于基于所述边缘先验信息对所述第二特征图中的边缘特征进行相关性特征重构包括：

根据所述边缘预测图确定目标边缘轮廓区域；

根据所述目标边缘轮廓区域对所述第二特征图进行边缘特征采样，得到边缘特征；

对所述边缘特征进行相关性计算，得到重构边缘特征；

将所述重构边缘特征与所述边缘特征进行融合，得到融合边缘特征。

4.根据权利要求3所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述根据所述边缘预测图确定目标边缘轮廓区域包括：

计算所述边缘预测图中各个像素点的置信概率；

对各个像素点的置信概率按大小进行排序，根据置信概率偏大的前K个像素点确定目标边缘轮廓区域。

5.根据权利要求3所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，根据所述目标边缘轮廓区域对所述第二特征图进行边缘特征采样，得到边缘特征包括：

根据

对第二特征图进行边缘特征采样，其中，F表示所述第二特征图，F _E 表示所述边缘特征，S _K (·)表示边缘特征采样过程，H，W，C分别表示所述第二特征图的长度、宽度以及通道数，K表示边缘特征采样的特征数量，κ表示采样率，

表示所述第二特征图在采样过程表征为一组K×C大小的矩阵，其中，采样率κ满足0.3≤κ≤0.5。

6.根据权利要求3所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，对所述边缘特征进行相关性计算，得到重构边缘特征包括：

对所述边缘特征进行嵌入特征空间映射，得到第一嵌入特征、第二嵌入特征和第三嵌入特征；

将所述第一嵌入特征和所述第二嵌入特征叉乘，得到相关性参数矩阵；

对所述相关性参数矩阵标准化后与所述第三嵌入特征叉乘，得到所述重构边缘特征。

7.根据权利要求6所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，对所述边缘特征进行嵌入特征空间映射包括：

根据

对所述边缘特征进行嵌入特征空间映射，其中，φ _E 、θ _E 、γ _E 分别表示第一嵌入特征、第二嵌入特征和第三嵌入特征，W _φ 、W _θ 、W _γ 分别表示φ _E 、θ _E 、γ _E 对应的线性映射矩阵，C ₀表示表示φ _E 、θ _E 、γ _E 对应的特征通道数。

8.根据权利要求3所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，将所述重构边缘特征与所述边缘特征进行融合，得到融合边缘特征包括：

根据

进行特征融合，其中，O _E0表示所述融合边缘特征，O _E 表示重构边缘特征，F _E 表示所述边缘特征，W _v 为卷积运算，用于将重构边缘特征的特征通道数转换成与所述边缘特征一致，α表示边缘感知注意力机制结构的学习参数。

9.根据权利要求1所述的基于边缘感知注意力机制的空间目标分割网络，其特征在于，所述空间目标分割网络的训练过程为：在空间目标分割网络的训练的前期，所述边缘感知注意力机制结构不参与训练，在空间目标分割网络的训练的后期，所述边缘感知注意力机制结构参与梯度反传与网络训练。

10.一种基于边缘感知注意力机制的空间目标分割方法，其特征在于，所述空间目标分割方法基于权利要求1-9任意一项所述空间目标分割网络实现，包括：

将空间目标图像输入编码网络层进行卷积处理，以提取所述空间目标图像的第一特征图；

通过边缘预测器根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息；

通过特征选择融合结构选择性融合所述第一特征图中的边缘细节信息，得到第二特征图；

通过所述边缘感知注意力机制结构基于所述边缘先验信息对所述第二特征图中的边缘特征进行相关性特征重构；

基于所述边缘细节信息、所述相关性特征重构和所述空间目标图像的非边缘特征输出目标分割图像。

Images