CN114723948B - 基于分层次细节增强的高分辨率遥感图像语义分割方法 - Google Patents

Abstract

本发明涉及一种基于分层次细节增强的高分辨率遥感图像语义分割方法，包括：采集高分辨率遥感图像数据，构建高分辨率遥感图像数据集，对高分辨率遥感图像数据进行标注和预处理；建立语义分割网络，向语义分割网络中输入高分辨率遥感图像数据集中的高分辨率遥感图像数据，语义分割网络生成分割图。本发明能够有效实现在高分辨率遥感图像上精准分割，在分辨率为0.3m的高分辨率遥感图像数据集上取得了更好的效果；针对高分辨率遥感图像语义分割存在的边界细节模糊的缺点，采用分层次细节增强的方式，对高层特征和低层特征分别采用不同方式进行细节增强。

Description

基于分层次细节增强的高分辨率遥感图像语义分割方法

技术领域

本发明涉及图像分割技术领域，尤其是一种基于分层次细节增强的高分辨率遥感图像语义分割方法。

背景技术

随着卫星技术的进步，遥感图像的分辨率也不断提升，遥感图像的应用场景也更加广泛。遥感图像的语义分割是将影像中不同的地物类型按照其不同的光谱特征区分出来，是影像目标自动化提取与智能识别的重要手段。虽然高分辨率遥感图像提供了更多的地物特征和细节，但是其复杂性和多样性也给高分辨率遥感图像上进行语义分割带来了困难。

高分辨率遥感图像分割效果受以下三个因素影响：保持高分辨率、全局上下文信息和边界细节。首先，因为高分辨率图像在分割操作之前被切割成碎片，导致结构破坏从而破坏了空间信息、细节信息和上下文信息；其次，由于仅利用局部信息很难区分类别，因此应使用全局上下文信息来帮助搜索图像中的类别相关性；最后，由于卫星的运动，目标的边界往往模糊，导致分类效果下降。

因此，需要一种对高分辨率遥感图像在保持上下文信息的同时进行精细化的语义分割方法。

发明内容

本发明的目的在于提供一种能够有效地实现在高分辨率遥感图像上精准分割，在分辨率为0.3m的高分辨率遥感图像数据集上取得更好效果的基于分层次细节增强的高分辨率遥感图像语义分割方法。

为实现上述目的，本发明采用了以下技术方案：一种基于分层次细节增强的高分辨率遥感图像语义分割方法，该方法包括下列顺序的步骤：

(1)采集高分辨率遥感图像数据，构建高分辨率遥感图像数据集，对高分辨率遥感图像数据进行标注和预处理；

(2)建立语义分割网络，向语义分割网络中输入高分辨率遥感图像数据集中的高分辨率遥感图像数据，语义分割网络生成分割图。

所述步骤(2)具体包括以下步骤：

(2a)以基于滑动窗口与注意力机制的层次化语义分割网络作为基准模型，生成共四张分辨率大小不一的特征图{L₁，L₂，L₃，L₄}，对特征图L₂进行上采样后与特征图L₁合并得到低层特征图F_low，对特征图L₄进行上采样后与特征图L₃合并得到高层特征图F_high；

(2b)对低层特征图F_low采用边界和主体分离的方式，提取出边界特征图F_edge和主体特征图F_body；

(2c)对高层特征图F_high采用细节增强模块得到特征图F′_high后与边界特征图F_edge进行结合，结合后的特征图经过交叉卷积和通道注意力模块获得特征图F_r；

(2d)对特征图F_r和主体特征图F_body进行结合，生成细化边缘的特征图P₁；

(2e)对特征图L₄采用交叉细节解码器生成特征图P₂，对特征图P₁采用交叉细节解码器生成特征图P₃；

(2f)将特征图P₂和特征图P₃进行结合生成预测特征图，对预测特征图进行线性回归后生成最后的分割图。

在步骤(2a)中，所述以基于滑动窗口与注意力机制的层次化语义分割网络作为基准模型，生成共四张分辨率大小不一的特征图{L₁，L₂，L₃，L₄}，具体包括以下步骤：

(2a1)基于滑动窗口与注意力机制的层次化语义分割网络首先通过面片分割模块将输出的RGB图像分割为非重叠面片；

(2a2)每个非重叠面片视作一个标志，标志中包含图像像素级的特征；

(2a3)基于滑动窗口与注意力机制的层次化语义分割网络包含4个阶段，每个阶段均包括多个语义分割网络模块，每个语义分割网络模块均由多头自注意力机制和移动窗口的自注意力机制构成；

(2a4)每个标志首先经过补丁合并成不同分辨率大小的特征图后，经过语义分割网络模块，生成不同分辨率大小的特征图{L₁，L₂，L₃，L₄}。

所述步骤(2b)具体包括以下步骤：

(2b1)对低层特征图F_low进行流场生成，通过对低层特征图F_low进行下采样生成低频特征图再对低频特征图进行上采样得到与低层特征图F_low同样大小的特征图

(2b2)将低层特征图F_low、低频特征图特征图进行连接后使用3×3的卷积层进行压缩处理，获得低层预测特征图M；

(2b3)对低层特征图F_low进行特征扭曲，对每个在原始标准图像上的位置p_i的像素点重新分配一个新的坐标位置p_i+M(p_i)，使用可微双线性采样机制逼近每个在主体特征图F_body中的像素点p_x，所述可微双线性采样机制的公式如下：

其中，N代表p_i的4个最近邻像素点的集合，n代表该集合中的一个像素点，m_n为扭曲空间网格上的双线性核权重，通过低层预测特征图M计算得来；

(2b4)边界特征图F_edge通过低层特征图F_low与主体特征图F_body相减得来，即：

F_edge＝F_low-F_body。

所述步骤(2c)具体包括以下步骤：

(2c1)所述细节增强模块由交叉卷积构成，交叉卷积由两个不对称的垂直滤波器k_1×t和k_t×1组成，其中，滤波器k_1×t的感受野大小为1×t，滤波器k_t×1的感受野大小为t×1；设交叉卷积的输入特征为则输出特征由输入特征和垂直滤波器的卷积加上偏差b组成，计算公式如下：

(2c2)高层特征图F_high通过细节增强模块后获得特征图，对该特征图经过上采样获得和低层特征图F_low相同大小的特征图F′_high；

(2c3)特征图F′_high和边界特征图F_edge进行结合后经过交叉卷积和通道注意力模块得到特征图F_r。

所述步骤(2d)具体是指：

将主体特征图F_body和特征图F_r进行结合，得到细化边缘的特征图P₁，计算公式如下：

P₁＝F_r+F_body。

所述步骤(2e)具体包括以下步骤：

(2e1)所述交叉细节解码器从主干网络上获得特征图L₃、L₄以及类别信息cls₃、cls₄，其中其中，Nc表示类别数量，表示阶段i的第k个类；

(2e2)特征图L₃、L₄对应标志z₃、z₄，标志z₃、z₄通过线性变化转变成对应的k、v，类别信息cls₃、cls₄通过线性变化成q，标志z₃、z₄经过交叉注意层的操作如下：

k＝z_iW_k，v＝z_iW_v，q＝cls_iW_q

其中，W_k，W_v，W_q表示可调整的参数，D表示维度，h表示设置的交叉注意力机制的头部，CA表示经过交叉注意层后的输出特征；i等于3或4；

(2e3)经过交叉注意层后获得的输出特征，作为输入特征进入多层感知层，多层感知层增加交叉细节分支，多层感知层的计算公式如下：

x₁＝FC(x_in，θ₁)

x_out＝FC(σ(x₁+CS(x₁))，θ₂)

其中，x_in表示输入改进后的多层感知层的特征，x_out表示输出的特征，CS表示增加的交叉卷积模块分支，θ₁和θ₂表示可选的参数，FC表示全连接层，σ表示激活函数；

(2e4)特征图L₄在完成交叉细节解码器得到对应的特征图P₂，特征图P₁完成交叉细节解码器得到对应特征图P₃。

由上述技术方案可知，本发明的有益效果为：第一，本发明能够有效实现在高分辨率遥感图像上精准分割，在分辨率为0.3m的高分辨率遥感图像数据集上取得了更好的效果；第二，针对高分辨率遥感图像语义分割存在的边界细节模糊的缺点，采用分层次细节增强的方式，对高层特征和低层特征分别采用不同方式进行细节增强；第三，本发明为细节增强后的高层特征和低层特征增加交叉细节解码器，在实现细节增强的同时实现上下文信息和全局信息的交互，从而更好的恢复到高分辨率图像映射；第四，不同于普通的单分支或者只针对某个特征层的细化，本发明综合利用高层特征中包含更多的上下文信息，低层特征保持了更高的分辨率，对高层特征和低层特征进行细节增强后实现两层特征图结合有效的利用高层特征和低层特征包含的优势。

附图说明

图1为本发明的方法流程图；

图2为本发明中语义分割网络的结构图；

图3为在高分辨率遥感图像数据集上的某一个数据样本彩色图；

图4为数据样本标注图；

图5为本发明输出的实验效果图。

具体实施方式

如图1所示，一种基于分层次细节增强的高分辨率遥感图像语义分割方法，该方法包括下列顺序的步骤：

(1)采集高分辨率遥感图像数据，构建高分辨率遥感图像数据集，对高分辨率遥感图像数据进行标注和预处理；

(2)建立语义分割网络，向语义分割网络中输入高分辨率遥感图像数据集中的高分辨率遥感图像数据，语义分割网络生成分割图。

所述步骤(2)具体包括以下步骤：

(2a)以基于滑动窗口与注意力机制的层次化语义分割网络作为基准模型，生成共四张分辨率大小不一的特征图{L₁，L₂，L₃，L₄}，对特征图L₂进行上采样后与特征图L₁合并得到低层特征图F_low，对特征图L₄进行上采样后与特征图L₃合并得到高层特征图F_high；

(2b)对低层特征图F_low采用边界和主体分离的方式，提取出边界特征图F_edge和主体特征图F_body；

(2c)对高层特征图F_high采用细节增强模块得到特征图F′_high后与边界特征图F_edge进行结合，结合后的特征图经过交叉卷积和通道注意力模块获得特征图F_r；

(2d)对特征图F_r和主体特征图F_body进行结合，生成细化边缘的特征图P₁；

(2e)对特征图L₄采用交叉细节解码器生成特征图P₂，对特征图P₁采用交叉细节解码器生成特征图P₃；

(2f)将特征图P₂和特征图P₃进行结合生成预测特征图，对预测特征图进行线性回归后生成最后的分割图。

如图2所示，在步骤(2a)中，所述以基于滑动窗口与注意力机制的层次化语义分割网络作为基准模型，生成共四张分辨率大小不一的特征图{L1，L2，L3，L4}，具体包括以下步骤：

(2a1)基于滑动窗口与注意力机制的层次化语义分割网络首先通过面片分割模块将输出的RGB图像分割为非重叠面片；

(2a2)每个非重叠面片视作一个标志，标志中包含图像像素级的特征；

(2a3)基于滑动窗口与注意力机制的层次化语义分割网络包含4个阶段，每个阶段均包括多个语义分割网络模块，每个语义分割网络模块均由多头自注意力机制和移动窗口的自注意力机制构成；

(2a4)每个标志首先经过补丁合并成不同分辨率大小的特征图后，经过语义分割网络模块，生成不同分辨率大小的特征图{L₁，L₂，L₃，L₄}。

所述步骤(2b)具体包括以下步骤：

(2b1)对低层特征图F_low进行流场生成，通过对低层特征图F_low进行下采样生成低频特征图再对低频特征图进行上采样得到与低层特征图F_low同样大小的特征图

(2b2)将低层特征图F_low、低频特征图特征图进行连接后使用3×3的卷积层进行压缩处理，获得低层预测特征图M；

(2b3)对低层特征图F_low进行特征扭曲，对每个在原始标准图像上的位置p_i的像素点重新分配一个新的坐标位置p_i+M(p_i)，使用可微双线性采样机制逼近每个在主体特征图F_body中的像素点p_x，所述可微双线性采样机制的公式如下：

其中，N代表p_i的4个最近邻像素点的集合，n代表该集合中的一个像素点，m_n为扭曲空间网格上的双线性核权重，通过低层预测特征图M计算得来；

(2b4)边界特征图F_edge通过低层特征图F_low与主体特征图F_body相减得来，即：

F_edge＝F_low-F_body。

所述步骤(2c)具体包括以下步骤：

(2c1)所述细节增强模块由交叉卷积构成，交叉卷积由两个不对称的垂直滤波器k_1×t和k_t×1组成，其中，滤波器k_1×t的感受野大小为1×t，滤波器k_t×1的感受野大小为t×1；设交叉卷积的输入特征为则输出特征由输入特征和垂直滤波器的卷积加上偏差b组成，计算公式如下：

(2c2)高层特征图F_high通过细节增强模块后获得特征图，对该特征图经过上采样获得和低层特征图F_low相同大小的特征图F′_high；

(2c3)特征图F′_high和边界特征图F_edge进行结合后经过交叉卷积和通道注意力模块得到特征图F_r。

所述步骤(2d)具体是指：

将主体特征图F_body和特征图F_r进行结合，得到细化边缘的特征图P₁，计算公式如下：

P₁＝F_r+F_body。

所述步骤(2e)具体包括以下步骤：

(2e1)所述交叉细节解码器从主干网络上获得特征图L₃、L₄以及类别信息cls₃、cls₄，其中其中，Nc表示类别数量，表示阶段i的第k个类；

(2e2)特征图L₃、L₄对应标志z₃、z₄，标志z₃、z₄通过线性变化转变成对应的k、v，类别信息cls₃、cls₄通过线性变化成q，标志z₃、z₄经过交叉注意层的操作如下：

k＝z_iW_k，v＝z_iW_v，q＝cls_iW_q

其中，W_k，W_v，W_q表示可调整的参数，D表示维度，h表示设置的交叉注意力机制的头部，CA表示经过交叉注意层后的输出特征；i等于3或4；

(2e3)经过交叉注意层后获得的输出特征，作为输入特征进入多层感知层，多层感知层增加交叉细节分支，多层感知层的计算公式如下：

x₁＝FC(x_in，θ₁)

x_out＝FC(σ(x₁+CS(x₁))，θ₂)

其中，x_in表示输入改进后的多层感知层的特征，x_out表示输出的特征，CS表示增加的交叉卷积模块分支，θ₁和θ₂表示可选的参数，FC表示全连接层，σ表示激活函数；

(2e4)特征图L₄在完成交叉细节解码器得到对应的特征图P₂，特征图P₁完成交叉细节解码器得到对应特征图P₃。

如图3所示，高分辨率遥感图像数据集上的某一个数据样本彩色图为分辨率为0.3m的遥感图像，图像中包含树林、建筑物、农田、道路等等。

如图4所示，数据样本标注图是对图3高分辨率遥感图像标注后的图像，为相同类型的事物标注同一种色彩，不同类型的事物标注不同色彩。数据样本标注图均为人工标注。

如图5所示，本发明方法输出的实验效果图，数据样本输入分层次细节增强的高分辨率遥感图像语义分割网络中得到分割图。

综上所述，本发明能够有效实现在高分辨率遥感图像上精准分割，在分辨率为0.3m的高分辨率遥感图像数据集上取得了更好的效果；针对高分辨率遥感图像语义分割存在的边界细节模糊的缺点，采用分层次细节增强的方式，对高层特征和低层特征分别采用不同方式进行细节增强。

Claims (5)

1.一种基于分层次细节增强的高分辨率遥感图像语义分割方法，其特征在于：该方法包括下列顺序的步骤：

(1)采集高分辨率遥感图像数据，构建高分辨率遥感图像数据集，对高分辨率遥感图像数据进行标注和预处理；

(2)建立语义分割网络，向语义分割网络中输入高分辨率遥感图像数据集中的高分辨率遥感图像数据，语义分割网络生成分割图；

所述步骤(2)具体包括以下步骤：

(2a)以基于滑动窗口与注意力机制的层次化语义分割网络作为基准模型，生成共四张分辨率大小不一的特征图{L₁,L₂,L₃,L₄}，对特征图L₂进行上采样后与特征图L₁合并得到低层特征图F_low，对特征图L₄进行上采样后与特征图L₃合并得到高层特征图F_high；

(2b)对低层特征图F_low采用边界和主体分离的方式，提取出边界特征图F_edge和主体特征图F_body；

(2c)对高层特征图F_high采用细节增强模块得到特征图F′_high后与边界特征图F_edge进行结合，结合后的特征图经过交叉卷积和通道注意力模块获得特征图F_r；

(2d)对特征图F_r和主体特征图F_body进行结合，生成细化边缘的特征图P₁；

(2e)对特征图L₄采用交叉细节解码器生成特征图P₂，对特征图P₁采用交叉细节解码器生成特征图P₃；

(2f)将特征图P₂和特征图P₃进行结合生成预测特征图，对预测特征图进行线性回归后生成最后的分割图；

所述步骤(2b)具体包括以下步骤：

(2b1)对低层特征图F_low进行流场生成，通过对低层特征图F_low进行下采样生成低频特征图再对低频特征图进行上采样得到与低层特征图F_low同样大小的特征图

(2b2)将低层特征图F_low、低频特征图特征图进行连接后使用3×3的卷积层进行压缩处理，获得低层预测特征图M；

(2b3)对低层特征图F_low进行特征扭曲，对每个在原始标准图像上的位置p_i的像素点重新分配一个新的坐标位置p_i+M(p_i)，使用可微双线性采样机制逼近每个在主体特征图F_body中的像素点p_x，所述可微双线性采样机制的公式如下：

其中，N代表p_i的4个最近邻像素点的集合，n代表该集合中的一个像素点，m_n为扭曲空间网格上的双线性核权重，通过低层预测特征图M计算得来；

(2b4)边界特征图F_edge通过低层特征图F_low与主体特征图F_body相减得来，即：

F_edge＝F_low-F_body。

2.根据权利要求1所述的基于分层次细节增强的高分辨率遥感图像语义分割方法，其特征在于：在步骤(2a)中，所述以基于滑动窗口与注意力机制的层次化语义分割网络作为基准模型，生成共四张分辨率大小不一的特征图{L₁,L₂,L₃,L₄}，具体包括以下步骤：

(2a1)基于滑动窗口与注意力机制的层次化语义分割网络首先通过面片分割模块将输出的RGB图像分割为非重叠面片；

(2a2)每个非重叠面片视作一个标志，标志中包含图像像素级的特征；

(2a3)基于滑动窗口与注意力机制的层次化语义分割网络包含4个阶段，每个阶段均包括多个语义分割网络模块，每个语义分割网络模块均由多头自注意力机制和移动窗口的自注意力机制构成；

(2a4)每个标志首先经过补丁合并成不同分辨率大小的特征图后，经过语义分割网络模块，生成不同分辨率大小的特征图{L₁,L₂,L₃,L₄}。

3.根据权利要求1所述的基于分层次细节增强的高分辨率遥感图像语义分割方法，其特征在于：所述步骤(2c)具体包括以下步骤：

(2c1)所述细节增强模块由交叉卷积构成，交叉卷积由两个不对称的垂直滤波器k_1×t和k_t×1组成，其中，滤波器k_1×t的感受野大小为1×t，滤波器k_t×1的感受野大小为t×1；设交叉卷积的输入特征为则输出特征由输入特征和垂直滤波器的卷积加上偏差b组成，计算公式如下：

(2c2)高层特征图F_high通过细节增强模块后获得特征图，对该特征图经过上采样获得和低层特征图F_low相同大小的特征图F′_high；

(2c3)特征图F′_high和边界特征图F_edge进行结合后经过交叉卷积和通道注意力模块得到特征图F_r。

4.根据权利要求1所述的基于分层次细节增强的高分辨率遥感图像语义分割方法，其特征在于：所述步骤(2d)具体是指：

将主体特征图F_body和特征图F_r进行结合，得到细化边缘的特征图P₁，计算公式如下：

P₁＝F_r+F_body。

5.根据权利要求1所述的基于分层次细节增强的高分辨率遥感图像语义分割方法，其特征在于：所述步骤(2e)具体包括以下步骤：

(2e1)所述交叉细节解码器从主干网络上获得特征图L₃、L₄以及类别信息cls₃、cls₄，其中其中，Nc表示类别数量，表示阶段i的第k个类；

(2e2)特征图L₃、L₄对应标志z₃、z₄，标志z₃、z₄通过线性变化转变成对应的k、v，类别信息cls₃、cls₄通过线性变化成q，标志z₃、z₄经过交叉注意层的操作如下：

k＝z_iW_k,v＝z_iW_v,q＝cls_iW_q

其中，W_k，W_v，W_q表示可调整的参数，W_k，W_v，W_q均D表示维度，h表示设置的交叉注意力机制的头部，CA表示经过交叉注意层后的输出特征；i等于3或4；

(2e3)经过交叉注意层后获得的输出特征，作为输入特征进入多层感知层，多层感知层增加交叉细节分支，多层感知层的计算公式如下：

x₁＝FC(x_in,θ₁)

x_out＝FC(σ(x₁+CS(x₁)),θ₂)

其中，x_in表示输入改进后的多层感知层的特征，x_out表示输出的特征，CS表示增加的交叉卷积模块分支，θ₁和θ₂表示可选的参数，FC表示全连接层，σ表示激活函数；

(2e4)特征图L₄在完成交叉细节解码器得到对应的特征图P₂，特征图P₁完成交叉细节解码器得到对应特征图P₃。