CN115984850A - 基于改进Deeplabv3+的轻量级遥感影像语义分割方法 - Google Patents

Abstract

本发明涉及一种基于改进Deeplabv3+的轻量级遥感影像语义分割方法，包括：通过遥感卫星获取不同情景下的图像，得到数据集；在数据集中选定分割对象，对分割对象进行语义标注和分割，进行图像增强，在图像增强后将整个数据集划分为训练集、测试集和验证集；构建改进的DeepLabv3+网络模型，采用训练集训练改进的DeepLabv3+网络模型；将测试集中的测试图像输入训练后的改进的DeepLabv3+网络模型，选定分割对象为田地、建筑群或水域，并保存语义分割的结果图像。本发明基于改进的DeepLabv3+网络模型，训练参数量较小、精度较高、边缘分割更细腻、有效改善孔洞问题；本发明系统针对田地、建筑群、水域多种分割对象，便于不同场景使用，智能便捷。

Description

基于改进Deeplabv3+的轻量级遥感影像语义分割方法

技术领域

本发明涉及图像语义分割技术领域，尤其是一种基于改进Deeplabv3+的轻量级遥感影像语义分割方法。

背景技术

随着遥感传感器的光谱分辨率不断提高，人们对地物光谱属性、特征的认知也不断深入，许多隐藏在狭窄光谱范围内的地物特性逐渐得以发现，大大加速了遥感技术的发展，使高光谱遥感成为21世纪遥感领域重要的研究方向之一。相较于传统测量手段，其具有高时间分辨率、高空间分辨率、低人力成本等优势，可较为精确、动态地采集分析地理数据，因此被广泛应用于城市规划、土地农作物监测、气候预报等多个领域。

其中，基于目标的分割是遥感图像处理中的关键技术。针对目标的分割，部分传统分割方法需要手动确定阈值，提取的过程较为复杂，且对图像中的噪点和异常值较为敏感，分割效果和泛化能力较差。面对复杂环境的遥感图像，传统图像分割技术也难以达到较高的精度和较好的效果，无法满足实际应用中的需求。

发明内容

为解决分割效果差的缺陷，本发明的目的在于提供一种训练参数量较小、精度较高、边缘分割更细腻的基于改进Deeplabv3+的轻量级遥感影像语义分割方法。

为实现上述目的，本发明采用了以下技术方案：一种基于改进Deeplabv3+的轻量级遥感影像语义分割方法，该方法包括下列顺序的步骤：

(1)数据采集：通过遥感卫星获取不同情景下的图像，并转换为jpg格式的三通道图像，得到数据集；

(2)数据预处理：在数据集中选定分割对象，对分割对象进行语义标注和分割，进行图像增强，在图像增强后将整个数据集划分为训练集、测试集和验证集；

(3)网络模型的创建和训练：构建改进的DeepLab v3+网络模型，采用训练集训练改进的DeepLab v3+网络模型，得到训练后的改进的DeepLab v3+网络模型及其参数；

(4)测试阶段：将测试集中的测试图像输入训练后的改进的DeepLab v3+网络模型，选定分割对象为田地、建筑群或水域，并保存语义分割的结果图像。

所述步骤(1)具体是指：分别采集含建筑群、农田、水域不同场景的卫星遥感图像，将多通道的高光谱图像转换为三通道的jpg格式图像，得到数据集，用于特征提取。

所述步骤(2)具体包括以下步骤：

(2a)选定分割对象，使用图像标注工具Lableme对图像中建筑群、农田、水域进行标记，标记后进行分割，将图像分割为500×500的图像；

(2b)对分割后的图像进行数据增强，随机进行水平或竖直翻转，添加随机噪声，对数据集进行扩充，将扩充后的数据集按7：2：1的比例依次划分为训练集、测试集和验证集。

所述步骤(3)具体包括以下步骤：

(3a)构建改进的DeepLab v3+网络模型，使用轻量级网络MobileNet v2作为主干网络；

(3b)在编码区Encoder中，通过连续使用3个膨胀系数为1、2、3的空洞卷积作为HDC模块替代空洞空间卷积池化金字塔ASPP中原有的卷积，为保证感受野不变，使用一个HDC模块替代膨胀率为6的卷积，使用两个HDC模块替代膨胀率为12的卷积，使用三个HDC模块替代膨胀率为18的卷积，卷积时覆盖低层特征层的方形区域，以改善网格效应带来的孔洞问题；

HDC模块为遵循HDC原则的空洞卷积，定义两个非非零元素之间的最大距离公式：

其中，M_i是第i层两个非零元素之间的最大距离，r_i为第i层的膨胀系数。为避免网格效应造成的损失，需满足第i层两个非零元素之间的最大距离M_i≤卷积核大小K；

(3c)在空洞空间卷积池化金字塔ASPP中，使用带状池化模块替代原有的全局平均池化模块，分别通过垂直池化和水平池化构建通道间的依赖关系，从不同空间维度收集信息；

垂直池化时，对特征图x中的每一列像素值进行相加再求均值，垂直条带池化后的输出y^v∈R^W为1xW的行向量：

水平池化时，对特征图x中的每一行像素值进行相加再求均值，水平条带合并后的输出y^h∈R^H为H×1的列向量：

其中，输入特征x∈R^C×H×W为输入张量，C表示通道数，H表示特征图的高，W表示特征图的宽；输出y^h∈R^H为H×1的列向量，输出y^v∈R^W为1xW的行向量，i，j分别表示特征图的第i行和第j列；

为获得包含更有用的全局先验的输出z∈R^C×H×W，进行扩展操作后得到y^h∈R^C×H和y^v∈R^C×W，组合得出y∈R^C×H×W：

输出z为：

z＝Scale(x,σ(f(y))) (5)

其中，Scale()表示元素乘法，σ是Sigmoid函数，f是1×1卷积；

(3d)在解码区Decoder中，从主干网络中提取第4、7两层浅层特征施加基于标准化的注意力机制NAM，其后构建ResNet50模块，使用先降维再升维的卷积快，并将其中3×3的卷积替换为膨胀率为4的空洞卷积，丰富细节特征；

基于标准化的注意力机制NAM使用批量标准化的比例因子，通过稀疏的权重惩罚和标准偏差来表示通道的重要性，基于标准化的注意力机制NAM包括通道注意力子模块和空间注意力子模块，通道注意力机制为：

其中，

表示小批量B的均值；σ_B表示B的标准差；γ和β分别表示缩放因子和位移；ε为较小的数，避免分母为0；Bin表示B的输入值，Bout表示B的输出值

对输入特征图通道维度中的信息进行归一化，施加权重后最后得到的输出特征如下：

M_c＝sigmoid(W_γ(BN(F₁)))    (7)

其中，γ是缩放因子，M_C表示输出特征，W_γ表示该通道的权重，F₁表示输入的特征图；

空间注意力子模块对输入特征图空间中的每个像素使用同样的归一化方法，最后得到的输出特征为：

M_s＝sigmoid(W_λ(BN_s(F₂)))    (8)

其中，λ是每个通道的缩放因子，M_s表示输出特征，W_λ表示该通道的权重，F₂表示输入的特征图；

(3e)选择交叉熵作为算法的损失，平均交并比mIoU和平均像素精确度mPA作为评价指标，从预测像素正确的部分在预测像素和真实像素的并集中的比例，以及正确像素占总像素的比例两个角度来对网络模型的训练效果进行评价；

交叉熵为：

其中，y_i为某个像素的真值，二分类任务中真值为0或1；

为某个像素的预测值；n为每次计算损失的样本量；

平均交并比mIoU和平均像素精确度mPA的计算公式如下：

其中，TP表示真正例，即模型预测为正例，实际是正例；FP表示假正例，模型预测为正例，实际是反例；FN表示假反例，模型预测为反例，实际是正例。

所述步骤(4)具体包括以下步骤：

(4a)保存针对不同分割对象的预训练的模型参数；

(4b)将测试集中的测试图像输入训练后的改进的DeepLab v3+网络模型，，选定分割对象为田地、建筑群或水域，输出对应分割结果后，保存语义分割的结果图像。

由上述技术方案可知，本发明的有益效果为：第一，本发明基于改进的DeepLab v3+网络模型，训练参数量较小、精度较高、边缘分割更细腻、有效改善孔洞问题；第二，本发明系统针对田地、建筑群、水域多种分割对象，便于不同场景使用，智能便捷；第三，本发明方法鲁棒性较好，可适用于复杂环境下的语义分割，在二分类、多分类的实际分割中，相较原模型的平均交并比mIoU和平均像素精确度mPA均有提升。

附图说明

图1为本发明的方法流程图；

图2为本发明中原始DeepLab v3+网络结构对比图；

图3为本发明中改进的DeepLab v3+网络结构图；

图4为本发明中HDC模块的示意图；

图5为本发明中条带池化模块的示意图；

图6为本发明中改进的ResNet50模块的示意图；

图7为本发明中的通道注意力机制图；

图8为本发明中的空间注意力机制图。

具体实施方式

如图1所示，一种基于改进Deeplabv3+的轻量级遥感影像语义分割方法，该方法包括下列顺序的步骤：

(1)数据采集：通过遥感卫星获取不同情景下的图像，并转换为jpg格式的三通道图像，得到数据集；

(2)数据预处理：在数据集中选定分割对象，对分割对象进行语义标注和分割，进行图像增强，在图像增强后将整个数据集划分为训练集、测试集和验证集；

(3)网络模型的创建和训练：构建改进的DeepLab v3+网络模型，采用训练集训练改进的DeepLab v3+网络模型，得到训练后的改进的DeepLab v3+网络模型及其参数；

(4)测试阶段：将测试集中的测试图像输入训练后的改进的DeepLab v3+网络模型，选定分割对象为田地、建筑群或水域，并保存语义分割的结果图像。

所述步骤(1)具体是指：分别采集含建筑群、农田、水域不同场景的卫星遥感图像，将多通道的高光谱图像转换为三通道的jpg格式图像，得到数据集，用于特征提取。

所述步骤(2)具体包括以下步骤：

(2a)选定分割对象，使用图像标注工具Lableme对图像中建筑群、农田、水域进行标记，标记后进行分割，将图像分割为500×500的图像；

(2b)对分割后的图像进行数据增强，随机进行水平或竖直翻转，添加随机噪声，对数据集进行扩充，将扩充后的数据集按7：2：1的比例依次划分为训练集、测试集和验证集。

所述步骤(3)具体包括以下步骤：

(3a)构建改进的DeepLab v3+网络模型，使用轻量级网络MobileNet v2作为主干网络；

(3b)在编码区Encoder中，通过连续使用3个膨胀系数为1、2、3的空洞卷积作为HDC模块替代空洞空间卷积池化金字塔ASPP中原有的卷积，为保证感受野不变，使用一个HDC模块替代膨胀率为6的卷积，使用两个HDC模块替代膨胀率为12的卷积，使用三个HDC模块替代膨胀率为18的卷积，卷积时覆盖低层特征层的方形区域，以改善网格效应带来的孔洞问题；

HDC模块为遵循HDC原则的空洞卷积，定义两个非非零元素之间的最大距离公式：

其中，M_i是第i层两个非零元素之间的最大距离，r_i为第i层的膨胀系数。为避免网格效应造成的损失，需满足第i层两个非零元素之间的最大距离M_i≤卷积核大小K；

(3c)在空洞空间卷积池化金字塔ASPP中，使用带状池化模块替代原有的全局平均池化模块，分别通过垂直池化和水平池化构建通道间的依赖关系，从不同空间维度收集信息；

垂直池化时，对特征图x中的每一列像素值进行相加再求均值，垂直条带池化后的输出y^v∈R^W为1xW的行向量：

水平池化时，对特征图x中的每一行像素值进行相加再求均值，水平条带合并后的输出y^h∈R^H为H×1的列向量：

其中，输入特征x∈R^C×H×W为输入张量，C表示通道数，H表示特征图的高，W表示特征图的宽；输出y^h∈R^H为H×1的列向量，输出y^v∈R^W为1xW的行向量，i，j分别表示特征图的第i行和第j列；

为获得包含更有用的全局先验的输出z∈R^C×H×W，进行扩展操作后得到y^h∈R^C×H和y^v∈R^C×W，组合得出y∈R^C×H×W：

输出z为：

z＝Scale(x，σ(f(y)))    (5)

其中，Scale()表示元素乘法，σ是Sigmoid函数，f是1×1卷积；

(3d)在解码区Decoder中，从主干网络中提取第4、7两层浅层特征施加基于标准化的注意力机制NAM，其后构建ResNet50模块，使用先降维再升维的卷积快，并将其中3×3的卷积替换为膨胀率为4的空洞卷积，丰富细节特征；

基于标准化的注意力机制NAM使用批量标准化的比例因子，通过稀疏的权重惩罚和标准偏差来表示通道的重要性，基于标准化的注意力机制NAM包括通道注意力子模块和空间注意力子模块，如图7、8所示，通道注意力机制为：

其中，

表示小批量B的均值；σ_B表示B的标准差；γ和β分别表示缩放因子和位移；e为较小的数，避免分母为0；Bin表示B的输入值，Bout表示B的输出值

对输入特征图通道维度中的信息进行归一化，施加权重后最后得到的输出特征如下：

M_c＝sigmoid(W_γ(BN(F₁)))   (7)

其中，γ是缩放因子，M_C表示输出特征，W_γ表示该通道的权重，F₁表示输入的特征图；

空间注意力子模块对输入特征图空间中的每个像素使用同样的归一化方法，最后得到的输出特征为：

M_s＝sigmoid(W_λ(BN_s(F₂)))       (8)

其中，λ是每个通道的缩放因子，M_s表示输出特征，W_λ表示该通道的权重，F₂表示输入的特征图；

(3e)选择交叉熵作为算法的损失，平均交并比mIoU和平均像素精确度mPA作为评价指标，从预测像素正确的部分在预测像素和真实像素的并集中的比例，以及正确像素占总像素的比例两个角度来对网络模型的训练效果进行评价；交叉熵为：

其中，y_i为某个像素的真值，二分类任务中真值为0或1；

为某个像素的预测值；n为每次计算损失的样本量；平均交并比mIoU和平均像素精确度mPA的计算公式如下：

其中,TP表示真正例，即模型预测为正例，实际是正例；FP表示假正例，模型预测为正例，实际是反例；FN表示假反例，模型预测为反例，实际是正例。

所述步骤(4)具体包括以下步骤：

(4a)保存针对不同分割对象的预训练的模型参数；

(4b)将测试集中的测试图像输入训练后的改进的DeepLab v3+网络模型，，选定分割对象为田地、建筑群或水域，输出对应分割结果后，保存语义分割的结果图像。

如图2、3所示，本发明采用轻量级网络MoibleNet v2作为主干网络，降低模型参数量；在加强特征提取网络中，将原网络中的标准空洞卷积替换成HDC模块，有效解决网格效应，并将传统空间平均池化替换为带状池化模块，丰富局部细节；解码器中，低层特征融合后添加ResNet50的网络残差模块，进一步获取低层丰富的目标边缘特征信息；并添加NAM注意力机制，增强浅层的语义信息，增强网络捕捉小目标对象特征信息的能力。

下表表1为本发明中MobileNet v2结构参数，主要由深度可分离卷积组成，作为特征提取网络训练时精度虽略有下降，但其倒残差结构大大改善了网络性能，降低参数量，提高网络效率。其中，Input表示每层输入的通道数，Operator包括深度可分离卷积(bottleneck)、普通卷积(conv2d)、平均池化(avgpool)，t表示倒残差结构中1×1卷积升维的倍率，c是输出通道个数，n表示bottleneck重复的次数，s表示步距；

表1

Layer	Input	Operator	t	c	n	s	r
								1	3	Conv2d	-	32	1	2	1
2	32	bottleneck	1	16	1	1	1
								3	16	bottleneck	6	24	2	2	1
4	24	bottleneck	6	32	3	2	1
								5	32	bottleneck	6	64	4	1	1
6	64	bottleneck	6	96	3	1	1
								7	96	bottleneck	6	160	3	1	4
8	160	bottleneck	6	320	1	1	1

如图4所示，HDC模块遵循HDC原则的空洞卷积，具体来说，为连续使用3个膨胀系数为1，2，3的空洞卷积。如图5所示，可利用水平和垂直条带池化操作来收集来自不同空间维度的远程上下文。如图6所示，使用先降维再升维的卷积块，对低层特征图的语义信息进一步细化，并将ResNet50中的3×3的卷积替换为空洞卷积，膨胀率为4。

如下表表2所示，展示了改进前后在三个数据集上的mIou和mPA参数值。

表2

综上所述，本发明基于改进的DeepLab v3+网络模型，训练参数量较小、精度较高、边缘分割更细腻、有效改善孔洞问题；本发明系统针对田地、建筑群、水域多种分割对象，便于不同场景使用，智能便捷。

Claims (5)

1.一种基于改进Deeplabv3+的轻量级遥感影像语义分割方法，其特征在于：该方法包括下列顺序的步骤：

(1)数据采集：通过遥感卫星获取不同情景下的图像，并转换为jpg格式的三通道图像，得到数据集；

(2)数据预处理：在数据集中选定分割对象，对分割对象进行语义标注和分割，进行图像增强，在图像增强后将整个数据集划分为训练集、测试集和验证集；

(3)网络模型的创建和训练：构建改进的DeepLab v3+网络模型，采用训练集训练改进的DeepLab v3+网络模型，得到训练后的改进的DeepLab v3+网络模型及其参数；

(4)测试阶段：将测试集中的测试图像输入训练后的改进的DeepLab v3+网络模型，选定分割对象为田地、建筑群或水域，并保存语义分割的结果图像。

2.根据权利要求1所述的基于改进Deeplabv3+的轻量级遥感影像语义分割方法，其特征在于：所述步骤(1)具体是指：分别采集含建筑群、农田、水域不同场景的卫星遥感图像，将多通道的高光谱图像转换为三通道的jpg格式图像，得到数据集，用于特征提取。

3.根据权利要求1所述的基于改进Deeplabv3+的轻量级遥感影像语义分割方法，其特征在于：所述步骤(2)具体包括以下步骤：

(2a)选定分割对象，使用图像标注工具Lableme对图像中建筑群、农田、水域进行标记，标记后进行分割，将图像分割为500×500的图像；

(2b)对分割后的图像进行数据增强，随机进行水平或竖直翻转，添加随机噪声，对数据集进行扩充，将扩充后的数据集按7：2：1的比例依次划分为训练集、测试集和验证集。

4.根据权利要求1所述的基于改进Deeplabv3+的轻量级遥感影像语义分割方法，其特征在于：所述步骤(3)具体包括以下步骤：

(3a)构建改进的DeepLab v3+网络模型，使用轻量级网络MobileNet v2作为主干网络；

(3b)在编码区Encoder中，通过连续使用3个膨胀系数为1、2、3的空洞卷积作为HDC模块替代空洞空间卷积池化金字塔ASPP中原有的卷积，为保证感受野不变，使用一个HDC模块替代膨胀率为6的卷积，使用两个HDC模块替代膨胀率为12的卷积，使用三个HDC模块替代膨胀率为18的卷积，卷积时覆盖低层特征层的方形区域，以改善网格效应带来的孔洞问题；

HDC模块为遵循HDC原则的空洞卷积，定义两个非非零元素之间的最大距离公式：

其中，M_i是第i层两个非零元素之间的最大距离，r_i为第i层的膨胀系数。为避免网格效应造成的损失，需满足第i层两个非零元素之间的最大距离M_i≤卷积核大小K；

(3c)在空洞空间卷积池化金字塔ASPP中，使用带状池化模块替代原有的全局平均池化模块，分别通过垂直池化和水平池化构建通道间的依赖关系，从不同空间维度收集信息；

垂直池化时，对特征图x中的每一列像素值进行相加再求均值，垂直条带池化后的输出y^v∈R^W为1xW的行向量：

水平池化时，对特征图x中的每一行像素值进行相加再求均值，水平条带合并后的输出y^h∈R^H为H×1的列向量：

其中，输入特征x∈R^C×H×W为输入张量，C表示通道数，H表示特征图的高，W表示特征图的宽；输出y^h∈R^H为H×1的列向量，输出y^v∈R^W为1xW的行向量，i，j分别表示特征图的第i行和第j列；

为获得包含更有用的全局先验的输出z∈R^C×H×W，进行扩展操作后得到y^h∈R^C×H和y^v∈R^{C ×W}，组合得出y∈R^C×H×W：

输出z为：

z＝Scale(x,σ(f(y)))    (5)

其中，Scale()表示元素乘法，σ是Sigmoid函数，f是1×1卷积；

(3d)在解码区Decoder中，从主干网络中提取第4、7两层浅层特征施加基于标准化的注意力机制NAM，其后构建ResNet50模块，使用先降维再升维的卷积快，并将其中3×3的卷积替换为膨胀率为4的空洞卷积，丰富细节特征；

基于标准化的注意力机制NAM使用批量标准化的比例因子，通过稀疏的权重惩罚和标准偏差来表示通道的重要性，基于标准化的注意力机制NAM包括通道注意力子模块和空间注意力子模块，通道注意力机制为：

其中，

表示小批量B的均值；σ_Β表示B的标准差；γ和β分别表示缩放因子和位移；ε为较小的数，避免分母为0；Bin表示B的输入值，Bout表示B的输出值

对输入特征图通道维度中的信息进行归一化，施加权重后最后得到的输出特征如下：

M_c＝sigmoid(W_γ(BN(F₁)))       (7)

其中，γ是缩放因子，M_C表示输出特征，W_γ表示该通道的权重，F₁表示输入的特征图；

空间注意力子模块对输入特征图空间中的每个像素使用同样的归一化方法，最后得到的输出特征为：

M_s＝sigmoid(W_λ(BN_s(F₂)))     (8)

其中，λ是每个通道的缩放因子，M_s表示输出特征，W_λ表示该通道的权重，F₂表示输入的特征图；

(3e)选择交叉熵作为算法的损失，平均交并比mIoU和平均像素精确度mPA作为评价指标，从预测像素正确的部分在预测像素和真实像素的并集中的比例，以及正确像素占总像素的比例两个角度来对网络模型的训练效果进行评价；

交叉熵为：

其中，y_i为某个像素的真值，二分类任务中真值为0或1；

为某个像素的预测值；n为每次计算损失的样本量；

平均交并比mIoU和平均像素精确度mPA的计算公式如下：

其中,TP表示真正例，即模型预测为正例，实际是正例；FP表示假正例，模型预测为正例，实际是反例；FN表示假反例，模型预测为反例，实际是正例。

5.根据权利要求1所述的基于改进Deeplabv3+的轻量级遥感影像语义分割方法，其特征在于：所述步骤(4)具体包括以下步骤：

(4a)保存针对不同分割对象的预训练的模型参数；

(4b)将测试集中的测试图像输入训练后的改进的DeepLab v3+网络模型，，选定分割对象为田地、建筑群或水域，输出对应分割结果后，保存语义分割的结果图像。

Images