CN112348820B - 基于深度辨别性增强网络的遥感影像语义分割方法 - Google Patents

Abstract

本发明提供了一种基于深度辨别性增强网络的遥感影像语义分割方法，该方法主要包括：S1深度辨别性增强网络训练；S2基于深度辨别性增强网络的高分影像语义分割推断；S3语义分割后处理。该基于深度卷积神经网络的高分辨率遥感影像语义分割方法，针对高分辨率遥感影像语义分割中类内差异大，类间差异小造成的错分问题，提出了一种具有普适性的损失函数，提升深度特征的辨别能力，且是一种端到端高分辨率遥感影像语义分割框架，无需人工干预。

Description

基于深度辨别性增强网络的遥感影像语义分割方法

技术领域

本发明光学遥感图像处理技术领域，尤其涉及一种基于深度辨别性增强网络的遥感影像语义分割方法。

背景技术

随着对地观测技术的快速发展，高分辨率遥感影像已经可以大量获取，为地理国情普查、精细农业、环境监测等提供了坚实的数据基础。相较于中低分辨率遥感，高分辨率遥感呈现了更加精细的空间细节信息,使得遥感地物目标的精细识别成为可能。然而随着空间分辨率的提高，高分影像也面临着可用波段少、地物目标可变性大等问题，为高分辨率遥感影像分类带来了挑战。目前高分辨率遥感影像已经发展出了基于频谱变换的分类方法，基于条件随机场的方法，面向对象的分类方法和基于深度学习的方法等。

深度学习作为一种数据驱动的模型方法，可以有效地从数据中自动学习特征，无需专家先验，已经被成功应用于遥感高分辨率遥感影像语义分割，如道路提取、建筑物提取、地表覆盖分类等。如论文“Multi-Scale and Multi-Task Deep Learning Frameworkfor Automatic Road Extraction.IEEE Transactions on Geoscience and RemoteSensing,2019.57(11):9362-9377”通过构建多任务卷及神经网络同时提取道路和道路中心线，利用任务之间的相关性来提高道路提取精度。论文“RiFCN:Recurrent network infully convolutional network for semantic segmentation of high resolutionremote sensing images.arXiv preprint arXiv:1805.02091,2018”提出双向卷积神经网络将带有边界信息的浅层高分辨率特征和高层低分辨率特征融合。不同于基于频谱变换的分类方法，基于条件随机场的方法,和面向对象的分类方法等传统方法，基于深度学习的遥感高分辨率遥感影像语义分割算法可以充分利用大数据优势，进行迁移学习，提高语义分割精度，如论文“Land-Cover Classification with High-resolution RS Images usingTransferable Deep Models.Remote Sensing of Environment,2020.237:111322”利用网络迁移技术，采用已经在其他数据集上经过预训练的网络作为初始化参数进行微调训练，获得了比传统方法更优的语义分割精度。

然而，虽然相较于传统方法，基于卷积神经网络的高分影像分割方法已经取得了更优的语义分割效果，由于高分遥感影像中存在类内地物方差大、类间方差小现象，利用深度卷积神经网络用于高分影像语义分割仍然面临混淆分类的问题。因此针对高分辨率遥感影像类内方差大、类间方差小现象造成的错误分类问题，提高深度卷积神经网络的特征辨别性，改善语义分割精度，需要进一步研究。

发明内容

有鉴于此，本发明旨在克服上述现有技术中存在的缺陷，提供一种基于深度辨别性增强网络的遥感影像语义分割方法，以解决高分辨率遥感影像语义分割中面临的类内方差大、类间方差小现象造成的错误分类问题。

为达到上述目的，本发明包括如下步骤：

S1，深度辨别性增强网络训练，本步骤进一步包括：

1.1高分辨率遥感影像预处理。其中进一步包括：

1)将用于训练的大幅高分辨率影像及其对应的标注图进行切割，切割为互不重叠的小幅影像和标注图，根据GPU内存，切割尺寸一般选用1000×1000像素或512×521像素；

2)计算切割后的小幅影像在每通道上的均值μ和标准差δ，然后对待训练影像进行归一化，公式为：x′＝(x-μ)/δ，其中x∈R^W×H×3为高分辨率遥感影像，x′∈R^W×H×3表示归一化后的高分影像。

1.2利用归一化后的高分辨率遥感影像训练深度辨别性增强网络，其中进一步包括：

1)深度特征提取，设网络深度为L，特征提取其公式为：

z_L-1＝CNN(x′)      (1)

其中z_L-1∈R^W×H×K为第L-1层网络的输出，K表示特征维度，CNN(·)表示卷积神经网络特征提取函数。

2)使用改进的SoftMax对提取得到特征进行分类，计算输入影像属于t类的概率：

其中x′_i表示输入影像第i个像素，p(t|x′_i)表示样本像素x′_i属于t类的概率(t＝1，2，…n)，n为总的类别个数，s为伸缩常数，θ_t，i为像素x′_i的特征与SoftMax中第t类对应的参数向量之间的夹角，计算公式如下：

θ_t，i＝arcos(w_L，t·z_L-1，i)      (3)

其中z_L-1，i为像素x′_i在第L-1层网络输出的深度特征向量，w_L，t表示SoftMax中第t类对应的参数向量。

3)计算语义分割损失函数J，计算公式如下：

其中m为参与训练的像素样本个数。

4)采用随机梯度下降算法计算参数偏导数并更新网络参数，计算公式如下：

其中w为深度网络参数，

表示网络参数偏导数，l_r表示学习率。

S2：基于深度辨别性增强网络的高分影像语义分割推断，本步骤进一步包括：

2.1将待推断大幅影像进行切割，切割成互不重叠的小幅影像；

2.2利用S1训练得到的深度辨别性增强网络对每一幅切割得到的影像进行预测，得到其对应的概率分布图，计算公式如下：

其中p(t|x′_i)表示像素x′_i属于某一类的条件概率分布。

2.3根据2.2得到的概率分布图获得每一个像素的类别，并最终得到语义分割图，计算公式如下：

P_i＝argmax(p(t|x′_i))       (8)

其中argmax(·)表示取向量中最大数所在的位置，P_i表示像素x′_i的预测类别ID

2.4将每一小幅影像的语义分割图拼接得到大幅语义分割图Seg。

S3：语义分割后处理，本步骤进一步包括：

3.1对待推断影像进行无监督分割，得到无监督分割图Useg；

3.2利用无监督分割图对步骤2得到的语义分割图进行平滑，其中进一步包括：

1)针对无监督分割图Useg的任意分割图块，基于语义分割图Seg统计每一个类别的出现频率；

2)将出现频率最高的类别作为该图块中所有像素的类别；

3)对无监督分割图Useg中的每一图块执行上述两步操作；

相对于现有技术，本发明的有益效果是：

(1)该基于深度辨别性增强网络的遥感影像语义分割方法，提供了一种基于深度卷积神经网络的高分辨率遥感影像语义分割方法。

(2)该基于深度辨别性增强网络的遥感影像语义分割方法，针对高分辨率遥感影像语义分割中类内差异大，类间差异小造成的错分问题，提出了一种具有普适性的损失函数，提升深度特征的辨别能力。

(3)该基于深度辨别性增强网络的遥感影像语义分割方法，是一种端到端高分辨率遥感影像语义分割框架，无需人工干预。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1为本发明所述的一种基于深度辨别性增强网络的遥感影像语义分割方法的流程简图；

图2为本发明所述的一种基于深度辨别性增强网络的遥感影像语义分割方法的流程图；

图3为本发明所述的一种基于深度辨别性增强网络的遥感影像语义分割方法中步骤2.1的示意图；

图4为本发明所述的一种基于深度辨别性增强网络的遥感影像语义分割方法中对高分辨率遥感影像进行无监督分割得到的分割图；

图5为本发明所述的一种基于深度辨别性增强网络的遥感影像语义分割方法输出的最终的高分辨率遥感影像语义分割图。

具体实施方式

除有定义外，以下实施例中所用的技术术语具有与本发明所属领域技术人员普遍理解的相同含义。

为了更好地理解本发明技术方案，下面将结合附图和实施例对本发明做进一步详细说明。

步骤1，深度辨别性增强网络训练。此步骤进一步包括：

步骤1.1，高分辨率遥感影像预处理。其中进一步包括：

步骤1.1.1，将用于训练的大幅高分辨率影像及其对应的标注图进行切割，切割为互不重叠的小幅影像和标注图；

步骤1.1.2，计算切割后的小幅影像在每通道上的均值μ和标准差δ，然后对待训练影像进行归一化，公式为：x′＝(x-μ)/δ，其中x∈R^W×H×3为高分辨率遥感影像，x′∈R^W×H×3表示归一化后的高分影像；

下一步骤在预处理后的x上进行。

步骤1.2，利用归一化后的高分辨率遥感影像训练深度辨别性增强网络，其中进一步包括：

步骤1.2.1，深度特征提取，设网络深度为L，特征提取其公式为：

z_L-1＝CNN(x′)       (9)

其中z_L-1∈R^W×H×K为第L-1层网络的输出，K表示特征维度，CNN(·)表示卷积神经网络特征提取函数；

步骤1.2.2，使用改进的SoftMax对提取得到特征进行分类，计算输入影像属于t类的概率：

其中x′_i表示输入影像第i个像素，p(t|x′_i)表示样本像素x′_i属于t类的概率(t＝1，2，…n)，n为总的类别个数，s为伸缩常数，θ_t，i为像素x′_i的特征与SoftMax中第t类对应的参数向量之间的夹角，计算公式如下：

θ_t，i＝arcos(w_L，t·z_L-1，i)      (11)

其中z_L-1，i为像素x′_i在第L-1层网络输出的深度特征向量，w_L，t表示SoftMax中第t类对应的参数向量；

步骤1.2.3，计算语义分割损失函数J，计算公式如下：

其中m为参与训练的像素样本个数；

步骤1.2.4，采用随机梯度下降算法计算参数偏导数并更新网络参数，计算公式如下：

其中w为深度网络参数，

表示网络参数偏导数，l_r表示学习率。

步骤2，基于深度辨别性增强网络的高分影像语义分割推断，本步骤进一步包括：

步骤2.1，将待推断大幅影像进行切割，切割成互不重叠的小幅影像，如图3所示；

步骤2.2，利用步骤1训练得到的深度辨别性增强网络对每一幅切割得到的影像进行预测，得到其对应的概率分布图，计算公式如下：

其中p(t|x′_i)表示像素x′_i属于某一类的条件概率分布。

步骤2.3，根据步骤2.2得到的概率分布图获得每一个像素的类别，并最终得到语义分割图，计算公式如下：

p_i＝argmax(p(t|x′_i))        (16)

其中argmax(·)表示取向量中最大数所在的位置，P_i表示像素x′_i的预测类别ID。

S3语义分割后处理，本步骤进一步包括：

步骤3.1，对待推断影像进行无监督分割，得到无监督分割图Useg，如图4所示；

步骤3.2，利用无监督分割图对步骤2得到的语义分割图进行平滑，其中进一步包括：

步骤3.2.1，针对无监督分割图Useg的任意分割图块，基于语义分割图Seg统计每一个类别的出现频率；

步骤3.2.2，将出现频率最高的类别作为该图块中所有像素的类别；

步骤3.2.3，对无监督分割图Useg中的每一图块执行上述两步操作，得到最终的高分辨率遥感影像语义分割图，如图5所示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于深度辨别性增强网络的高分辨率遥感影像语义分割方法，其特征在于，包括以下步骤：

步骤1，深度辨别性增强网络训练，本步骤进一步包括：

步骤1.1，将待训练高分辨率遥感影像进行切割和归一化处理；

步骤1.2，利用归一化后的高分辨率遥感影像训练深度辨别性增强网络；

步骤2，基于深度辨别性增强网络的高分影像语义分割推断，本步骤进一步包括：

步骤2.1，将待推断大幅影像进行切割，切割成互不重叠的小幅影像；

步骤2.2，利用步骤1训练得到的深度辨别性增强网络对每一幅切割得到的影像进行预测，得到其对应的概率分布图；

步骤2.3，根据步骤2.2得到的概率分布图获得每一个像素的类别，并最终得到语义分割图；

步骤2.4，按照影像原图将每一小幅影像的语义分割图拼接得到大幅语义分割图Seg；

步骤3，语义分割后处理，本步骤进一步包括：

步骤3.1，对待推断影像进行无监督分割，得到无监督分割图Useg；

步骤3.2，利用无监督分割图对步骤2得到的语义分割图进行平滑；

步骤1.2包含以下步骤：

步骤1.2.1，深度特征提取，设网络深度为L，特征提取其公式为：

z_L-1＝CNN(x′)    (1)

其中z_L-1∈R^W×H×K为第L-1层网络的输出，K表示特征维度，CNN(·)表示卷积神经网络特征提取函数，x′为经过步骤1.1得到的预处理图像；

步骤1.2.2，使用SoftMax对提取得到特征进行分类，计算输入影像属于t类的概率：

其中x′_i表示输入影像第i个像素，p(t|x′_i)表示样本像素x′_i属于t类的概率(t＝1,2,…n)，n为总的类别个数，s为伸缩常数，θ_t，i为像素x′_i的特征与SoftMax中第t类对应的参数向量之间的夹角，计算公式如下：

θ_t，i＝arcos(w_L，t·z_L-1，i)      (3)

其中z_L-1，i为像素x′_i在第L-1层网络输出的深度特征向量，w_L，t表示SoftMax中第t类对应的参数向量；

步骤1.2.3，计算语义分割损失函数J，计算公式如下：

其中m为参与训练的像素样本个数；

步骤1.2.4，采用随机梯度下降算法计算参数偏导数并更新网络参数，计算公式如下：

其中w为深度网络参数，

表示网络参数偏导数，lr表示学习率；

步骤3.2包含以下步骤：

步骤3.2.1，针对无监督分割图Useg的任意分割图块，基于语义分割图Seg统计每一个类别的出现频率；

步骤3.2.2，将出现频率最高的类别作为该图块中所有像素的类别；

步骤3.2.3，对无监督分割图Useg中的每一图块执行上述步骤3.2.1和步骤3.2.2，得到最终的高分辨率遥感影像语义分割图。

Images