CN110136154B

CN110136154B - 基于全卷积网络与形态学处理的遥感图像语义分割方法

Info

Publication number: CN110136154B
Application number: CN201910410666.7A
Authority: CN
Inventors: 焦李成; 吴漪楠; 皮兆亮; 李玲玲; 张梦璇; 屈嵘; 杨淑媛; 侯彪; 唐旭
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2019-05-16
Filing date: 2019-05-16
Publication date: 2022-12-06
Anticipated expiration: 2039-05-16
Also published as: CN110136154A

Abstract

本发明提出了一种基于全卷积网络与形态学处理的遥感图像语义分割方法，主要解决现有的遥感图像语义分割方法分割准确率低的问题，其实现方案为：构建训练样本集和验证样本集，对训练样本集进行数据增强与数据扩充预处理，分别搭建图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型这三种全卷积网络模型，训练并验证全卷积网络模型；将待测试的遥感图像输入训练好的全卷积网络中，得到语义分割初次结果，并采用形态学腐蚀与膨胀运算对语义分割图精调，得到最终的语义分割结果。本发明提升了图像的整体分割效果，可用于遥感图像的分割、分类、检测与跟踪任务。

Description

基于全卷积网络与形态学处理的遥感图像语义分割方法

技术领域

本发明属于图像处理技术领域，特别涉及一种图像语义分割方法，可用于图像分类、目标识别、目标跟踪这些要求检测目标的场合。

背景技术

遥感图像的理解与解译是当今数字图像处理领域的研究热点。作为其中的关键性工作，图像语义分割是一种对遥感图像的像素级分类任务，将整幅图像分割为若干个互不重叠的区域，每一个区域代表一种地物类别，也就是对于图像中的每一个像素点给出正确的像素级语义标注。

在深度学习运用到计算机视觉领域之前，早期研究人员采用的图像语义分割方法主要有简单的像素级别“阈值法”、基于像素聚类的分割方法以及“图划分”的分割方法。这些语义分割方法大多是根据图像像素自身的低阶视觉信息来进行图像分割的。这样的方法不需要预先训练，所以计算复杂度不高。但是往往难以利用图像的全局特征，容易造成误检，导致分割准确率降低，所以在较困难的分割任务上无法取得令人满意的分割效果。

近年来，随着深度学习的发展，卷积神经网络被广泛应用于图像分类与识别领域。以AlexNet(Alex Krizhevsky,I Sutskever,G Hinton.ImageNet Classification withDeep Convolutional Neural Networks[C].NIPS 2012:1106-1114.)为代表的经典卷积神经网络在一系列卷积层之后接若干个全连接层，将卷积层产生的特征图映射成一个固定长度的特征向量，即它的输出是当前输入图像属于某些类别的概率向量，其中概率值最大的位置所对应的类别就是网络认为该图像所属的类别。这种结构适合于图像级的分类任务，也就是一幅图像对应一个类别。

2015年，Jonathan Long等人提出了用于语义分割的全卷积网络(Long J,Shelhamer E,Darrell T.Fully Convolutional Networks for Semantic Segmentation[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2014.)，它可以接受任意尺寸的输入图像，对传统分类网络的最后一个卷积层的输出特征图进行上采样，使得上采样的结果恢复到与输入图像相同的尺寸，从而对每一个像素产生一个预测，同时保留了原始输入图像中的空间信息，实现了像素级的图像语义分割。全卷积网络在PASCALVOC 2012挑战赛中达到了62.7％的分割准确率。尽管全卷积网络模型能够实现像素级分类任务，但是它只用到了卷积神经网络的高层图像特征，损失了低层的图像边缘细节信息。

2017年，Zhao Hengshuang等人在全卷积网络的基础上提出了用于高分辨率图像的语义分割网络ICNet(Zhao H,Qi X,Shen X,et al.ICNet for Real-Time SemanticSegmentation on High-Resolution Images[J].2017.)，它首先将输入图像下采样为不同的分辨率，使用低分辨率特征图提取语义信息，使用高分辨率特征图获取边缘细节，并引入级联特征融合模块进行融合。该网络中运用的下采样和模型压缩操作虽然可大大加快对图像的处理速度，但是由于这种下采样操作却降低了原始图像和特征图的分辨率，从而降低了图像语义分割的准确率。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于全卷积网络与形态学处理的遥感图像语义分割方法，以提升图像语义分割的准确率。

为实现上述目的，本发明的技术包括如下：

(1)构建训练样本集和测试样本集：获取M幅遥感图像以及每幅遥感图像对应的类别标签图像，构成样本集D，其中M≥100；从D中选择80％以上的样本作为训练样本集D₁，其余的样本作为测试样本集D₂；

(2)对训练样本集D₁进行预处理：

(2a)对训练样本集D₁进行数据平衡处理，得到数据平衡处理后的训练样本集D₁′；

(2b)随机改变D₁′中的遥感图像清晰度、对比度和色度，将改变后的每幅遥感图像以及其对应的类别标签图像作为新的样本加入到D₁′中，得到数据扩充处理后的训练样本集D″₁；

(3)搭建全卷积网络模型：

(3a)选用图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型，并将34层ResNet-34残差网络作为PSPNet模型的基础网络，将16层VGG卷积网络作为LinkNet模型的基础网络；

(3b)对ICNet模型的所有网络层的参数随机初始化；用在ImageNet数据集上预训练过的ResNet-34残差网络的权重初始化PSPNet模型的基础网络；用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络，PSPNet模型和LinkNet模型的其他网络层参数随机初始化；

(4)对搭建的全卷积网络模型进行训练：

(4a)利用数据扩充后的训练样本集D″₁中遥感图像及其对应的类别标签图像，采用随机梯度下降法，对步骤(3b)中的三个网络模型：ICNet模型、PSPNet模型和LinkNet模型，分别进行迭代训练；

(4b)在步骤(4a)的迭代训练过程中，每迭代Q次后分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对测试样本集D₂进行验证，Q≥5000,当三个网络模型的验证结果的准确率均达到85％以上时停止训练，得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型；

(5)对待测试的遥感图像进行语义分割：

(5a)将待测试的遥感图像分别输入到训练好的ICNet模型、PSPNet模型和LinkNet模型中，得到三幅语义分割结果图；

(5b)对步骤(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合，得到一幅融合后的语义分割结果图；

(6)对步骤(5)中得到的融合后的语义分割结果图进行形态学处理，得到最终的语义分割结果图。

本发明与现有的技术相比，具有以下优点：

1.本发明在数据预处理过程中，进行了数据平衡与数据扩充两种操作，从训练样本集中删除了样本类别极度不平衡的图像以及部分极端天气状况下拍摄的图像，从而减少坏样本的干扰，加快网络收敛速度，有助于后续语义分割效果的提升；随机改变了部分训练样本集中图像的清晰度、对比度和色度，扩充了样本量，有助于提高语义分割网络的泛化性能。

2.本发明在搭建语义分割网络的过程中，为了提升现有的图像语义分割算法的准确率，采用了多模型融合的方式，具体来说，分别搭建了图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型三种全卷积网络结构，分别进行训练与测试，再将其在测试图像上分别得到的语义分割图运用像素级投票算法进行融合。结果表明，本发明在继承了现有的基于全卷积网络的图像语义分割算法优异的特征抽象能力的同时，提升了对图像的语义分割的整体准确率以及每一种地物类别的分割准确率。

3.本发明对测试图像上得到的语义分割图进行了形态学处理，具体来说，运用形态腐蚀运算和形态膨胀运算填平了语义分割图中的小孔，修补小的裂缝，而不影响语义分割图的整体形状与位置，从而进一步提升了相关地物类别的分割准确率，同时也提升了对图像整体的语义分割准确率。

附图说明

图1是本发明的实现流程框图；

图2是训练样本集中的一幅光学遥感图像及其对应的真实语义分割图；

图3是本发明与现有的四种全卷积网络的语义分割结果对比图；

具体实施方案

下面结合附图对本发明具体实施例和效果作进一步详细描述：

参照图1，本发明的实现步骤如下：

步骤1，构建训练样本集、验证样本集和测试样本集。

本实施例使用的数据集是2019 IEEE GRSS Data Fusion Contest提供的光学遥感图像，该数据集包含Jacksonville和Omaha两个城市的4901幅高分辨率光学遥感图像，分别以JAX和OMA简化表示，选择其中87.6％的图像，即4292幅作为训练样本集，选择306幅图像作为验证样本集，其余的303幅图像作为测试样本集。所有样本图像均有对应的相同尺寸的真实语义分割图，如图2所示，其表示一幅光学遥感图像及其对应的真实语义分割图。

步骤2，对训练样本集进行数据预处理。

2.1)将训练样本集D₁中在多云、大雪、大雾极端天气下拍摄的易产生遮挡或者影响地物地貌特征的图像挑选出来，以减少坏样本对网络学习过程的干扰，计算每张遥感图像对应的类别标签图像中所有目标地物所在区域像素点的个数L，并判断L是否大于该遥感图像所有像素点个数的三分之二：如果是，则将该遥感图像及其对应的类别标签图像保留在D₁中，否则，将该遥感图像及其对应的类别标签图像从D₁中删除；

2.2)根据训练样本集图像对应的真实语义标签，统计训练样本集图像的每一种地物类别的像素点数量。本实例的训练样本集中，城市JAX每一种地物类别的像素点数量分别为：地面1301726302，占58.0％，高植被353847850，占15.8％，建筑物403999418，占18.0％，水82644533，占3.68％，高架路/桥100685961，占4.49％；城市OMA的每一种地物类别的像素点的数量分别为：地面1667988240，占73.9％，高植被209105060，占9.26％，建筑物309603684，占13.7％，水40346966，占1.79％，高架路/桥30540178，占1.35％；

可以看出，训练样本集存在严重的样本类别不平衡问题，因此需要删去某一地物类别像素点个数超过整幅图像90％的遥感图像，以避免网络出现过拟合；

2.3)随机选择训练样本集D₁′中的一部分遥感图像，改变其清晰度、对比度和色度，并将改变后的遥感图像加入训练样本集D₁′中，进行数据扩充，得到数据扩充处理后的训练样本集D″₁，以增加样本量。

步骤3，搭建输出图像语义分割图的全卷积网络模型。

选用基于图像级联网络ICNet模型的语义分割模型为本实施例的基准模型，该基准模型在验证集和测试集上的语义分割结果与真实值的平均交并比分别为55.5％和50.7％。

为了提升语义分割结果，在基准模型ICNet的基础上，搭建了金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型这两个全卷积网络模型，构成了包含三个网络的多模型融合的全卷积网络，并将34层ResNet-34残差网络作为PSPNet模型的基础网络，将16层VGG卷积网络作为LinkNet模型的基础网络；

对ICNet模型的所有网络层的参数随机初始化；用在ImageNet数据集上预训练过的ResNet-34残差网络的权重初始化PSPNet模型的基础网络；用在ImageNet数据集上预训练过的VGG卷积网络的权重初始化LinkNet模型的基础网络，PSPNet模型和LinkNet模型的其他网络层参数随机初始化；

基于多模型融合的全卷积网络与基准模型相比，对当前数据集具有更好的表达能力。

步骤4，对搭建的全卷积网络模型进行训练。

采用随机梯度下降法，对步骤3的三个网络模型：ICNet模型、PSPNet模型和LinkNet模型，分别进行迭代训练；在训练过程中，每经过5000次迭代后，分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对验证样本集进行验证，当三个网络模型的验证准确率均达到85％以上时停止训练，得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型。

步骤5，对测试样本集的遥感图像进行语义分割。

5.1)将测试样本集的303幅遥感图像依次输入到步骤4训练好的ICNet模型、PSPNet模型和LinkNet模型三种语义分割网络中，每一幅遥感图像分别得到三个语义分割图矩阵

和

矩阵中每个元素的数值S_ij∈{1,2,…,C_max}，其中C_max表示地物类别标签的最大值；

5.2)对于语义分割图上的每一个像素点(i,j)对应的预测类别

和

进行判断：

若

或

则投票后的类别为

若

则投票后的类别为

否则，随机选择

和

三个值中的其中任意一个为投票后的类别；

5.3)对测试样本集的每一幅遥感图像得到的三幅语义分割图运用上述像素级投票算法进行决策级融合，得到融合后的303幅语义分割图。

步骤6，对步骤5得到的303幅语义分割图依次进行形态学处理，得到最终的语义分割结果。

6.1)对于一幅语义分割图，分别提取图中的“地面”、“建筑物”、“水”以及“高架路/桥”这四个类别的像素点，并将这些像素点的值置1，其他像素点的值置0，得到该类别的二值图，并取尺寸参数n＝m＝3的结构元素对二值图做先腐蚀后膨胀的形态学运算，以填平语义分割图中的小孔，修补小的裂缝，而不影响语义分割图的整体形状与位置；

具体来说，对于一幅融合后的语义分割结果图，选择某个地物类别C，C∈{1,2,3,...,C_max}，提取该类别对应的所有像素点，并将这些像素点的值置1，其他像素点的值置0，得到该类别的二值图f，再对二值图f以坐标(x,y)为中心、取尺寸参数n为邻域半径，进行形态腐蚀操作，得到坐标(x,y)处形态腐蚀后的二值图f^*(x,y)：

其中，f(x+x′,y+y′)表示该类别的二值图f在坐标(x+x′,y+y′)处的值，

表示邻域半径为n的去心邻域；

对得到的形态腐蚀后的二值图f^*(x,y)以坐标(x,y)为中心，取尺寸参数m为邻域半径，进行形态膨胀操作，得到坐标(x,y)处形态膨胀后的二值图f^**(x,y)：

其中，f^*(x+x″,y+y″)表示形态腐蚀后的二值图f^*在坐标(x+x″,y+y″)处的值，

表示邻域半径为m的去心邻域；

对得到的f^**中的所有像素点，如果像素点的值为1，则判断该像素点属于类别C，否则属于其他类别，这样得到地物类别C的最终分类结果；依次选择其他类别并重复上述操作，得到最终的语义分割结果；

6.2)对测试样本集的所有遥感图像对应的语义分割图依次做6.1)的操作，得到所有测试样本集图像最终的语义分割结果。

以下结合仿真试验，对本发明的效果作进一步说明：

1.仿真条件

本实例的算法仿真平台为：一台惠普Z840工作站，Intel(R)Xeon(R)CPU E5-2630v4@2.20GHz，64.0GB的内存，NVIDIA GTX1080 GPU，Ubuntu16.04 64位操作系统，Python3.6，PyCharm5.0.3专业版，MATLAB 2018b开发平台。

2.仿真内容

仿真1，用本发明与现有的U-Net模型、图像级联网络ICNet模型、金字塔场景解析网络PSPNet模型和基于编码器表示的连接网络LinkNet模型分别对高分辨率光学遥感图像进行语义分割，分割结果如图3所示，其中，3(a)为原始光学遥感图像，3(b)为现有的U-Net模型得到的语义分割图，3(c)为ICNet模型得到的语义分割图，3(d)为PSPNet模型得到的语义分割图，3(e)为LinkNet模型得到的语义分割图，3(f)为本发明的方法得到的语义分割图。

仿真2，在测试数据集上验证本发明提出的形态学处理对提升图像语义分割效果的有效性，结果如表1所示，其中，第一行是本发明的语义分割网络未加形态学处理的每一种地物类别的语义分割效果和整体语义分割效果，第二行是在得到语义分割图之后加形态学处理的每一种地物类别的语义分割效果和整体语义分割效果。

3.仿真结果分析

参照图3可以看出，本发明的语义分割效果明显优于现有的U-Net、ICNet、PSPNet、LinkNet这四种常用的全卷积网络的语义分割效果，这是因为本发明运用了多模型融合的像素级投票算法，减少了一些区域的地物误分类，同时对于地物边缘细节的刻画也更到位。

表1本发明中未加形态学处理与加形态学处理的图像分割结果对比

参照表1，通过对比本发明得到的图像语义分割图在未加形态学处理和加形态学处理后的图像语义分割结果，可以看出，对“地面”、“建筑物”、“水”以及“高架路/桥”这四种进行了形态学处理的地物类别，其语义分割效果均有不同程度的提升：其中，“地面”的平均交并比IOU-3从0.6434提高到0.6493，提高了0.92％；“建筑物”的平均交并比IOU-3从0.5750提高到0.5766，提高了0.28％；“水”的平均交并比IOU-3从0.8649提高到0.8798，提高了1.72％；“高架路/桥”的平均交并比IOU-3从0.5606提高到0.6204，提高了10.7％；整体分割效果的平均交并比mIOU-3从0.5691提高到0.5855，提高了2.88％。

上述结果表明，本发明采用的形态学处理可以有效提升图像语义分割效果。

Claims

1.一种基于全卷积网络与形态学处理的遥感图像语义分割方法，包括如下步骤：

(1)构建训练样本集和验证样本集：获取M幅遥感图像以及每幅遥感图像对应的类别标签图像，构成样本集D，其中M≥100；从D中选择80％以上的样本作为训练样本集D₁，其余的样本作为验证样本集D₂；

(2)对训练样本集D₁进行预处理：

(2a)对训练样本集D₁进行数据平衡处理，得到数据平衡处理后的训练样本集D′₁；

(2b)随机改变D′₁中的遥感图像清晰度、对比度和色度，将改变后的每幅遥感图像以及其对应的类别标签图像作为新的样本加入到D′₁中，得到数据扩充处理后的训练样本集D″₁；

(3)搭建全卷积网络模型：

(4)对搭建的全卷积网络模型进行训练：

(4b)在步骤(4a)的迭代训练过程中，每迭代Q次后分别用训练过的ICNet模型、PSPNet模型和LinkNet模型对验证样本集D₂进行验证，Q≥5000,当三个网络模型的验证结果的准确率均达到85％以上时停止训练，得到训练好的三个网络模型ICNet模型、PSPNet模型和LinkNet模型；

(5)对待测试的遥感图像进行语义分割：

2.根据权利要求1所述的方法，其特征在于，(2a)中对训练样本集D₁中的样本进行数据平衡处理，实现如下：

(2a1)将训练样本集D₁中在多云、大雪、大雾极端天气状况下拍摄的遥感图像挑选出来，计算每张遥感图像对应的类别标签图像中所有目标地物所在区域像素点的个数L，并判断L是否大于该遥感图像所有像素点个数的三分之二：如果是，则将该遥感图像及其对应的类别标签图像保留在D₁中，否则，将该遥感图像及其对应的类别标签图像从D₁中删除；

(2a2)提取出(2a1)处理过的D₁中的遥感图像对应的类别标签图像，统计每一张类别标签图像中每一种地物类别的像素点数量；

(2a3)根据步骤(2a2)的统计结果，判断每张类别标签图像中是否存在某一种地物所对应的像素点个数大于该类别标签图像所有像素点个数的90％，如果是，则将该类别标签图像及其对应的遥感图像保留在D₁中，否则，将该类别标签图像及其对应的遥感图像从D₁中删除。

3.根据权利要求1所述的方法，其特征在于，(5b)中对(5a)中得到的三幅语义分割结果图运用像素级投票算法进行决策级融合，实现如下：

(5b1)将长为w、宽为h的待测试遥感图像I分别输入到ICNet模型、PSPNet模型、LinkNet模型，得到尺寸均为w×h的三个语义分割图矩阵

和

其中i∈{1,2,…,w},j∈{1,2,…,h}，矩阵中每个元素的数值S_ij∈{1,2,…,C_max}，其中C_max表示地物类别标签的最大值；

(5b2)对于语义分割图上的每一个像素点(i,j)对应的预测类别

和

进行判断：

若

或

则投票后的类别为

若

则投票后的类别为

否则，随机选择

和

三个值中的其中任意一个为投票后的类别；

(5b3)按照(5b2)的投票规则，得到语义分割图中所有像素点的投票后的类别。

4.根据权利要求1所述的方法，其特征在于，(6)中对(5)中得到的融合后的语义分割结果图进行形态学处理，实现如下：

(6a)对于一幅融合后的语义分割结果图，选择某个地物类别C，C∈{1,2,3,...,C_max}，提取该类别对应的所有像素点，并将这些像素点的值置1，其他像素点的值置0，得到该类别的二值图f，再对二值图f以坐标(x,y)为中心、取尺寸参数n为邻域半径，进行形态腐蚀操作，得到坐标(x,y)处形态腐蚀后的二值图f^*(x,y)：

表示邻域半径为n的去心邻域；

(6b)对(6a)得到的形态腐蚀后的二值图f^*(x,y)以坐标(x,y)为中心，取尺寸参数m为邻域半径，进行形态膨胀操作，得到坐标(x,y)处形态膨胀后的二值图f^**(x,y)：

表示邻域半径为m的去心邻域；

(6c)对(6b)得到的f^**中的所有像素点，如果像素点的值为1，则判断该像素点属于类别C，否则属于其他类别，这样得到地物类别C的最终分类结果，依次选择其他类别并重复(6a)(6b)(6c)的操作，得到最终的语义分割结果。