CN107610141B - 一种基于深度学习的遥感图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的遥感图像语义分割方法中，步骤为：为每种物类目标分配RGB值和灰度值，获取原始遥感图像，选取出物类目标并上色、灰度化以及赋予灰度值处理，得到标签图像，对原始遥感图像进行数据增强以及边缘提取，得到边缘提取后的图像；将原始遥感图像和边缘提取后的图像训练样本对完全卷积神经网络进行训练，得到最佳语义分割网络模型，将测试遥感图像输入最佳语义分割网络模型中，获取到语义分割结果图像；为语义分割结果图像进行上色处理，得到最终语义分割结果图像，根据最终语义分割结果图像中的RGB值获取物类目标。本发明方法具有遥感图像语义分割准确率高以及适用性广的优点。

Description

一种基于深度学习的遥感图像语义分割方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于深度学习的遥感图像语义分割方法。

背景技术

图像语义分割融合了传统的图像分割和目标识别两个任务，其目的是将图像分割成若干组具有某种特定语义含义的像素区域，并识别出每个区域的类别，最终获得一幅具有像素语义标注的图像。该技术是计算机视觉的三大核心研究问题之一，是计算机视觉和模式识别领域非常具有挑战性的研究方向。图像语义分割与图像分割的最大区别在于，图像分割仅仅完成图像像素聚类，而图像语义分割在完成像素聚类后进一步对类别进行识别，给予类别语义信息。因此图像语义分割是在图像分割基础上在进行类别识别。

现有的常用图像分割算法包括：基于颜色和亮度的分割方法、基于区域的分割方法、基于图论的分割方法和基于能量泛函的分割方法。基于颜色和亮度的分割方法是通过图像的颜色或亮度对每个像素点进行划分，如K-Means算法即是将图像看作是由RGB三维特征组成的点集，对图像的所有像素点进行聚类实现分割目的；基于区域的分割方法，包含区域生长法和分水岭法，是按照相似性准则将图像分割为多个区域。基于图论的分割方法将图像映射为带权无向图，移除特定的边，将图划分为若干个子图实现图像分割；基于能量泛函的分割方法主要包括活动轮廓模型以及其衍生方法。上述方法通常需要先验条件进行初始化，如K-means算法在分割图像前需指定分割区域的数量、分水岭方法必须指定分割部分的关键点、活动轮廓模型需设置初始化轮廓，这些先验条件要求都局限了图像分割研究的发展。

遥感图像较之其他类别的图像更需要准确的捕捉到图像中的主要目标，从而快速提取图像重要信息。如在遥感图像中分割识别出大量的飞机，则可推测此遥感图像为机场图像，若分割识别出大量规律停放的车辆，则可推测此遥感图像为停车场图像。但是对于遥感图像，由于其数据获取较难且图像清晰度不高，这两大特点导致针对遥感图像的语义分割任务无法通过以上传统方法达到满意效果。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种分割准确率高的基于深度学习的遥感图像语义分割方法，该分割方法不需要先验条件进行初始化且不受先验条件限制，针对遥感图像的分割问题具有较强的适用性。

本发明的目的通过下述技术方案实现：一种基于深度学习的遥感图像语义分割方法，步骤如下：

步骤S1、分别为每种物类目标分配RGB值和灰度值；获取一定数量的原始遥感图像作为训练样本，针对于每张原始遥感图像，选取出物类目标，并根据该物类目标所分配的RGB值对该物类目标进行上色处理，得到标记遥感图像；然后对标记遥感图像进行灰度化处理，并且根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到原始遥感图像训练样本对应的标签图像；

步骤S2、针对于步骤S1中获取到的原始遥感图像进行数据增强处理，然后进行图像的边缘提取得到边缘提取后的图像，将边缘提取后的图像作为训练样本；

步骤S3、将原始遥感图像训练样本和边缘提取后的图像训练样本作为输入对完全卷积神经网络进行训练，得到最佳语义分割网络模型；

步骤S4、将待分割语义的测试遥感图像输入至步骤S3获取到的最佳语义分割网络模型中，通过最佳语义分割网络模型获取到带相应灰度值的语义分割结果图像；

步骤S5、查找每种物类目标所分配的RGB值和灰度值的对应关系，根据语义分割结果图像中灰度值所对应的RGB值为语义分割结果图像进行上色处理，得到最终语义分割结果图像；查找每种物类目标所分配的RGB值，然后根据最终语义分割结果图像中的RGB值获取到待分割语义的测试遥感图像对应的物类目标。

优选的，步骤S1中针对每张原始遥感图像，根据先验知识通过手工分割方法将其中的物类目标选取出来，并且将背景的RGB值置为零。

优选的，步骤S2中，针对于步骤S1中获取到的每张标签图像分别进行数据增强处理的过程如下：

步骤S21、首先将原始遥感图像进行梯度增强处理；

步骤S22、然后将梯度增强处理后的原始遥感图像进行多尺度缩放处理；

步骤S23、最后针对多尺度缩放处理后的原始遥感图像进行镜像操作。

更进一步的，步骤S21中原始遥感图像进行梯度为15度的增强处理，使得原始遥感图像数据扩大至24倍；

步骤S22中将梯度增强处理后的原始遥感图像进行0.6、0.9和1.4尺寸缩放处理，使得梯度增强处理后的原始遥感图像数据扩大至96倍；

步骤S23中针对多尺度缩放处理后的原始遥感图像进行镜像操作，使得多尺度缩放处理后的原始遥感图像数据扩大至192倍。

优选的，步骤S2中，通过Canny算子进行图像的边缘提取。

更进一步的，所述Canny算子进行图像的边缘提取过程中，所使用到的信噪比SNR计算公式如下：

其中，G(-x)为边缘函数；f(x)为滤波器的脉冲响应，(-w,+w)为边界；σ为高斯均方差；

所述Canny算子进行图像的边缘提取过程中，所使用到的定位精度Location计算公式如下：

其中，G′(-x)、f′(x)分别对应为G(-x)、f(x)的一阶导数；

所述Canny算子进行图像的边缘提取过程中，单边缘响应准则如下：

即满足检测算子脉冲响应导数的零交叉点间的平均距离d(f′)等于f(x)的二阶导数f″(x)。

优选的，步骤S3中所述完全卷积神经网络由基础卷积神经网络结构构建得到，所述完全卷积神经网络的输入层至输出层之间依次为第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全链接层、第二全链接层、第一反卷积层、第二反卷积层和第三反卷积层；其中第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全链接层和第二全链接层依次连接；第一全链接层和第二全链接层之后分别对应连接第一丢弃层和第二丢弃层；

第二全链接层通过Score_fr卷积层连接第一反卷积层的输入，第四池化层的输出连接第一尺寸修正层的输入，第一反卷积层的输出和第一尺寸修正层的输出分别连接第一Eltwise相加层的输入；第一Eltwise相加层的输出连接第二反卷积层的输入，第二反卷积层的输出连接第二Eltwise相加层的输入，第三池化层的输出经过第二尺寸修正层连接第二Eltwise相加层的输入，第二Eltwise相加层的输出连接第三反卷积层的输入，第三反卷积层的输出连接第三尺寸修正层的输入，第三尺寸修正层同时输入完全卷积神经网络接收到的遥感图像；第三尺寸修正层的输出连接softmaxloss损失值计算层，同时softmaxloss损失值计算层输入完全卷积神经网络接收到的标签图像。

优选的，步骤S3中，完全卷积神经网络进行训练得到最佳语义分割网络模型的具体过程如下：

将原始遥感图像训练样本以及边缘提取后的图像训练样本通过单通道的方式输入至完全卷积神经网络中进行网络参数训练，得到第一语义分割网络模型；

先将边缘提取后的图像训练样本输入完全卷积神经网络中进行网络参数训练，训练完成后保存上述训练得到的网络参数；然后将原始遥感图像训练样本作为输入进行二次训练，得到第二语义分割网络模型；

将原始遥感图像训练样本以及边缘提取后的图像训练样本通过双通道同时输入至完全卷积神经网络中进行网络参数训练，使得完全卷积神经网络同时学习遥感图像以及边缘提取后的图像，得到第三语义分割网络模型；

通过原始遥感图像训练样本和/或边缘提取后的图像训练样本针对第一语义分割网络模型、第二语义分割网络模型和第二语义分割网络模型进行验证，将验证识别准确率最高的其中一个语义分割网络模型作为最佳语义分割网络模型。

优选的，步骤S1中分别为每种物类目标分配RGB值和灰度值，具体为：当物类目标为背景时，为其分配RGB值分别为0、0、0，为其分配的灰度值为0；当物类目标为飞机时，为其分配RGB值分别为0、128、0，为其分配的灰度值为1；当物类目标为棒球场时，为其分配RGB值分别为128、128、0，为其分配的灰度值为2；当物类目标为高速公路时，为其分配RGB值分别为0、0、128，为其分配的灰度值为3；当物类目标为船只时，为其分配RGB值分别为128、0、128，为其分配的灰度值为4；当物类目标为十字路口时，为其分配RGB值分别为0、128、128，为其分配的灰度值为5；当物类目标为天桥时，为其分配RGB值分别为128、128、128，为其分配的灰度值为6；当物类目标为汽车时，为其分配RGB值分别为64、0、0，为其分配的灰度值为7；当物类目标为储蓄罐时，为其分配RGB值分别为192、0、0，为其分配的灰度值为8；当物类目标为网球场时，为其分配RGB值分别为62、128、0，为其分配的灰度值为9；当物类目标为海滩时，为其分配RGB值分别为192、128、0，为其分配的灰度值为10。

优选的，步骤S1中，获取的所有原始遥感图像中包括10种物类目标，其中每类物类目标包括100张原始遥感图像中，每张原始遥感图像中包括一种物类目标。本发明相对于现有技术具有如下的优点及效果：

(1)本发明遥感图像语义分割方法中，首先获取一定数量的原始遥感图像作为训练样本，并且选取出每个训练样本的物类目标，然后对物类目标进行上色处理、灰度化处理以及重新赋予灰度值等操作，从而得到原始遥感图像训练样本对应的标签图像。同时针对于原始遥感图像进行数据增强以及边缘提取后，得到边缘提取后的图像，将边缘提取后的图像也作为训练样本。将原始遥感图像训练样本和边缘提取后的图像训练样本作为完全卷积神经网络的输入对进行完全卷积神经网络训练，得到最佳语义分割网络模型；将待分割语义的测试遥感图像输入最佳语义分割网络模型中，获取到带相应灰度值的语义分割结果图像；为语义分割结果图像进行相应上色处理，得到最终语义分割结果图像，查找每种物类目标所分配的RGB值，然后根据最终语义分割结果图像中的RGB值获取到待分割语义的测试遥感图像对应的物类目标。可见，本发明基于深度学习理论，通过对大量遥感图像进行网络训练和学习，得到最佳语义分割网络模型，从而实现待测遥感图像语义信息的分割；本发明方法不需要先验条件进行初始化且不受先验条件限制，具有遥感图像语义信息分割准确率高的优点，针对遥感图像的分割问题具有较强的适用性。并且本发明可批量处理遥感图像，获得图像主要内容并辅助完成图像预处理工作。

(2)本发明遥感图像语义分割方法中，完全卷积神经网络的输入层至输出层之间依次为第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全链接层、第二全链接层、第一反卷积层、第二反卷积层和第三反卷积层；其中本发明完全卷积神经网络采用反卷积层代替了基础卷积神经网络中的损失值计算层，实现将卷积计算后学习得到的遥感特征图像(heatmap)重构至原始图像尺寸，从而得到语义分割结果。

附图说明

图1是本发明方法流程图。

图2a是各原始遥感图像；

图2b是图2a中各原始遥感图像对应的边缘提取后的图像。

图2c是图2a中各原始遥感图像中物类目标被上色后的标记遥感图像。

图3是本发明完全卷积神经网络的结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施例公开了一种基于深度学习的遥感图像语义分割方法，如图1所示，步骤如下：

步骤S1、分别为每种物类目标分配RGB值和灰度值；同时，获取一定数量的原始遥感图像作为训练样本，针对于每张原始遥感图像，根据先验知识通过手工分割方法将其中的物类目标选取出来，并且将背景置零。同时根据该物类目标所分配的RGB值对该物类目标进行上色处理，得到标记遥感图像；然后对标记遥感图像进行灰度化处理，并且根据其中物类目标所分配的灰度值对该物类目标中的每个像素点重新赋予灰度值，从而得到原始遥感图像训练样本对应的标签图像；本实施例中灰度值范围为0～N，N为物类目标的种类数。

本实施例在本步骤中获取的所有原始遥感图像中包括10种物类目标，其中每类物类目标包括100张原始遥感图像中，每张原始遥感图像中包括一种物类目标。

步骤S2、针对于步骤S1中获取到的原始遥感图像进行数据增强处理，然后进行图像的边缘提取得到边缘提取后的图像，将边缘提取后的图像作为训练样本；

如图2a所示为各原始遥感图像，如图2b所示为图2a中各原始遥感图像边缘提取后的图像。

在本实施例该步骤中，针对于步骤S1中获取到的每张标签图像分别进行数据增强处理的过程如下：

步骤S21、首先将原始遥感图像进行梯度15度的增强处理，使得原始遥感图像数据扩大至24倍；

步骤S22、然后将梯度增强处理后的原始遥感图像进行多尺度缩放处理；本实施例中将梯度增强处理后的原始遥感图像进行0.6、0.9和1.4三种尺寸的缩放处理，使得梯度增强处理后的原始遥感图像数据扩大至96倍；

步骤S23、最后针对多尺度缩放处理后的原始遥感图像进行镜像操作，使得多尺度缩放处理后的原始遥感图像数据扩大至192倍。得到约19万张训练及验证样本。在本实施例中，将所有图像数据按照4：6比例分别进行完全卷积神经网络的训练和验证。

另外本实施例该步骤中，Canny算子进行图像的边缘提取过程中，所使用到的信噪比SNR计算公式如下：

其中，G(-x)为边缘函数；f(x)为滤波器的脉冲响应，(-w,+w)为边界；σ为高斯均方差；易知，信噪比值越大，边缘提取效果越好。

Canny算子进行图像的边缘提取过程中，所使用到的定位精度Location计算公式如下：

其中，G′(-x)、f′(x)分别对应为G(-x)、f(x)的一阶导数；易知，定位精度Location值越大，边缘提取效果越好。

Canny算子进行图像的边缘提取过程中，单边缘响应准则如下：

即保证单边缘仅一个图像像素响应，满足检测算子脉冲响应导数的零交叉点间的平均距离d(f′)等于f(x)的二阶导数f″(x)。

步骤S3、将原始遥感图像训练样本和边缘提取后的图像训练样本作为输入对完全卷积神经网络进行训练，得到最佳语义分割网络模型；

步骤S4、将待分割语义的测试遥感图像输入至步骤S3获取到的最佳语义分割网络模型中，通过最佳语义分割网络模型获取到带相应灰度值的语义分割结果图像；

步骤S5、查找每种物类目标所分配的RGB值和灰度值的对应关系，根据语义分割结果图像中灰度值所对应的RGB值为语义分割结果图像进行上色处理，得到最终语义分割结果图像；查找每种物类目标所分配的RGB值，然后根据最终语义分割结果图像中的RGB值获取到待分割语义的测试遥感图像对应的物类目标。

其中本实施例中每种物类目标分配的RGB值和灰度值如表1所示：

表1

物类目标	R	G	B	标签
					背景	0	0	0	0
飞机	0	128	0	1
					棒球场	128	128	0	2
高速公路	0	0	128	3
					船只	128	0	128	4
十字路口	0	128	128	5
					天桥	128	128	128	6
汽车	64	0	0	7
					储蓄罐	192	0	0	8
网球场	62	128	0	9
					海滩	192	128	0	10

由表1可知，当物类目标为背景时，即无物类目标时，为其分配RGB值分别为0、0、0，为其分配的灰度值为0；当物类目标为飞机时，为其分配RGB值分别为0、128、0，为其分配的灰度值为1；当物类目标为棒球场时，为其分配RGB值分别为128、128、0，为其分配的灰度值为2；当物类目标为高速公路时，为其分配RGB值分别为0、0、128，为其分配的灰度值为3；当物类目标为船只时，为其分配RGB值分别为128、0、128，为其分配的灰度值为4；当物类目标为十字路口时，为其分配RGB值分别为0、128、128，为其分配的灰度值为5；当物类目标为天桥时，为其分配RGB值分别为128、128、128，为其分配的灰度值为6；当物类目标为汽车时，为其分配RGB值分别为64、0、0，为其分配的灰度值为7；当物类目标为储蓄罐时，为其分配RGB值分别为192、0、0，为其分配的灰度值为8；当物类目标为网球场时，为其分配RGB值分别为62、128、0，为其分配的灰度值为9；当物类目标为海滩时，为其分配RGB值分别为192、128、0，为其分配的灰度值为10。

步骤S1中，当原始遥感图像中选取出的物类目标为飞机时，将原始遥感图像中的飞机按照RGB值为0、128、0进行上色，即上色为绿色。依次类推，当原始遥感图像中选取出的物类目标为表1中的其他时，按照对应的RGB值进行上色。如图2a所示为各原始遥感图像，如图2c所示为图2a中各原始遥感图像中物类目标被上色后得到的标记遥感图像。其中各原始遥感图像中的背景的RGB值被置为零，即处理为黑色。

如图3所示，在本实施例中，完全卷积神经网络由基础卷积神经网络结构构建得到，构建得到的完全卷积神经网络包括卷积层(convolutional layer)、池化层(poolinglayer)、全连接层(full connection layer)、丢弃层(dropout_layer)和反卷积层(deconvolution_layer)，具体是，从输入层至输出层依次为第一卷积层conv1、第一池化层pool1、第二卷积层conv2、第二池化层pool2、第三卷积层conv3、第三池化层poo3、第四卷积层conv4、第四池化层pool4、第五卷积层conv5、第五池化层pool5、第一全链接层fc1、第二全链接层fc2、第一反卷积层upscore2、第二反卷积层upscore_pool4和第三反卷积层upscore8；其中第一卷积层conv1、第一池化层pool1、第二卷积层conv2、第二池化层pool2、第三卷积层conv3、第三池化层poo3、第四卷积层conv4、第四池化层pool4、第五卷积层conv5、第五池化层pool5、第一全链接层fc1、第二全链接层fc2依次连接；

本实施例中，第一卷积层conv1和第二卷积层conv2均包含两次卷积操作，第三卷积层conv3、第四卷积层conv4和第五卷积层conv5均包含三次卷积操作，每次卷积操作后通过ReLu函数激活图像特征得到特征映射图，每个卷积层后均连接池化层。

本实施例中，第一全链接层fc1、第二全链接层fc2之后分别对应连接第一丢弃层Dropout_layer1和第二丢弃层Dropout_layer2；通过第一丢弃层和第二丢弃层随机丢弃部分网络连接，减轻网络结构并抑制网络训练过拟合。

本实施例中，第二全链接层fc2的输出连接Score_fr卷积层的输入，得到与输入遥感图像对应的遥感特征图像(heatmap)；Score_fr卷积层的输出连接第一反卷积层upscore2的输入，第一反卷积层upscore2对Score_fr卷积层输出的特征图扩大两倍尺寸。第四池化层的输出连接第一尺寸修正层Score_pool4c的输入，通过第一尺寸修正层Score_pool4c对第四池化层pool4输出的特征图进行尺寸修正；第一反卷积层upscore2的输出和第一尺寸修正层Score_pool4c的输出分别连接第一Eltwise相加层fuse_pool4的输入，通过第一Eltwise相加层fuse_pool4得到尺寸扩大两倍且结合了浅层(第四池化层pool4层)图像特征信息的特征图。

第一Eltwise相加层fuse_pool4的输出连接第二反卷积层upscore_pool4的输入，通过第二反卷积层upscore_pool4对第一Eltwise相加层fuse_pool4所得结果扩大两倍尺寸；第二反卷积层upscore_pool4的输出连接第二Eltwise相加层的输入，第三池化层pool3的输出经过第二尺寸修正层连接第二Eltwise相加层fuse_pool3的输入，使得第二反卷积层upscore_pool4输出特征图与静尺寸修正后的第三池化层pool3特征图相加得到得到尺寸扩大四倍且结合了两层浅层(第四池化层pool4、第三池化层pool3层)图像特征信息的特征图。

第二Eltwise相加层fuse_pool3的输出连接第三反卷积层upscore8的输入，第三次反卷积操作对以上所得特征图扩大八倍尺寸，得到与原始遥感图像尺寸一致的特征图。其中第三尺寸修正层Score同时输入完全卷积神经网络接收到的遥感图像；第三尺寸修正层Score的输出连接softmaxloss损失值计算层，同时softmaxloss损失值计算层输入完全卷积神经网络接收到的标签图像。

在本实施例上述步骤S3中，完全卷积神经网络进行训练得到最佳语义分割网络模型的具体过程如下：

将原始遥感图像训练样本以及边缘提取后的图像训练样本通过单通道的方式输入至完全卷积神经网络中进行网络参数训练，得到第一语义分割网络模型；

先将边缘提取后的图像训练样本输入完全卷积神经网络中进行网络参数训练，训练完成后保存上述训练得到的网络参数；然后将原始遥感图像训练样本作为输入进行二次训练，得到第二语义分割网络模型；

将原始遥感图像训练样本以及边缘提取后的图像训练样本通过双通道同时输入至完全卷积神经网络中进行网络参数训练，使得完全卷积神经网络同时学习遥感图像以及边缘提取后的图像，得到第三语义分割网络模型；

通过原始遥感图像训练样本和/或边缘提取后的图像训练样本针对第一语义分割网络模型、第二语义分割网络模型和第二语义分割网络模型进行验证，将验证识别准确率最高的其中一个语义分割网络模型作为最佳语义分割网络模型。在本实施例中可以通过步骤S23获取到的验证样本对第一语义分割网络模型、第二语义分割网络模型和第二语义分割网络模型进行验证。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。发明技术主要针对彩色图片，本发明中的黑白图片只为专利申请展示。

Claims (8)

1.一种基于深度学习的遥感图像语义分割方法，其特征在于，步骤如下：

步骤S1、分别为每种物类目标分配RGB值和灰度值；获取一定数量的原始遥感图像作为训练样本，针对于每张原始遥感图像，选取出物类目标，并根据该物类目标所分配的RGB值对该物类目标进行上色处理，得到标记遥感图像；然后对标记遥感图像进行灰度化处理，并且根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到原始遥感图像训练样本对应的标签图像；

步骤S2、针对于步骤S1中获取到的原始遥感图像进行数据增强处理，然后进行图像的边缘提取得到边缘提取后的图像，将边缘提取后的图像作为训练样本；

步骤S3、将原始遥感图像训练样本和边缘提取后的图像训练样本作为输入对完全卷积神经网络进行训练，得到最佳语义分割网络模型；

步骤S3中所述完全卷积神经网络由基础卷积神经网络结构构建得到，所述完全卷积神经网络的输入层至输出层之间依次为第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全链接层、第二全链接层、第一反卷积层、第二反卷积层和第三反卷积层；其中第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一全链接层和第二全链接层依次连接；第一全链接层和第二全链接层之后分别对应连接第一丢弃层和第二丢弃层；

第二全链接层通过Score_fr卷积层连接第一反卷积层的输入，第四池化层的输出连接第一尺寸修正层的输入，第一反卷积层的输出和第一尺寸修正层的输出分别连接第一Eltwise相加层的输入；第一Eltwise相加层的输出连接第二反卷积层的输入，第二反卷积层的输出连接第二Eltwise相加层的输入，第三池化层的输出经过第二尺寸修正层连接第二Eltwise相加层的输入，第二Eltwise相加层的输出连接第三反卷积层的输入，第三反卷积层的输出连接第三尺寸修正层的输入，第三尺寸修正层同时输入完全卷积神经网络接收到的遥感图像；第三尺寸修正层的输出连接softmaxloss损失值计算层，同时softmaxloss损失值计算层输入完全卷积神经网络接收到的标签图像；

步骤S3中，完全卷积神经网络进行训练得到最佳语义分割网络模型的具体过程如下：

将原始遥感图像训练样本以及边缘提取后的图像训练样本通过单通道的方式输入至完全卷积神经网络中进行网络参数训练，得到第一语义分割网络模型；

先将边缘提取后的图像训练样本输入完全卷积神经网络中进行网络参数训练，训练完成后保存上述训练得到的网络参数；然后将原始遥感图像训练样本作为输入进行二次训练，得到第二语义分割网络模型；

将原始遥感图像训练样本以及边缘提取后的图像训练样本通过双通道同时输入至完全卷积神经网络中进行网络参数训练，使得完全卷积神经网络同时学习遥感图像以及边缘提取后的图像，得到第三语义分割网络模型；

通过原始遥感图像训练样本和/或边缘提取后的图像训练样本针对第一语义分割网络模型、第二语义分割网络模型和第三语义分割网络模型进行验证，将验证识别准确率最高的其中一个语义分割网络模型作为最佳语义分割网络模型；

步骤S4、将待分割语义的测试遥感图像输入至步骤S3获取到的最佳语义分割网络模型中，通过最佳语义分割网络模型获取到带相应灰度值的语义分割结果图像；

步骤S5、查找每种物类目标所分配的RGB值和灰度值的对应关系，根据语义分割结果图像中灰度值所对应的RGB值为语义分割结果图像进行上色处理，得到最终语义分割结果图像；查找每种物类目标所分配的RGB值，然后根据最终语义分割结果图像中的RGB值获取到待分割语义的测试遥感图像对应的物类目标。

2.根据权利要求1所述的基于深度学习的遥感图像语义分割方法，其特征在于，步骤S1中针对每张原始遥感图像，根据先验知识通过手工分割方法将其中的物类目标选取出来，并且将背景的RGB值置为零。

3.根据权利要求1所述的基于深度学习的遥感图像语义分割方法，其特征在于，步骤S2中，针对于步骤S1中获取到的每张标签图像分别进行数据增强处理的过程如下：

步骤S21、首先将原始遥感图像进行梯度增强处理；

步骤S22、然后将梯度增强处理后的原始遥感图像进行多尺度缩放处理；

步骤S23、最后针对多尺度缩放处理后的原始遥感图像进行镜像操作。

4.根据权利要求3所述的基于深度学习的遥感图像语义分割方法，其特征在于，步骤S21中原始遥感图像进行梯度为15度的增强处理，使得原始遥感图像数据扩大至24倍；

步骤S22中将梯度增强处理后的原始遥感图像进行0.6、0.9和1.4尺寸缩放处理，使得梯度增强处理后的原始遥感图像数据扩大至96倍；

步骤S23中针对多尺度缩放处理后的原始遥感图像进行镜像操作，使得多尺度缩放处理后的原始遥感图像数据扩大至192倍。

5.根据权利要求1所述的基于深度学习的遥感图像语义分割方法，其特征在于，步骤S2中，通过Canny算子进行图像的边缘提取。

6.根据权利要求5所述的基于深度学习的遥感图像语义分割方法，其特征在于，所述Canny算子进行图像的边缘提取过程中，所使用到的信噪比SNR计算公式如下：

其中，G(-x)为边缘函数；f(x)为滤波器的脉冲响应，(-w,+w)为边界；σ为高斯均方差；

所述Canny算子进行图像的边缘提取过程中，所使用到的定位精度Location计算公式如下：

其中，G′(-x)、f′(x)分别对应为G(-x)、f(x)的一阶导数；

所述Canny算子进行图像的边缘提取过程中，单边缘响应准则如下：

即满足检测算子脉冲响应导数的零交叉点间的平均距离d(f′)等于f(x)的二阶导数f″(x)。

7.根据权利要求1所述的基于深度学习的遥感图像语义分割方法，其特征在于，步骤S1中分别为每种物类目标分配RGB值和灰度值，具体为：当物类目标为背景时，为其分配RGB值分别为0、0、0，为其分配的灰度值为0；当物类目标为飞机时，为其分配RGB值分别为0、128、0，为其分配的灰度值为1；当物类目标为棒球场时，为其分配RGB值分别为128、128、0，为其分配的灰度值为2；当物类目标为高速公路时，为其分配RGB值分别为0、0、128，为其分配的灰度值为3；当物类目标为船只时，为其分配RGB值分别为128、0、128，为其分配的灰度值为4；当物类目标为十字路口时，为其分配RGB值分别为0、128、128，为其分配的灰度值为5；当物类目标为天桥时，为其分配RGB值分别为128、128、128，为其分配的灰度值为6；当物类目标为汽车时，为其分配RGB值分别为64、0、0，为其分配的灰度值为7；当物类目标为储蓄罐时，为其分配RGB值分别为192、0、0，为其分配的灰度值为8；当物类目标为网球场时，为其分配RGB值分别为62、128、0，为其分配的灰度值为9；当物类目标为海滩时，为其分配RGB值分别为192、128、0，为其分配的灰度值为10。

8.根据权利要求1-7中任一项所述的基于深度学习的遥感图像语义分割方法，其特征在于，步骤S1中，获取的所有原始遥感图像中包括10种物类目标，其中每类物类目标包括100张原始遥感图像中，每张原始遥感图像中包括一种物类目标。

Images