CN111738111A - 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法 - Google Patents

Abstract

本发明公开了一种基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，包括如下步骤:S1，数据预处理，对Massachusetts数据集里面的数据进行数据扩增；S2，搭建模型，使用卷积神经网络提取遥感道路图像的特征图，结合多分支级联空洞空间金字塔来提取道路图像上的特征信息，多分支级联空洞空间金字塔对所给定的输入以不同空洞比率的级联空洞卷积进行并行采样，相当于以多种方式捕捉图像的上下文信息；S3，设计损失函数来优化网络参数，并且建立评估指标F1和评估指标MIOU；S4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

Description

基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提 取方法

技术领域

本发明属于数字图像处理与机器学习技术领域，具体涉及一种基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法。

背景技术

道路作为交通的主要组成部分，在人类各项活动中发挥着不可替代的作用。在现代社会中，道路也是地图和地理信息系统中重要的标识对象。随着交通地理信息系统的建设，道路的自动提取技术随之出现并不断发展。及时而完备的道路交通信息系统，可在交通导航、城市规划、农林及飞行器自动驾驶等诸多领域发挥重要作用。道路作为一种重要的基础设施，在城镇建设、交通运输和军事应用等领域都扮演着重要的角色。随着高分辨率遥感数据的大量投入使用，如何快速、准确地从遥感图像中提取道路信息引起了众多国内外学者的关注。

在传统的卷积神经网络模型中，通常会使用下采样来扩大特征图的感受野，来抽象化特征信息，从而为了使得输出图像的尺寸要求和输入图像的尺寸一致而需要进行上采样的操作，但由于一般的网络结构模型中都会使用pooling操作，也就是池化操作来下采样以便增大感受野但同时会降低特征图的分辨率，使得每个卷积输出都包含较大范围的图像信息，对于提取抽象化信息是有很大帮助的，但在这个过程中，随着特征图像的分辨率不断下降，而使得图像的局部信息与细节信息会逐渐丢失，虽然现在也有通过线性插值上采样来恢复分辨率的手段存在，但在这个过程，还是不可避免的会造成信息的损失，使得上采样无法还原由于pooling操作丢失的图像特征从而导致了一些细节信息上的严重损失。

发明内容

鉴于以上存在的技术问题，本发明用于提供一种基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，该模型在常规的编码-解码网络模型中加入多分支级联空洞空间金字塔模块，通过结合空洞卷积来构建多分支级联空洞空间金字塔的方式解决了遥感图像语义分割过程中的下采样操作时使得特征信息丢失的问题，提高了遥感图像道路提取的精度。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，包括以下步骤：

S1，数据预处理，对Massachusetts数据集里面的数据进行数据扩增，输入数据为Massachusetts数据集中的高分辨率遥感道路图像，输出数据为经过数据扩增的高分辨遥感道路图像，其中所述的数据扩增方式包括平移，旋转，水平翻转，HSV空间变化；

S2，搭建模型，使用卷积神经网络提取遥感道路图像的特征图，结合多分支级联空洞空间金字塔来提取道路图像上的特征信息，多分支级联空洞空间金字塔对所给定的输入以不同空洞比率的级联空洞卷积进行并行采样，因为采取了不同空洞比率的空洞卷积，每一种不同空洞比率的空洞卷积所得到的感受野都不相同，加上卷积降维分支和自适应池化分支，相当于以多种方式捕捉图像的上下文信息；

S3，设计损失函数来优化网络参数，并且建立评估指标F1和评估指标MIOU，来对模型的输出结果进行评估；

S4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

优选地，所述步骤S1具体步骤为：

S11，先对数据集中的图像进行包括平移，旋转和水平反转的预处理；

S12，再对得到先前处理的图像进行HSV变换操作，HSV变换处理的公式定义如下：

maxt＝max(r,g,b)

mint＝min(r,g,b)

v＝maxt

如果r＝v，

如果g＝v，

如果b＝v，

经过上述计算之后，

h＝h*60

如果h<0，

h＝h+360

其中r、g、b分别代表红、绿、蓝；h、s、v分别代表色调、饱和度、明度，maxt代表r、g、b中的最大值，mint代表r、g、b中的最小值。

优选地，所述的S2具体步骤为：

S21，选用Linknet34作为基础卷积神经网络；

S22，构建分支级联空洞空间卷积金字塔模块，空洞卷积是在标准的卷积图里注入空洞以此增加接受域，相比原始的卷积，空洞卷积多了一个超参数，称之为空洞比率，指的是内核的间隔数量，标准卷积的空洞卷积比率通常为1。

优选地，S3具体步骤为：

S31，模型网络对数据进行训练，需要构造一个损失函数，来判断模型网络训练的好坏，在一定程度上，损失函数越小就表示训练出来的模型效果越好，选取DiceCofficient Loss作为模型的损失函数，其定义如下：

其中P_i表示第i张预测图，G_i表示第i张标签图片，N表示Batch Size；

S32，选取判断指标F1 Score和MIOU，来判断训练出来的图片与标签图片的相似度；

S33，选取F1 Score作为评估指标。

具体的，F1 Score指标的定义如下：

其中precision表示精确率，recall表示召回率，precision和recall的定义如下：

其中TP为True Positive，代表真阳性：预测为正，实际也为正；

FP为False Positive，代表假阳性：预测为正，实际为负；

FN为False Negative，代表假阴性：预测与负、实际为正；

TN为True Negative，代表真阴性：预测为负、实际也为负；

F1的结果越大，则表示预测图片与所提供的真实标签越为相近。

S34,选取MIOU作为评估指标，MIOU指标就是大家常说的交并比，在语义分割中作为标准度量一直被人使用，计算公式为：

其中k+1表示共有k+1个类，从0到k类，其中包含一个空类或者背景，p_ij表示本属于i类但被预测为j类的像素数量，p_ji表示本属于j类但被预测为i类的像素数量，p_ii表示真正预测正确的数量。

优选地，所述的S4具体步骤为：

S41，对模型进行多次训练，合理的调整模型参数，如优化器的选取，学习率的选取等，得到最优的模型；

S42，选取测试图片作为输入图片，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

采用本发明具有如下的有益效果：

(1)本发明实施例采用了多分支空间金字塔结构，不管输入尺寸是怎样，空间金字塔结构可以产生固定大小的输出，空间金字塔结构对于特定的卷积神经网络设计和结构是独立的。也就是说，只要把空间金字塔结构放在最后一层卷积层后面，对网络的结构是没有影响的，它只是替换了原来的pooling层。

(2)本发明实施例使用了空洞卷积，并采用了空洞卷积级联的方式结合空间金字塔结构之后，较好的解决了分割任务下采样导致的图片分辨率下降的问题，并且使用了多尺度的采样率大小，不同采样率的空洞卷积可以有效捕获多尺度信息。

(3)与其他分割模型进行对比分析，包括U-Net和Resnet，并且对这些模型进行相同的训练后得出了评估结果，分别从F1和MIOU指标的情况来看，Resnet模型和传统U-Net模型的性能相对较差，原因在于这两个模型在下采样时没有对信息丢失这一缺陷进行有效的改进，导致对特征的提取不够好。

附图说明

图1为本发明实施例的基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法的步骤流程图；

图2为本发明实施例的基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法的多分支级联空洞空间金字塔池化模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的基于注意力机制与语义约束角的高分辨率遥感图像的道路提取方法的步骤流程图，具体实施步骤如下：

S1，数据预处理，对Massachusetts数据集里面的数据进行数据扩增，输入数据为Massachusetts数据集中的高分辨率遥感道路图像，输出数据为经过数据扩增的高分辨遥感道路图像，其中所述的数据扩增方式包括平移，旋转，水平翻转，HSV空间变化。

优选的，所述的S1具体步骤为：

S1.1：先对数据集中的图像进行平移，旋转，和水平反转等预处理。

S1.2：再对得到先前处理的图像进行HSV变换操作，HSV变换处理的公式定义如下：

maxt＝max(r,g,b)

mint＝min(r,g,b)

v＝maxt

如果r＝v，

如果g＝v，

如果b＝v，

经过上述计算之后，

h＝h*60

if h<0，

h＝h+360

其中r、g、b分别代表红，绿，蓝；h，s，v分别代表色调，饱和度，明度，maxt代表r、g、b中的最大值，mint代表r、g、b中的最小值。

S2，搭建模型，使用卷积神经网络提取遥感道路图像的特征图，结合多分支级联空洞空间金字塔来提取道路图像上的特征信息，多分支级联空洞空间金字塔对所给定的输入以不同空洞比率的级联空洞卷积进行并行采样，因为采取了不同空洞比率的空洞卷积，每一种不同空洞比率的空洞卷积所得到的感受野都不相同，加上卷积降维分支和自适应池化分支，相当于以多种方式捕捉图像的上下文信息。

具体的，所述的S2具体步骤为：

S21，在具体的实施过程中，本发明选用Linknet34作为基础卷积神经网络，其模型结构为典型encoder-decoder模型，相对于传统模型来说，encoder负责将一张图片的每个像素点，通过复杂的计算过程，映射到某一个高维分布上，而Decoder则是负责将这个高维分布，映射到给定的类别区域，实现了end-to-end的训练过程。

S22，构建多分支级联空洞空间卷积金字塔模块。

具体的，其中的关键是空洞卷积，空洞卷积它是在标准的卷积图里注入空洞以此增加接受域，相比原始的卷积，空洞卷积多了一个超参数，称之为空洞比率，空洞比率指的是内核的间隔数量，标准卷积的空洞卷积比率通常为1。使用空洞卷积的优点是，在不造成信息损失的情况下加大了感受野，每个卷积输出也能包含较大范围的特征信息。

对于普通卷积，将其感受野表示后可以得到一个结论，假设感受野初始大小为1，对于每一层来说，该层的感受野与上一层有一种线性关系，其与每个层的步长和卷积核有关，与padding没有关系，感受野只是表示两者的映射关系，与原始图的大小无关。

具体的，感受野S的计算公式如下：

F(i,j-1)＝(F(i,j)-1)×s+k

其中F(i,j)表示第i层对第j层的局部感受野，所以这个公式是从上层向下层计算感受野的，k表示卷积核大小，默认设置为3，s表示卷积步长。

为了进一步减少不同子区域间上下文信息的丢失，本发明实施例中提出了一个有层次的全局先验结构，包含不同尺度、不同子区域间的信息，即多分支级联空洞空间金字塔模块，这是一种有效的全局上下文先验模块。

具体的，本发明实施例中的多分支级联空洞空间金字塔池化模块可以融合四种不同金字塔尺度的特征。对第一个分支自适应池化分支进行构造，构造一个卷积核为其本身大小的自适应全局池化。第一个分支是最粗糙级别的单个全局池化输出，其卷积计算定义为：

其中n为输入的特征图大小，k表示卷积核大小，p表示为填充范围，s表示卷积步长，因为是单个全局池化，所以这时的k为输入的特征图大小n，p默认为0，s默认为1，卷积完成之后接一个BN层和一个Relu层。

第二个分支为卷积降维分支，构造这个分支使用了标准的1x1的卷积，主要作用是为了降低特征图的维度，使之与剩下三个分支能够进行维度叠加，这个分支相当于原始特征图的特征信息，其他三个分支都在此特征图上进行的进一步特征提取，换个角度说，此分支拥有更多的浅层信息，卷积完成之后接一个BN层和一个Relu层。

第三个分支是空洞卷积的偶数次级联，分别构建三个空洞比率不同的空洞卷积模块，空洞比率分别为2，4，8，每个空洞卷积模块之后接一个Relu层，将三个不同空比率的卷积模块级联起来，每经过一次空洞卷积模块，都能较大的提高输出特征图的感受野大小，当把普通卷积变成空洞卷积时，其卷积输出的计算定义如下：

其中n为输入的特征图大小，k表示卷积核大小，p表示填充范围的大小，s表示卷积步长，d表示空洞比率。特别地，为了保持输出的特征图大小保持不变，对于3*3的卷积核，如果p＝d，s＝1,则根据上述公式，则输出特征图尺寸大小不改变。

具体的，带dilation的感受野计算定义如下：

F(i,j-1)＝(F(i,j)-1)×s+d×(k-1)+1

其中F(i,j)表示第i层对第j层的局部感受野，k表示卷积核大小，s表示卷积步长，d表示的空洞比率，从上述公式中可以看出，d越大，感受野就越大。

第四个分支是空洞卷积的奇数次级联，分别构建三个空洞比率不同的空洞卷积模块，空洞比率分别为3，5，9，每个空洞卷积模块之后接一个Relu层。对于空洞卷积来说，如果级联的空洞卷积的空洞比率都是偶数，或者都是奇数，能够更有效的提取特征图像的特征信息，所有我们在此分别单独构建了一个空洞卷积的偶数次级联和一个空洞卷积的奇数次级联。

不同的金字塔分支将特征映射划分为不同的子区域，能够输出针对金字塔池化模块中不同位置不同级别不同大小的特征映射，为了维护全局特性的权重，如果金字塔共有N个级别，则在每个级别后使用1×1卷积，将对应级别的通道数量降为原本的1/N，然后通过双线性插值直接对低维特征图进行上采样，得到与原始特征映射相同尺寸的特征图。最后，将不同级别的特征维度叠加起来，作为最终的金字塔池化全局特性输出。多分支级联空洞空间金字塔池化模块结构如图2所示。

金字塔层级的数量和每一层的大小都可以进行调整，输出尺寸大小与输入金字塔池化层的特征映射的大小有关，该结构通过在几个分支中进行不同尺寸的池化来对不同的子区域实现抽样。因此，从表示性上来看，每个分支的卷积大小应该保持合理的差距。

S3，设计损失函数来优化网络参数，其并且建立评估指标F1和评估指标MIOU，来对模型的输出结果进行评估。

具体的，S3具体步骤为：

S31，模型网络对数据进行训练，需要构造一个损失函数，来判断模型网络训练的好坏，在一定程度上，损失函数越小就表示训练出来的模型效果越好，在本发明实施例中，选取Dice Cofficient Loss作为模型的损失函数，其定义如下：

其中P_i表示第i张预测图，G_i表示第i张标签图片，N表示Batch Size。

S32，进一步的选取判断指标F1 Score和MIOU，来判断训练出来的图片与标签图片的相似度。选取F1 Score作为评估指标。

具体的，F1 Score指标的定义如下：

其中precision表示精确率，recall表示召回率，precision和recall的定义如下：

其中TP为True Positive，代表真阳性：预测为正，实际也为正；

FP为False Positive，代表假阳性：预测为正，实际为负；

FN为False Negative，代表假阴性：预测与负、实际为正；

TN为True Negative，代表真阴性：预测为负、实际也为负；

F1的结果越大，则表示预测图片与所提供的真实标签越为相近。

S33，选取MIOU作为评估指标，MIOU指标就是大家常说的交并比，在语义分割中作为标准度量一直被人使用。交并比不仅仅在语义分割中使用，在目标检测等方向也是常用的指标之一，计算公式为：

其中k+1表示共有k+1个类，从0到k类，其中包含一个空类或者背景，p_ij表示本属于i类但被预测为j类的像素数量，p_ji表示本属于j类但被预测为i类的像素数量，p_ii表示真正预测正确的数量。

S4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

具体的，S4具体步骤为：

S41，对模型进行多次训练，合理的调整模型参数，如优化器的选取，学习率的选取等，得到最优的模型。

S42，选取测试图片作为输入图片，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (5)

1.一种基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，其特征在于，包括以下步骤：

S1，数据预处理，对Massachusetts数据集里面的数据进行数据扩增，输入数据为Massachusetts数据集中的高分辨率遥感道路图像，输出数据为经过数据扩增的高分辨遥感道路图像，其中所述的数据扩增方式包括平移，旋转，水平翻转，HSV空间变化；

S2，搭建模型，使用卷积神经网络提取遥感道路图像的特征图，结合多分支级联空洞空间金字塔来提取道路图像上的特征信息，多分支级联空洞空间金字塔对所给定的输入以不同空洞比率的级联空洞卷积进行并行采样，因为采取了不同空洞比率的空洞卷积，每一种不同空洞比率的空洞卷积所得到的感受野都不相同，加上卷积降维分支和自适应池化分支，相当于以多种方式捕捉图像的上下文信息；

S3，设计损失函数来优化网络参数，并且建立评估指标F1和评估指标MIOU，来对模型的输出结果进行评估；

S4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

2.如权利要求1所述的基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，其特征在于，所述步骤S1具体步骤为：

S11，先对数据集中的图像进行包括平移，旋转和水平反转的预处理；

S12，再对得到先前处理的图像进行HSV变换操作，HSV变换处理的公式定义如下：

maxt＝max(r,g,b)

mint＝min(r,g,b)

v＝maxt

如果r＝v，

如果g＝v，

如果b＝v，

经过上述计算之后，

h＝h*60

如果h<0，

h＝h+360

其中r、g、b分别代表红、绿、蓝；h、s、v分别代表色调、饱和度、明度，maxt代表r、g、b中的最大值，mint代表r、g、b中的最小值。

3.如权利要求1所述的基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，其特征在于，所述的S2具体步骤为：

S21，选用Linknet34作为基础卷积神经网络；

S22，构建多分支级联空洞空间金字塔模块，其中的关键是空洞卷积，空洞卷积是在标准的卷积图里注入空洞以此增加接受域，相比原始的卷积，空洞卷积多了一个超参数，称之为空洞比率，指的是内核的间隔数量，标准卷积的空洞卷积比率通常为1。

4.如权利要求1所述的所述的基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，其特征在于，S3具体步骤为：

S31，模型网络对数据进行训练，需要构造一个损失函数，来判断模型网络训练的好坏，在一定程度上，损失函数越小就表示训练出来的模型效果越好，选取Dice CofficientLoss作为模型的损失函数，其定义如下：

其中P_i表示第i张预测图，G_i表示第i张标签图片，N表示Batch Size；

S32，选取判断指标F1 Score和MIOU，来判断训练出来的图片与标签图片的相似度；

S33，选取F1 Score作为评估指标。

具体的，F1 Score指标的定义如下：

其中precision表示精确率，recall表示召回率，precision和recall的定义如下：

其中TP为True Positive，代表真阳性：预测为正，实际也为正；

FP为False Positive，代表假阳性：预测为正，实际为负；

FN为False Negative，代表假阴性：预测与负、实际为正；

TN为True Negative，代表真阴性：预测为负、实际也为负；

F1的结果越大，则表示预测图片与所提供的真实标签越为相近。

S34,选取MIOU作为评估指标，MIOU指标就是大家常说的交并比，在语义分割中作为标准度量一直被人使用，计算公式为：

其中k+1表示共有k+1个类，从0到k类，其中包含一个空类或者背景，p_ij表示本属于i类但被预测为j类的像素数量，p_ji表示本属于j类但被预测为i类的像素数量，p_ii表示真正预测正确的数量。

5.如权利要求1所述的所述的基于多分支级联空洞空间金字塔的高分辨率遥感图像的道路提取方法，其特征在于，所述的S4具体步骤为：

S41，对模型进行多次训练，合理的调整模型参数，如优化器的选取，学习率的选取等，得到最优的模型；

S42，选取测试图片作为输入图片，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

Images