CN110781776B - 一种基于预测和残差细化网络的道路提取方法 - Google Patents

Abstract

本发明公开了一种基于预测和残差细化网络的道路提取方法，针对道路目标的不同特征，设计了预测网络和残差细化网络组合的航拍图像道路提取算法。预测网络采用Encoder‑Decoder结构；其次，预测网络结合了空洞卷积模块DCM和多核池化模块MPM，能够充分地获得图像的上下文信息和道路边缘信息，提高道路边缘检测能力。残差细化网络将对预测网络产生的初始道路预测结果进行细化，改善预测网络由于噪声产生的道路模糊化，网络还融合了BCE、SSIM以及IoU损失函数进行监督训练，减少道路信息损失，有利于提取完整的道路结构。

Description

一种基于预测和残差细化网络的道路提取方法

技术领域

本发明属于数字图像处理、模式识别与机器学习技术领域，涉及一种道路提取方法，特别是涉及一种基于预测和残差细化网络的道路提取方法。

背景技术

道路提取可以表示为一个二分类问题，类似于语义分割中的多目标分割，相比较而言，道路分割减少了分割类别。由于航拍图像或者高分辨率遥感图像中的道路类型多变，道路提取仍然面临严峻的挑战。经过多年的研究，从航拍图像中提取道路已经涌现了大量的算法，大致可以分为三类：基于特征、基于对象、基于知识层次的道路提取方法。基于特征层次的道路提取算法包括模板匹配法、边缘与平行线法、特定模型法以及滤波法；基于对象层次的道路提取算法包括多分辨率分析方法、区域统计分析方法以及道路单元修整与连接方法；基于知识层次的道路提取方法包括结合多源数据方法和道路与相关理论结合方法。最近，深度学习在计算机视觉的应用中取得了良好的效果，卷积神经网络、全卷积神经网络以及残差神经网络已经被广泛的应用到高分辨率遥感图像道路提取任务中，已经取得了不错的效果。结合人工智能以及机器学习的方法，将是未来进一步解决高分辨率遥感图像道路提取任务的关键，这在未来也有着非常高的应用价值。

发明内容

本发明的在于提出一种基于预测和残差细化网络的道路提取方法，显著提高复杂背景下的道路提取效果，能够适用于多种不同背景的遥感图像。

本发明所采用的技术方案是：一种基于预测和残差细化网络的道路提取方法，包括以下步骤：

步骤1：设计预测网络和残差细化网络组合的航拍图像道路提取网络；

所述预测网络采用Encoder-Decoder结构，结合空洞卷积模块DCM和多层池化模块MPM；

所述残差细化网络融合BCE、SSIM以及IoU损失函数进行监督训练，用于对预测网络产生的初始道路预测结果进行细化；

步骤2：利用所述预测网络对初始道路进行，利用所述残差细化网络对预测网络产生的初始道路预测结果进行细化提取完整的道路结构。

本发明针对道路目标的不同特征，设计了预测网络和残差细化网络组合的航拍图像道路提取算法。预测网络采用Encoder-Decoder结构，为了保留丰富的低维细节特征以及高维语义特征，增加了低维特征向高维特征的跳连接，进行多级特征融合，减少信息损失；其次，预测网络结合了空洞卷积模块(Dilation Convolution Module,DCM)和多层池化模块(Multi-kernel Pooling Module,MPM)，能够充分地获得图像的上下文信息和道路边缘信息，提高道路边缘检测能力。残差细化网络将对预测网络产生的初始道路预测结果进行细化，改善预测网络由于噪声产生的道路模糊化，网络还融合了BCE(Binary CrossEntropy)、 SSIM(Structural SIMilarity)以及IoU(Intersecion Over Union)损失函数进行监督训练，减少道路信息损失，有利于提取完整的道路结构。

本发明提出了一种基于预测和残差细化网络的道路提取方法，与现有算法相比，其显著优点在于：

(1)本发明采用两级网络相结合的道路提取算法，包括预测网络和残差细化网络；

(2)本发明的预测网络和残差细化网络采用Encoder-Decoder结构，为了保留丰富的低维细节特征以及高维语义特征，增加了低维特征向高维特征的跳连接，进行多级特征融合，减少信息损失；

(3)本发明采用在预测网络中加入了不同组合的空洞卷积模块，同时结合多核池化模块，充分利用了图像的上下文信息，提高了对道路特征的学习能力；

(4)本发明采用残差细化网络将对预测网络输出进一步细化，改善道路预测结果由于噪声造成的道路边界模糊的情况，能够提高道路预测结构的清晰度；

(5)本发明不同于其他的算法，同时结合BCE、IoU以及SSIM三种损失函数，对训练进行实时监督，能够有效的减少信息的丢失，这对于提取完整的道路结构有着非常重要的作用。

附图说明

图1为本发明实施例的原理图；

图2为本发明实施例的空洞卷积模块DCM原理图；

图3为本发明实施例的多核池化模块MPM原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供了一种一种基于预测和残差细化网络的道路提取方法，包括以下步骤：

步骤1：设计预测网络和残差细化网络组合的航拍图像道路提取网络；

本实施例中，预测网络采用Encoder-Decoder结构，结合空洞卷积模块DCM 和多层池化模块MPM；

最近，U-Net算法在细胞分割领域取得了非常不错的效果，受启发于U-Net 语义分割框架，本实施例的道路预测网络也采用Encoder-Decoder网络架构，它对获取高维全局纹理和低维细节信息有着非常好的效果。为了克服过拟合的影响，每一级编码器的最后一层将采用Ground Truth进行监督训练。

本实施例的编码器由一个输入卷积层和六层残差网络块(ResNet-block)组成。输入卷积层采用64个卷积核大小为3×3，步长为1的滤波器组成，输入层之后不进行池化操作。进入预测网络的图像尺寸为500×500×3，进行一次随机裁剪，将图像尺寸调整为448×448×3，经过输入卷积层处理，此时输入卷积层输出的特征图尺寸为448×448×64。对于设计的六层编码器，前四层采用的是ResNet-34，采用3×3卷积核，步长为1，前四层编码器输出特征图分别为448×448×64、 224×224×128、112×112×256、56×56×512。为调整网络获得更高维度的特征图，得到完整的特征信息，增加了网络深度，在第四层编码层后面增加了两层编码器，增加的两层编码器主要由三个残差块组成，每个残差块由512个卷积核大小为3×3的滤波器、Batch Normalization以及ReLU激活函数。随后紧接一个卷积核大小为2×2，步长为2的最大池化层。最后，第五层和第六层编码器输出特征图分别为28×28×512和14×14×512。

为了进一步提取全局特征信息，本实施例在第一部分的预测网络，即第六层编码器之后加入了空洞卷积模块，如图1所示，空洞卷积模块DCM和多层池化模块MPM中间的部分为预测网络的桥接层，桥接层是连接编码器和解码器并进行特征传递的桥梁。为了进一步研究空洞卷积对道路分割性能的影响，本实施例设计了两种空洞卷积模型，通过调整空洞卷积率来验证分割性能的差异。如图2 所示，其中(a)模型采用空洞卷积率分别为1、3、5的卷积核进行串联和并联，(b) 模型则采用空洞卷积率分别为1、2、4的卷积核进行串联和并联。设计的(a)模型和(b)模型都有五条分支，中间的分支没有经过卷积操作，特征将直接传递，此外，这五条分支是并联的关系。

空洞卷积可以采用级联方式，通过调整空洞卷积率可以改变每层感受野的大小。本实施例设计的DCM包含五个并联分支，伴随着空洞卷积率的改变，每一分支的感受野将会发生改变，感受野的计算公式如式(1)(2)所示：

R₁＝d*(k-1)+1 (1)

R_n＝d*(k-1)+R_n-1 (2)

其中，k表示卷积核大小，d表示空洞卷积率，R_n为第n层卷积的感受野。因此，对于图2中的(a)模型，由于中间分支没有卷积操作，不涉及感受野，所以剩下四个分支从左到右感受野大小分别为3、7、9、19。同理，对于图2中的(b)模型，从左到右每一分支感受野分别为3、5、7、15。

本实施例设计的预测网络采用Encoder-Decoder结构，Encoder-Decoder具有对称的特点。其中DCM模块和MPM模块中间为桥接层，它主要由三个卷积层组成，采用3×3的卷积核，为了增大感受野，学习更多的道路特征信息，三个卷积层中也加入了空洞卷积，空洞卷积率按顺序分别为1、2、3，同时每个卷积层都会串联一个Batch Normalization和一个ReLU激活函数，此时对应桥接层的输出为14×14×512。为了获得多一层的特征信息，在桥接层输出中，将采用 Skip-Connection方式与第六层编码器输出进行特征融合，并传递到第六层编码器相对应的解码器中。与此同时，桥接层的输出除了与第六层的编码器输出进行特征融合外，还将直接作为多核池化模块的输入，随后进行多层池化操作。

设计的多核池化模块如图3所示，包括四层池化分支，每一分支的池化卷积核大小分别为2×2、3×3、4×4、5×5，对应的步长分别为2、3、4、5，这四个分支经过一个1×1卷积和上采样串联连接输入到第一层解码器中。

对于解码器部分，本实施例设计的每一层解码器是由三个卷积层组成，每个卷积都串联一个Batch Normalization和ReLU激活函数，每一层解码器的输入包括两个部分，其一来自于前一层解码器经过上采样的输出，其二来自于编码器相对应层的特征映射输出和前一层解码器的输出，具体的连接如图1所示。为了实现多边监督，桥接层、前五层解码器、预测网络的输出层以及残差细化网络的输出层加入了边输出，每个边输出通道将通过3×3卷积核，经过上采样和一个 Sigmoid函数，融合SSIM、IoU以及BEC损失函数，在训练中实时检测这八条边的训练损失。最后，预测网络的输出将预测出道路的大致轮廓，并输入到残差细化网络。

本实施例中，残差细化网络融合BCE、SSIM以及IoU损失函数进行监督训练，用于对预测网络产生的初始道路预测结果进行细化；

由于残差细化网络模型预测的输出结果与真实标签会存在一定的误差，为了得到较准确的道路预测结果，就需要使其误差值尽可能小。

假设残差细化网络产生的预测图为P_coarse，通过学习预测图P_coarse和Ground Truth之间的差异D_residual，网络细化之后的结果为R_refined，定义三者之间的损失关系如式(3)所示：

R_refined＝P_coarse+D_residual (3)

预测网络生成的预测图会产生模糊不清的结果，主要是预测出的结果存在失真和噪声。本实施例设计的残差细化网络将基于局部上下文信息，进一步细化模糊不清的预测图，改善预测图的边缘细节，从而提高道路边界的清晰度。残差细化网络遵循编码器-解码器结构，它包含有输入层、编码器、桥接层、解码器以及输出层。与预测网络不同的是，不算中间的桥接层，残差细化网络中的编码器和解码器采用五层对称的Encoder-Decoder结构。每一层都仅有一个卷积层，采用64个卷积核大小为3×3的滤波器，串联一个BatchNormalization和一个ReLU 激活函数。编码器和解码器之间的桥接层，也采用相同的设计方式。不同层之间的编码器采用最大池化进行下采样操作，不同层之间的解码器采用双线性插值进行上采样。最后，残差细化网络将产生高准确率的道路预测结果。

本实施例采用的损失函数分为三个部分，分别为BCE损失、SSIM损失以及 IoU损失。总训练损失定义为所有输出的总和，如式(4)所示：

其中，l^k表示第k条边的输出损失，K表示总的输出层数，这里设置K＝8，β_k表示每个损失的权重。设计的道路提取模型将对8个输出进行深监督，7个输出来自预测网络，1个输出来自残差细化网络。

为了获得高质量的到道路分割结果和清晰的道路边界，如式(5)所示，定义l^k作为总的损失：

其中，

和

分别表示BCE损失、SSIM损失以及IoU损失。

BCE损失函数定义如式(6)所示：

其中，G(r,c)∈{0,1}，它指的像素(r,c)的Ground Truth标签值，P(r,c)指的是道路目标预测的概率。

SSIM最初是用来评估图像质量的性能指标，它可以获取图像的结构信息，将其整合到训练损失中可以学习道路目标Ground Truth的结构化信息。本发明利用滑动窗将图像分为N个图像块，x＝{x_i:i＝1,2,...,N²}和y＝{y_i:i＝1,2,...,N²} 分别表示道路预测概率图(Predicted Probability Map)和二值标签(Binary Ground Truth Mask)对应块的像素值，SSIM对于x和y损失定义如式(7)所示：

其中，C₁＝0.01²，C₂＝0.03²，

和

分别表示x和y的平均值，和σ_y分别表示x和y的标准差，σ_xy表示x和y的协方差。

IoU的提出是为了度量两张图像的相似性，对于目标检测和分割任务是一个标准的评估度量，IoU定义如式(8)所示：

其中，G(r,c)∈{0,1}，它指的像素(r,c)的Ground Truth标签值，P(r,c)指的是道路目标预测的概率。H表示图片的高度，W表示图像的宽度。

步骤2：利用预测网络对初始道路进行，利用残差细化网络对预测网络产生的初始道路预测结果进行细化提取完整的道路结构。

针对城区背景道路图像，道路交叉口多、道路附近的建筑物有明显的平行边缘以及山区背景的道路图像曲率变化大，道路和背景灰度差别明显，没有明显的几何特征，本发明都有着很好的应用效果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于预测和残差细化网络的道路提取方法，其特征在于，包括以下步骤：

步骤1：设计预测网络和残差细化网络组合的航拍图像道路提取网络；

所述预测网络采用Encoder-Decoder结构，结合空洞卷积模块DMC和多核池化模块MPM；

所述残差细化网络融合BCE、SSIM以及IoU损失函数进行监督训练，用于对预测网络产生的初始道路预测结果进行细化；

所述预测网络采用Encoder-Decoder网络架构，每一级编码器的最后一层采用GroundTruth进行监督训练；

所述编码器由一个输入卷积层和六层残差网络块ResNet-block组成，第六层编码器之后加入空洞卷积模块DCM，空洞卷积模块DCM和多核池化模块MPM中间的部分为预测网络的桥接层，桥接层是连接编码器和解码器并进行特征传递的桥梁；

所述多核池化模块MPM由三个卷积层组成，三个卷积层中加入空洞卷积，空洞卷积率按顺序分别为1、2、3，同时每个卷积层都串联一个Batch Normalization和一个ReLU激活函数；

在桥接层输出中，采用Skip-Connection方式与第六层编码器输出进行特征融合，并传递到第六层编码器相对应的解码器中；与此同时，桥接层的输出除了与第六层的编码器输出进行特征融合外，还将直接作为预测网络中的多核池化模块MPM的输入，随后进行多层池化操作；

所述空洞卷积模块DCM，包括a和b两种模型，其中a模型利用空洞卷积率分别为1、3、5的卷积核采用串联和并联方式进行组合，b模型采用空洞卷积率分别为1、2、4的卷积核采用串连和并联方式进行组合；a模型和b模型都有五条分支，中间的分支没有经过卷积操作，特征将直接传递，此外，这五条分支是并联的关系；

所述多核池化模块MPM，包括四层池化分支，每一分支的池化卷积核大小分别为2×2、3×3、4×4、5×5，对应的步长分别为2、3、4、5，这四个分支经过一个1×1卷积和上采样串联连接输入到第一层解码器中；

步骤2：利用所述预测网络对初始道路进行，利用所述残差细化网络对预测网络产生的初始道路预测结果进行细化提取完整的道路结构。

2.根据权利要求1所述的基于预测和残差细化网络的道路提取方法，其特征在于：所述解码器，每一层解码器均由三个卷积层组成，每个卷积都串联一个Batch Normalization和ReLU激活函数，每一层解码器的输入包括两个部分，其一来自于前一层解码器经过上采样的输出，其二来自于编码器相对应层的特征映射输出和前一层解码器的输出。

3.根据权利要求1所述的基于预测和残差细化网络的道路提取方法，其特征在于：步骤1中所述残差细化网络，遵循编码器-解码器结构，包含有输入层、编码器、桥接层、解码器以及输出层；残差细化网络中的编码器和解码器采用五层对称的Encoder-Decoder结构；每一层都仅有一个卷积层，采用64个卷积核大小为3×3的滤波器，串联一个BatchNormalization和一个ReLU激活函数；不同层之间的编码器采用最大池化进行下采样操作，不同层之间的解码器采用双线性插值进行上采样。

4.根据权利要求1所述的基于预测和残差细化网络的道路提取方法，其特征在于：步骤1中所述损失函数分为三个部分，分别为BCE损失、SSIM损失以及IoU损失；总训练损失L定义为所有输出的总和：

其中，l^k表示第k条边的输出损失，K表示总的输出层数，β_k表示每个损失的权重；

定义l^k作为总的损失：

其中，

和

分别表示BCE损失、SSIM损失以及IoU损失；

BCE损失函数定义为：

其中，G(r,c)∈{0,1}，它指的像素(r,c)的Ground Truth标签值，P(r,c)指的是道路目标预测的概率；

SSIM对于x和y损失定义为：

其中，利用滑动窗将图像分为N个图像块，x＝{x_i:i＝1,2,...,N²}和y＝{y_i:i＝1,2,...,N²}分别表示道路预测概率图和二值标签对应块的像素值；C₁＝0.01²，C₂＝0.03²，

和

分别表示x和y的平均值，σ_x和σ_y分别表示x和y的标准差，σ_xy表示x和y的协方差；

IoU损失函数定义为：

其中，G(r,c)∈{0,1}，它指的像素(r,c)的Ground Truth标签值，P(r,c)指的是道路目标预测的概率；H表示图片的高度，W表示图像的宽度。

5.根据权利要求1-4任意一项所述的基于预测和残差细化网络的道路提取方法，其特征在于：为了实现多边监督，桥接层、前五层解码器、预测网络的输出层以及残差细化网络的输出层加入了边输出，每个边输出通道将通过3×3卷积核，经过上采样和一个Sigmoid函数，融合SSIM、IoU以及BEC损失函数，在训练中实时检测这八条边的训练损失；最后，预测网络的输出将预测出道路的大致轮廓，并输入到残差细化网络。

Images