CN107025440A - 一种基于新型卷积神经网络的遥感图像道路提取方法 - Google Patents

Abstract

本发明提出一种基于新型卷积神经网络的遥感图像道路提取方法，属于遥感图像处理领域。本方法包括建立全卷积神经网络，使用像素与道路区域的最小欧氏距离获得惩罚权重并构建新的损失函数，使用得到的基于道路结构的损失函数对全卷积神经网络模型进行训练，使用训练好的模型进行道路提取。本发明可以将道路的几何结构以惩罚权重的形式体现在损失函数中，不仅保留道路的全局结构特性，而且为每一个像素点提供相应的重要系数，采用本发明所得到的遥感图像道路检测模型与现有技术相比，在查全率和精度方面都有所提升，能够得到完整的道路结构，改善道路中断并排除屋顶误检等情况，获得较好的道路提取效果。

Description

一种基于新型卷积神经网络的遥感图像道路提取方法

技术领域

本发明属于遥感图像处理领域，具体是一种基于道路结构特性的卷积神经网络模型实现遥感图像道路提取的方法。

背景技术

有研究表明，经过近20年的研究，遥感图像道路提取技术仍然并不成熟。由于卫星或者无人机拍摄的遥感图像中经常存在着树木，行人和车辆对道路的遮挡和阴影，并且道路的外形千差万别，这些特点为遥感道路提取带来了极大的挑战。传统的启发式的遥感图像道路提取方法，例如：动态阈值、形态学处理、模板匹配等，表现均不理想。基于学习的遥感图像道路提取方法，例如：支持向量机、聚类、马尔科夫随机场等，相比于传统的启发式的遥感图像道路提取方法的提取精度相对有所提升，但是仍需进一步研究。

另外，卷积神经网络在图像的特征提取与分类问题中取得的优异成绩，表明了卷积神经网络的特征挖掘和抽象能力。也正因如此，卷积神经网络也被引入了遥感领域并被用于遥感图像道路提取。

参考文件[1](S.Saito,T.Yamashita,and Y.Aoki,“Multiple objectextraction from aerial imagery with convolutional neural networks,”ElectronicImaging,vol.2016,no.10,pp.1–9,2016.)中同样使用了卷积神经网络来实现遥感图像的道路提取，但是采用向量形式的输出，这样会导致遥感图像中道路的二维相关性信息丢失，得到结构出现断裂，以及把屋顶误判成道路的检测结果。

发明内容

本发明针对目前并不完善的遥感图像道路提取方法，提出一种基于道路结构特性的损失函数，实现了一种基于全卷积神经网络的遥感图像道路提取方法。

本发明提供的基于全卷积神经网络的遥感图像道路提取方法，包括步骤如下：

步骤一、建立全卷积神经网络模型；

步骤二、建立基于道路结构特性的损失函数，所述的损失函数L表示为：

其中，I表示当前图像内所有像素点的集合；f(d_i)为惩罚权重，d_i代表第i个像素点到图像内道路区域的最小欧氏距离；y_i是地面真值，若第i个像素点是道路，y_i＝1，若第i个像素点不是道路，则y_i＝0；a_i表示网络输出，是当前第i个像素点为道路的概率。

步骤三、使用基于道路结构特性的损失函数，对构建的全卷积神经网络模型进行训练，并使用训练得到的最佳模型进行道路提取。

本发明的优点和积极效果在于：

(1)本发明的遥感图像道路提取方法，使用全卷积神经网络实现结构性输出，可以充分挖掘遥感图像中道路的二维几何结构相关性。

(2)本发明的一种基于新型卷积神经网络的遥感图像道路提取方法，构建一种基于道路结构特性的损失函数。本发明的损失函数可以将道路的几何结构以惩罚权重的形式体现在损失函数中，不仅保留道路的全局结构特性，而且为每一个像素点提供相应的重要系数。最终，指导整个模型的训练，得到基于道路几何构型特性的遥感图像道路检测模型。

附图说明

图1为本发明的遥感图像道路提取方法的流程图；

图2为全卷积神经网络结构图；

图3为使用本发明的遥感图像道路提取方法的实验结果图示。

具体实施方式

下面结合附图与具体实例对本发明的技术方案作进一步的描述。

本发明发现，与普通的目标提取方法不同，道路满足一定的几何构型约束，这可以作为道路提取的一个线索。但是目前，没有任何一种基于卷积神经网络的遥感图像道路提取方法把道路的结构信息融入到损失函数当中，以改进模型。

本发明实现的一种基于新型卷积神经网络的遥感图像道路提取方法，首先，在经典神经网络VGG的基础上，使用反卷积层和剪切层建立全卷积神经网络。然后，定义并构建基于道路结构特性的损失函数，具体地，使用像素与道路区域的最小欧氏距离获得惩罚权重并用于构建新的损失函数。使用得到的基于道路结构的损失函数对本发明中的神经网络模型进行训练。同时，对训练得到的道路提取模型的技术效果进行评估与分析。

本发明的基于新型卷积神经网络的遥感图像道路提取方法的流程如图1所示，下面对各步骤进行说明。

步骤一、选取全卷积神经网络。

受到全卷积神经网络(Fully Convolutional Network)的启发，在VGG网络的基础上建立全卷积神经网络。具体的神经网络结构如图2所示，使用VGG的前13层(C₁,C₂,…,C₁₃)，后续连接3个卷积层(C₁₄,C₁₅,C₁₆)，3个反卷积层(DC₁,DC₂,DC₃)，2个融合层(F₁,F₂)和1个剪切层(Crop₁)，实现网络最终输出与输入尺寸相同。其中，C_i(k,s×s,c)代表第i个卷积层，该卷积层中卷积核的个数是k，卷积核的尺寸是s×s，步长是c；DC_i(k,s×s,c)的定义是第i个反卷积层，该反卷积层中滤波器的个数是k，反卷积核的尺寸是s×s，步长是c；F_i是第i个融合层；Crop_i是第i个剪切层。本发明中的网络和参考文件[2](J.Long,E.Shelhamer,and T.Darrell,“Fully convolutional networks for semantic segmentation,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2015,pp.3431–3440.)中的FCN(Fully Convolutional Network)的区别在于C₁₄中卷积核由4096调整为2048。但本发明不限于上文选用的特定网络，本发明提出的基于道路结构特性的损失函数可以搭配其他任意合适的拥有结构性输出的全卷积神经网络，得到基于道路结构特性的遥感图像道路检测模型。

步骤二、建立基于道路结构特性的损失函数。

步骤201、使用训练数据的地面真值得到各像素点惩罚权重。惩罚权重f(d_i)如下计算：

其中，I代表当前图像内所有像素点的集合；d_i代表当前第i个像素点到图像内道路区域的最小欧氏距离；max_i∈I{d_i}代表当前图像内的所有像素点中到道路区域欧氏距离的最大值，T是设置的一个阈值，用于决定当前像素距离道路区域是否足够远。在当前的像素点到道路区域足够远时(d_i≥T)，将惩罚系数定义为常数认为当前像素点对于道路区域的提取产生的影响度相同。

步骤202、定义基于道路结构特性的损失函数：

式(2)表明，在一定距离范围内(d_i<T)，像素点离道路区域越远，对道路区域的提取结果产生的影响越小，进而获得的惩罚权重系数越小。但是当前像素点一旦超过范围限定(d_i≥T)，则认为对道路区域的提取结果产生的影响很小，并且在范围外的所有像素点之间没有区别，将惩罚权重系数设为常数。y_i是地面真值，即如果第i个像素点是道路，则y_i＝1，如果第i个像素点不是道路，则y_i＝0。a_i表示网络输出，即当前第i个像素点为道路的概率。

步骤三、使用基于道路结构特性的损失函数，对本发明中构建的全卷积神经网络模型进行训练。

步骤301、使用现有的数据库，对图像进行遴选，形成训练集。

本发明实施例中，从现有的RGB遥感图像的数据库中，挑选14498张分辨率为375x375的遥感图像形成训练集，224张相同分辨率的遥感图像形成验证集，784张相同分辨率的遥感图像形成测试集。

步骤302、将遴选好的图像处理成实验所用的数据格式。

本发明实施例中，需要将图像处理为LMDB格式，实验在“caffe”平台上完成。本发明对于训练平台和实验数据格式并无特殊要求，仅需满足训练的数据格式和训练平台匹配即可。

步骤303、使用步骤二中构建的基于道路结构特性的损失函数和步骤三中得到的训练样本，对本发明中构建的全卷积神经网络模型进行训练，获得一种新型的全卷积神经网络遥感图像道路提取模型。

本发明实施例中，模型训练的学习率设为10^-12，每训练20,000次，学习率变为原来的0.1。每迭代一次使用8张图，对本发明提出的网络结构进行训练。其中，网络的前13层在VGG网络的前13层参数的基础上进行微调。本发明并不限制训练参数，训练参数可根据需求自行选择。

步骤304、使用验证集选择最佳的新型的全卷积神经网络遥感图像道路提取训练模型，即选出对验证集中遥感图像道路提取精度最高的模型。并使用最佳模型对测试集图像进行道路提取，得到概率图，并使用otsu阈值分割，得到二值化道路提取结果。

步骤305、对本发明所得到的模型在遥感图像道路提取中的结果进行简单展示与检验。

本发明对所提出的遥感图像道路提取模型检测结果进行简单展示与检验。本发明得到的基于道路结构特性的道路检测模型与现有技术相比，在查全率和精度方面都有所提升。本发明随机选取两张道路提取结果图，如图3所示，对道路提取效果进行展示，从图中可以看出，使用本发明方法，能够得到完整的道路结构，改善道路中断并排除屋顶误检等情况，获得较好的道路提取效果。

本发明通过构建全卷积神经网络及基于道路结构特性的损失函数，形成一种新型卷积神经网络模型，并将其应用于遥感图像道路提取。尽管本发明已参照具体实施方式进行描述和举例说明，但是并不意味着本发明限于该描述的实施方式。

Claims (3)

1.一种基于新型卷积神经网络的遥感图像道路提取方法，其特征在于，包括步骤：

步骤一、建立全卷积神经网络模型；

步骤二、建立基于道路结构特性的损失函数，所述的损失函数L表示为：

其中，I表示当前图像内所有像素点的集合；f(d_i)为惩罚权重，d_i代表第i个像素点到图像内道路区域的最小欧氏距离；y_i是地面真值，若第i个像素点是道路，y_i＝1，若第i个像素点不是道路，则y_i＝0；a_i表示第i个像素点为道路的概率；

步骤三、使用基于道路结构特性的损失函数，对全卷积神经网络模型进行训练，并使用训练得到的最佳模型进行道路提取。

2.根据权利要求1所述的遥感图像道路提取方法，其特征在于，所述的步骤二中，惩罚权重使用训练数据的地面真值得到，计算公式如下：

其中，max_i∈I{d_i}代表当前图像内的所有像素点中到道路区域欧氏距离的最大值，T为设定的阈值，用于决定当前像素距离道路区域是否足够远。

3.根据权利要求1所述的遥感图像道路提取方法，其特征在于，所述的步骤一中，所述的全卷积神经网络模型，在VGG网络的基础上，使用反卷积层和剪切层建立。