CN108446616A - 基于全卷积神经网络集成学习的道路提取方法 - Google Patents

Abstract

本发明提出一种基于全卷积网络集成学习的道路提取方法，旨在得到道路连贯，路网结构完整，查全率高的道路提取结果。实现步骤为：首先在现有遥感数据库中选取样本集并划分测试样本和训练样本，其次训练一个以交叉熵为损失函数的全卷积神经网，接着改变损失函数正样本惩罚权值，在前一个网络的网络模型参数基础上进行调优，得到不同惩罚权值损失函数的全卷积神经网络，再利用训练得到全卷积神经网络进行道路提取，得到不同全卷积网络的道路提取结果，最后依据空间一致性原则，对不同的提取结果按照基于空间一致性的集成策略进行集成，输出最终的结果图。本发明能够改善道路提取结果的查全率，鲁棒性强。

Description

基于全卷积神经网络集成学习的道路提取方法

技术领域

本发明属于图像处理技术领域，涉及一种道路提取方法，更进一步涉及基于全卷积神经网络集成学习的道路提取方法，可用于获取一幅光学遥感图像的路网结构。

背景技术

遥感图像道路提取，旨在取代繁琐的人工作业，利用道路提取方法，得到输入遥感图像的道路和背景的语义分割结果图。目前的道路提取方法大致可以分为三类。第一类是基于知识的道路提取方法，例如：阈值法、模版匹配法；第二类是基于形态学的方法，例如：边缘检测法、分水岭算法、分裂生长法；这两大类方法道路提取效果不够理想，总体精度较低。目前更多研究人员致力于基于机器学习的道理提取方法，例如：聚类、支持矢量机、贝叶斯分类、神经网络，这些方法利用一些有标记的训练样本，能够取得很好的结果，但是道路提取精度仍然有待进一步提升。

全卷积神经网络是一种用于语义分割的深度神经网络，相较于一般的卷积神经网络网络，全卷积神经网络用卷积层取代了全连阶层，用反卷积的结构，使得特征图恢复原始输入图片的分辨率大小，来满足语音分割的需求。这种网络的优势在于，输入图像经过一个训练好的全卷积神经网络，可以获取一个端对端的语义分割结果，且分割结果具有很高的准确率。

全卷积神经网络用于遥感图像的道路提取，也是一种基于机器学习的道路提取方法，相较于传统的道路提取方法，全卷积神经网络有其特有的良好特性。全卷积神经网络能够提取遥感图像中具有判别性的特征，并并利用这些特征得到准确的道路提取结果。目前，已有学者将全卷积神经网络模型以及其针对损失函数的改进模型，用于道路提取。

例如，Zilong Zhong等人在其发表的论文“Fully Convolutional Networks ForBuilding And Road Extraction:Preliminary Results”(IEEE InternationalGeoscience and Remote Sensing Symposium,2016年)中提出了一种基于全卷积神经网络的道路提取方法。该方法的步骤是：首先，建立一个用于道路提取的全卷积神经网络；其次，对该网络设置了交叉熵损失函数；最后，将遥感图像划分为训练集和测试集，用训练集来训练全卷积神经网络，并将训练好的网络，用于道路提取。虽然这个方法充分利用全卷积神经网络的优良特性，能够提取判别性特征，并将这些特征道路提取结果，但是，在用该模型进行道路提取的时候，存在一定的不足之处：首先，该方法用于道路提取时，没有考虑到遥感图像中道路和背景的不平衡分布，该全卷积神经网络使用了正负样本惩罚权值相同的交熵损失函数；其次，利用该全卷积神经网络进行道路提取的时候，没有考虑到遥感图像存在的空间一致性。以上两点在很大程度上影像了道路提取的道路连贯性，路网结构十分不完整，道路提取结果查全率低。

为了提高道路提取结果查全率，申请公布号为CN107025440A，名称为“一种基于新型卷积神经网络的遥感图像道路提取方法”的专利申请，提出一种基于改进的全卷积神经网络的道路提取方法。该方法的步骤是：首先，建立一个用于道路提取的全卷积神经网络；其次，设置损失函数，该损失函数是基于训练样本道路结构的损失函数；最后，将遥感图像划分为训练集和测试集，用训练集来训练全卷积神经网络，并将训练好的网络，用于道路提取。该方法将遥感图像中道路和背景赋予不同的惩罚权重，在一定程度上，解决了道路和样本的不平衡分布问题，提高了道路提取的查全率。然而，由于损失函数的惩罚权值很大程度依赖于训练样本的道路特性，且在进行道路提取时没有考虑到遥感图像存在的空间一致性问题，导致对于与训练样本差异较大的测试样本的道路提取查全率的提升幅度有限，鲁棒性较差。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于基于全卷积神经网络集成学习的道路提取方法，旨在通过提高道路提取结果的查全率，增强鲁棒性。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)对输入的遥感图像进行划分构建训练样本和测试样本：

对输入的遥感图像以及遥感图像对应的二值类标图像进行可重叠的截取，将该遥感图像和其对应的二值类标图划分为M个大小为N×N的图像块，并从M个图像块中随机选取至少一半以上的图像块作为训练样本，其余的图像块作为测试样本，M≥100，N≥500；

(1a)获取包含大小为N×N的光学遥感图像和对应的二值类标图像的图像样本集，其中N≥64；

(1b)将图像样本集中多半作为训练样本，其余作为测试样本；

(2)设定全卷积神经网络的损失函数：

将包含正样本惩罚和负样本惩罚的交叉熵损失设定为全卷积神经网络的损失函数Loss；

(3)对全卷积神经网络进行训练：

采用随机梯度下降法，通过训练样本和全卷积神经网络的损失函数，对全卷积神经网络进行训练，得到包含模型参数的全卷积神经网络；

(4)构建k个具有不同惩罚权值损失函数的全卷积神经网络：

对全卷积神经网络损失函数中正样本惩罚的权值p进行多次不同程度的增加，实现对全卷积神经网络进行微调，得到k个具有不同惩罚权值损失函数的全卷积神经网络；

(5)对k个具有不同惩罚权值损失函数的全卷积神经网络进行训练：

利用步骤(3)训练的全卷积神经网络包含的模型参数，对步骤(4)构建的k个全卷积神经网络分别进行调优，得到k个具有不同惩罚权值损失函数且包含模型参数的全卷积神经网络；

(6)对测试样本进行道路提取：

利用步骤(3)训练的全卷积神经网络对测试样本进行道路提取，同时利用步骤(5)训练的k个全卷积神经网络对测试样本进行道路提取，得到(k+1)个大小为N×N的二值道路结果图；

(7)对(k+1)个二值道路结果图进行集成：

(7a)以(k+1)个二值道路结果图中各像素点为中心，为每个像素点选取大小为w×w的邻域，并计算每个邻域的标准差，得到(k+1)×N×N个标准差，3≤w≤7；

(7b)计算(k+1)个二值道路结果图中各像素点在集成策略下的权重：

取以(k+1)×N×N个标准差中每个标准差为指数的负指数幂，得到(k+1)×N×N个集成权重值；

(7c)对(k+1)个二值道路结果图进行加权投票：

对(k+1)个二值道路结果图中值为道路的像素点赋予初始值1，对值为背景的像素点赋予初始值-1；并将每个像素点的初始值与该像素点的集成权重值相乘，得到(k+1)个加权结果图，再将(k+1)个加权结果图中所有像素点的值相加，得到大小为N×N的投票结果图；

(7d)投票结果图中值大于或者等于0的像素点，判定为道路，值小于0的像素点，判定为背景，并分别对判定为道路的像素点和背景的素点标定不同的值，得到集成策略下大小为N×N的二值结果图并输出。

本发明与现有技术相比，具有以下优点：

第一，本发明在做道路提取的时候，运用多个不同权值损失函数的全卷积神经网络，同时对输入的遥感图像进行道路提取，将多个道路结果图集成，克服了遥感图像中，存在的道路和背景分布不平衡的问题，使得道路提取结果道路更加连贯，路网结构完整，与现有技术相比，提高了道路提取的查全率。

第二，本发明在对不同惩罚权值损失函数的全卷积神经网络的道路提取结果进行集成的时候，利用结果图的空间一致性作为加权准则。有效地利用了遥感图像的先验知识，对于路网结构简单或或者复杂的遥感图像，都有良好的性能，道路提取结果不受到训练样本道路特性的约束，提高了道路提取的鲁棒性。

附图说明

附图1为本发明实现流程图；

附图2为本发明和现有技术道路提取的仿真图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细说明。

参照图1、一种基于全卷积神经网络集成学习的道路提取方法，包括步骤如下：

步骤1)对输入的遥感图像进行划分构建训练样本集和测试样本集：

获取数量为M、大小为N×N的光学遥感图像以及与光学遥感图像对应的二值类标图像，将这些光学遥感图像和二值类标图像作为样本集，其中N≥64，M≥100。

现有遥感图像数据库中，遥感图像图幅大多是N×N的正方形图像。全卷积神经网络在进行特征提取的时候，会多次对输入图像进行下采样，因此输入图像的大小有下限。而一般的遥感图像大小在100×100至2000×2000之间，因此大多数数据库中的遥感图像均满足上述需求。在本发明实施例中，选取1000幅大小为500×500的遥感图像作为样本集。虽然在本发明实施例中，对测试样本进行道路提取，但是，实际训练好的全卷积神经网络，可用于对任何同类型的遥感道路图片做道路提取。

将图像样本集中800幅作为训练样本，其余200幅作为测试样本。

步骤2)设定全卷积神经网络的损失函数：

将包含正样本惩罚和负样本惩罚的交叉熵损失设定为全卷积神经网络的损失函数Loss：

其中，y⁽ⁱ⁾表示图像在像素点i的真实类标，表示全卷积神经网络对输入图像在像素点i的输出结果，N×N表示输入图像的大小。

y⁽ⁱ⁾表示图像在像素点i的真实类标，其中，如果i点对应道路，则取y⁽ⁱ⁾＝1，若i点对应背景，则取y⁽ⁱ⁾＝0。表示全卷积神经网络对输入图像在像素点i的输出结果，这个结果表示全卷积神经网络预测像素点i为道路的概率。由于这是一个道路背景二分类的问题，表示像素点i为道路的概率，表示像素点i为背景的概率。

步骤3)对全卷积神经网络进行训练：

采用随机梯度下降法，通过训练样本和全卷积神经网络的损失函数，对全卷积神经网络进行训练，得到包含模型参数的全卷积神经网络；

本发明用于道路提取的全卷积神经网络，是在现有的VGG网络的基础上，将网络的全连阶层替换为卷积层，再续接四个反卷积层得到，最后一个反卷积层的输出结果经过4倍上采样，得到与输入图像大小相同的输出结果。本发明实施例中，训练过程中，预先加载PASCAL-VOC FCN-8S的网络参数，在网络参数的基础上，进行微调，将学习率设置为10^-14，批量大小设置为10，采用随机梯度下降法，训练1000代，网络收敛，得到全卷积神经网络的网络参数。

步骤4)构建k个具有不同惩罚权值损失函数的全卷积神经网络：

对全卷积神经网络损失函数中正样本惩罚的权值进行多次不同程度的增加，实现对全卷积神经网络进行微调，得到k个具有不同惩罚权值损失函数的全卷积神经网络，交叉熵损失函数，经调整后变为Loss_p：

其中，y⁽ⁱ⁾表示图像在像素点i的真实类标，表示全卷积神经网络对输入图像在像素点i的输出结果，N×N表示输入图像的大小，p表示在惩罚函数中，对于正样本的惩罚权值。

其中，在本发明实施例中，k取值为4，对应惩罚权值p分别取2，3，4，5，得到五个不同惩罚权值的损失函数对应的五个全卷积神经网络。但本发明不限制p的具体取值。

步骤5)对4个具有不同惩罚权值损失函数的全卷积神经网络进行训练：

利用步骤(3)训练的全卷积神经网络包含的模型参数，对步骤(4)构建的4个全卷积神经网络分别进行调优，得到4个具有不同惩罚权值损失函数且包含模型参数的全卷积神经网络。

本发明实施例中，训练4个全卷积神经网络时，加载步骤(3)训练的全卷积神经网络包含的模型参数，将学习率设置为10^-14，批量大小设置为10，采用随机梯度下降法，训练200代，网络收敛，得到全卷积神经网络的网络参数。

步骤6)对测试样本进行道路提取：

利用步骤(3)训练的全卷积神经网络对测试样本进行道路提取，同时利用步骤(5)训练的4个全卷积神经网络对测试样本进行道路提取，得到5个大小为500×500的二值道路结果图。

在本发明实施例中，将待进行道路提取的测试样本，输入到5个训练好的全卷积神经网络中，这5个全卷积神经网络进行分别进行一次前向运算，输出5个道路结果图，这5个结果图通过不同的值分别表示道路和背景。其中0表示背景，1表示道路。

步骤7)对5个二值道路结果图进行集成：

以5个二值道路结果图中各像素点为中心，为每个像素点选取大小为w×w的邻域，并计算每个邻域的标准差，得到5×500×500个标准差，3≤w≤7，本实施例中w等于3。

计算5个二值道路结果图中各像素点在集成策略下的权重：取以5×500×500个标准差中每个标准差为指数的负指数幂，得到5×500×500个集成权重值。

在本发明中，集成权重值是依据空间一致性确定的，对于空间一致性较强的结果，赋予较大的权重，对空间一致性较弱的结果，赋予较低的权重，以标准差为指数的负指数幂就用来衡量空间一致性的强弱。为了让权重更加充分的体现空间一致性，邻域大小选取不宜过大，具体取值取决于用于道路提取的遥感图像的分辨率。

对5个二值道路结果图进行加权投票：对5个二值道路结果图中值为道路的像素点赋予初始值1，对值为背景的像素点赋予初始值-1；并将每个像素点的初始值与该像素点的集成权重值相乘，得到5个加权结果图，再将5个加权结果图中所有像素点的值相加，得到大小为500×500的投票结果图。

投票结果图中值大于或者等于0的像素点，判定为道路，值小于0的像素点，判定为背景，并分别对判定为道路的像素点和背景的素点标定不同的值，得到集成策略下大小为500×500的二值结果图并输出。

以下结合仿真试验，对本发明的技术效果作进一步说明：

1.仿真条件和内容

实验数据采用多伦多大学公布的马萨诸塞道路数据集。该数据集总共包含了1171幅大小为1500×1500，分辨率1米的遥感图像，覆盖2600平方千米的土地。图2(a)为数据集中一幅图中一个500×500的图像块。仿真平台为：主频为3.30GHz的Intel Xeon E3-1230v3CPU，64.0GB的内存，ubuntu14.04操作系统，Caffe深度学习平台，Matlab 2016a开发平台。

利用本发明和现有全卷积神经网络道路提取方法，对图2(a)进行道路提取仿真，其中，图2(b)为现有技术仿真结果图，图2(c)为本发明仿真结果图。

2.仿真结果分析

从图2(b)可以看出，仿真结果中，部分道路不够连贯，如图中白色框所示区域。从图2(c)可以看出，与现有技术相比，仿真结果道路连贯性得到改善，图中白色框所示区域道路更加完整。将仿真结果与真实标注结果进行比对，相较于现有方法，本发明的仿真结果的查全率由45％提高到64％；用于衡量查全率与查准率的综合指标f1score，从48％提高到51％。

本发明利用一种基于遥感图像空间一致性的集成策略，将不同惩罚权值损失函数的全卷积神经网络道路提结果集成。集成结果道路更加连贯、完整，查全率更高，且集成结果具有较高的鲁棒性，无论遥感图像道路结构复杂与否，都能够在集成策略下得到较好的结果。

Claims (3)

1.一种基于全卷积神经网络集成学习的道路提取方法，其特征在于，包括步骤如下：

(1)构建训练样本和测试样本：

获取M幅大小为N×N的光学遥感图像以及与每幅光学遥感图像对应的二值类标图像，构成样本集，并将图像样本集中多半作为训练样本，其余作为测试样本，其中N≥64，M≥100；

(2)设定全卷积神经网络的损失函数：

将包含正样本惩罚和负样本惩罚的交叉熵损失设定为全卷积神经网络的损失函数Loss；

(3)对全卷积神经网络进行训练：

采用随机梯度下降法，通过训练样本和全卷积神经网络的损失函数，对全卷积神经网络进行训练，得到包含模型参数的全卷积神经网络；

(4)构建k个具有不同惩罚权值损失函数的全卷积神经网络：

对全卷积神经网络损失函数中正样本惩罚的权值p进行多次不同程度的增加，实现对全卷积神经网络进行微调，得到k个具有不同惩罚权值损失函数的全卷积神经网络；

(5)对k个具有不同惩罚权值损失函数的全卷积神经网络进行训练：

利用步骤(3)训练的全卷积神经网络包含的模型参数，对步骤(4)构建的k个全卷积神经网络分别进行调优，得到k个具有不同惩罚权值损失函数且包含模型参数的全卷积神经网络；

(6)对测试样本进行道路提取：

利用步骤(3)训练的全卷积神经网络对测试样本进行道路提取，同时利用步骤(5)训练的k个全卷积神经网络对测试样本进行道路提取，得到(k+1)个大小为N×N的二值道路结果图；

(7)对(k+1)个二值道路结果图进行集成：

(7a)以(k+1)个二值道路结果图中各像素点为中心，为每个像素点选取大小为w×w的邻域，并计算每个邻域的标准差，得到(k+1)×N×N个标准差，3≤w≤7；

(7b)计算(k+1)个二值道路结果图中各像素点在集成策略下的权重：

取以(k+1)×N×N个标准差中每个标准差为指数的负指数幂，得到(k+1)×N×N个集成权重值；

(7c)对(k+1)个二值道路结果图进行加权投票：

对(k+1)个二值道路结果图中值为道路的像素点赋予初始值1，对值为背景的像素点赋予初始值-1；并将每个像素点的初始值与该像素点的集成权重值相乘，得到(k+1)个加权结果图，再将(k+1)个加权结果图中所有像素点的值相加，得到大小为N×N的投票结果图；

(7d)投票结果图中值大于或者等于0的像素点，判定为道路，值小于0的像素点，判定为背景，并分别对判定为道路的像素点和背景的素点标定不同的值，得到集成策略下大小为N×N的二值结果图并输出。

2.根据权利要求1所述的基于全卷积神经网络集成学习的道路提取方法，其特征在于，步骤(2)中所述的全卷积神经网络的损失函数Loss，其表达式为：

其中，y⁽ⁱ⁾表示图像在像素点i的真实类标，表示全卷积神经网络对输入图像在像素点i的输出结果，N×N表示输入图像的大小。

3.根据权利要求1所述的基于全卷积神经网络集成学习的道路提取方法，其特征在于，步骤(4)中所述的构建k个具有不同惩罚权值损失函数的全卷积神经网络，具体步骤如下：

(4a)对全卷积神经网络的损失函数Loss进行调整：

对全卷积神经网络的损失函数Loss中正样本惩罚权值p进行k次调整，得到k个不同权值的损失函数Loss_p：

其中，y⁽ⁱ⁾表示图像在像素点i的真实类标，表示全卷积神经网络对输入图像在像素点i的输出结果，N×N表示输出图像的大小，p表示损失函数中，正样本惩罚权值。

(4b)将得到k个不同权值的损失函数Loss_p作为全卷积神经网络的损失函数，得到k个具有不同惩罚权值损失函数的全卷积神经网络。