CN108256464A - 基于深度学习的高分辨率遥感影像城市道路提取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的高分辨率遥感影像城市道路提取方法。基于深度学习的高分辨率遥感影像城市道路提取方法，利用SSD深度学习模型提取高分辨率影像中的城市道路信息的方法，可提高城市道路提取精度；构建了辐射特征损失函数和几何特征损失函数构建方法，结合传统SSD深度学习模型，大幅提高城市道路提取精度，本发明的优点主要体现在：自动化程度高，无需用户干预，提取效率高；基于深度学习目标检测模型，并且构建辐射和几何特征损失函数，城市道路提取精度高；方法可扩展性好，可适当调整模型参数以适用于不同传感器的遥感卫星图像。

Description

基于深度学习的高分辨率遥感影像城市道路提取方法

技术领域

本发明涉及城市道路提取方法，尤其涉及基于深度学习的高分辨率遥感影 像城市道路提取方法。

背景技术

道路网作为基础地理信息，它的识别和精确定位对于影像理解、GIS数据 获取、制图以及作为其他目标的参照体都有深远意义。如何更好地利用遥感影 像提取道路信息，是近年来的一个重要研究方向。根据自动化程度，道路提取 可分全自动和半自动两种方式。目前国内外学者对于这两种方式的道路提取已 进行了大量的研究。然而，除了一些半自动系统，还没有一种适用范围广的方 法来自动提取道路网络，且大量应用都集中于中低分辨率下的道路或道路网。 传统的基于线状地物的道路提取方法有：Hough变换，基于一阶微分算子的边 缘检测方法等。这种道路提取方法常用于中低分辨率影像中道路的提取，但是高分辨率遥感影像中地物目标的复杂性和多样性决定了使用传统的道路提取方 法不能满足日常实际应用的需要。

随着空间信息技术的飞速发展，影像分辨率逐渐提高，低、中分辨率卫星 影像由于分辨率较低，道路呈线状分布，提取相对容易；在高分辨率遥感影像 中，道路表现为局部灰度值近似、宽度变化缓慢的狭长区域或矩形，不能使用 低分辨率影像中提取道路特征的方法来提取，这使得道路提取变得复杂，在高 分辨率图像中道路与周围环境，尤其是房屋等水泥建筑物的灰度差异变得不是 很明显，道路特征也复杂多变，而且路面噪声，如建筑物和绿化树木的阴影、 路面上的交通线、行人、汽车等，变得不可忽略，由于这些噪声的影像，使得 遥感图像中道路网变得非常凌乱，道路边缘也变得模糊不清。另外，由于停车 场、池塘、建筑物项部、河流等所产生与道路类似的图像特征也给道路提取带 来很大的难度。

目前针对中低分辨率影像的研究很多，而针对高分辨率影像中的道路特征 提取研究还很少，并且当前的道路提取方法在提取效率、速度、适用性和准确 性方面还面临前所未有的困难。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了基于深度学习的高分 辨率遥感影像城市道路提取方法。

为了解决以上技术问题，本发明采用的技术方案是：基于深度学习的高分 辨率遥感影像城市道路提取方法，包括以下步骤：

步骤一、构建训练数据集：选择若干高分辨率遥感影像图片，随机分为训 练数据集和验证数据集；将训练数据集中包含道路的图片标记为正样本，不包 含道路的图片标记为负样本；

步骤二、构建SSD神经网络模型：搭建SSD神经网络模型训练框架，将标注 后的训练数据集输入到SSD神经网络模型中进行迭代训练，得到初始城市道路 分类模型和参数；

步骤三、建立辐射特征损失函数：

f(w)＝λ||w||²+∑_iy_ilogg_w(x_i)+(1-y_i)(logl-g_w(x_i)

其中，λ表示设定的常量，l为预测框，w当前预测框辐射值，gw表示当前 像素值与预测框内像素均值的比值，x为当前点像素值，y为当前点辐射值，取 值{0,1}；

步骤四、建立几何特征损失函数：

其中，w表示像素点紧致度，取值(0，1]，C为该点距预测框左侧距离 值，m为该点距预测框上边框距离值，x、y为该点坐标值，T为设定的阈值；所 述像素点紧致度w的计算公式为：

其中，Area为区域面积，p为区域周长；

步骤五、利用训练数据集对步骤二得到的初始城市道路分类模型进行迭代 训练，训练过程中使用步骤三和步骤四建立的损失函数对模型进行评价，改进 模型参数，得到优化的城市道路分类模型；利用优化的城市道路分类模型对验 证数据集进行检测；

步骤六、使用优化的城市道路分类模型对待处理的高分辨率遥感影像进行 处理，输出城市道路数据。

进一步地，所述步骤二中，在训练过程中，将位置定位的准确度值和得分 置信度融合起来，根据整体损失函数对模型进行评价，所述整体损失函数公式 为：

其中，L_conf(x,c)为置信度的损失，L_conf(x,l,g)为位置损失，N是匹配的默认 框的个数，x表示匹配的默认框是否属于类别p，取值{0,1}；l预测框，g是真实 值；c是指所框选目标属于类别p的置信度；L_conf(x,c)为预测框l和真实值g的损失 函数，α值通过交叉验证设置为1。

进一步地，所述置信度损失的公式如下：

其中，为第i个默认框和对应的第j个真实值，相应的类别为p；x 表示匹配的默认框是否属于类别p，取值{0,1}。

进一步地，所述位置损失的详细公式如下：

其中，N是匹配的默认框的个数，x表示匹配的默认框是否属于类别p，取值 {0,1}，l为预测框，g为真实值(ground truth)。(cx,cy)为补偿(regress to offsets-回归偏移)后的默认框d的中心，w、h分别为为默认框的宽和高。

本发明的高分辨率遥感影像城市道路提取方法，利用SSD深度学习模型提 取高分辨率影像中的城市道路信息的方法，可提高城市道路提取精度；构建了 辐射特征损失函数和几何特征损失函数构建方法，结合传统SSD深度学习模 型，大幅提高城市道路提取精度，本发明的优点主要体现在：1.自动化程度 高，无需用户干预，提取效率高。2.基于深度学习目标检测模型，并且构建辐 射和几何特征损失函数，城市道路提取精度高。3.方法可扩展性好，可适当调 整模型参数以适用于不同传感器的遥感卫星图像。

附图说明

图1为本发明提供的方法的流程示意图。

图2为加入辐射和几何损失函数前道路提取的结果。

图3为加入辐射和几何损失函数后道路提取的结果。

图4为待提取的遥感影像图。

图5按本发明的方法为从图4中的遥感影像中提取的道路图。

图6为遥感影像图与本发明提取的城市道路图结合输出的城市道路遥感影 像图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1所示的基于深度学习的高分辨率遥感影像城市道路提取方法，包括以 下步骤：

步骤一：构建训练数据集：选定湖南省作为研究区，利用正负样本标注后 的国产资源三号卫星融合后影像数据(2.1m分辨率，300*300，86800张)作为 数据源，供训练及测试使用；

步骤二：利用Ubuntu14.04+Python2.7+caffe+CPU搭建模型训练框架，将 标注后正负样本数据集输入SSD深度学习模型进行训练迭代，得到初始城市道 路分类模型参数。利用该初始城市道路分类模型对遥感影像道路提取的结果如 图2所示。

在训练过程使用了Smooth L1loss+softmax loss，将位置定位的准确度 值和得分置信度融合起来，从而使得对城市道路的检测和识别都表现出较好的 效果。

整体损失函数公式如下，第一项为置信度的损失，第二项为位置的损失，N为匹配的默认边框的数目，a为平衡因子，交叉验证的时候取值为1。

其中，L_conf(x,c)为置信度的损失，L_conf(x,l,g)为位置损失，N是匹配的默认 框的个数,x表示匹配的默认框是否属于类别p，取值{0,1}；l是预测框predicted box，g是真实值ground truth box；c是指所框选目标属于类别p的置信度 confidence。L_conf(x,c)为预测框l和真实值g的Smooth L1loss(损失函数),α值通 过cross validation(交叉验证)设置为1。

位置损失的详细公式如下：

其中，N是匹配的默认框的个数，x表示匹配的默认框是否属于类别p，取值 {0,1}，l为预测框，g为真实值，d为默认框，k表示样本中分类类别数。 (cx,cy)为补偿后的默认框的中心，w、h分别为为默认框的宽和高。

置信度损失的公式如下：

其中，为第i个默认框和对应的第j个真实值，相应的类别为p；x 表示匹配的默认框是否属于类别p，取值{0,1}。

步骤三、建立辐射特征损失函数：城市道路的铺面材料一般为水泥和沥青 两大类，其在影像上的的辐射特征表现为内部辐射度比较均匀、与其相邻区域 灰度反差较大，本方法基于此特征构建辐射特征损失函数(公式5)，以提高 此类材质提取精度。

f(w)＝λ||w||²+∑_iy_ilogg_w(x_i)+(1-y_i)(logf-g_w(x_i) (5)

其中，λ表示设定的常量，l为预测框，w当前预测框辐射值，gw表示当前 像素值与预测框内像素均值的比值，x为当前点像素值，y为当前点辐射值，取 值{0,1}；

步骤四、建立几何特征损失函数：

在高分辨率影像上，城市道路与其他建筑物形状特征区别较明显，呈连续 条带状，宽度变化小，且组成连通的拓扑网络。本方法利用能反应此特征的紧 致度指数(道路紧致度小于建筑物紧致度)(公式6)和长宽比特征(道路长 宽比大于建筑物)，构建基于其几何特征构建损失函数，以区分道路和其他建 筑物，提高道路的提取精度。

像素点紧致度w的计算公式为：

其中π为圆周率，p为区域周长，w为紧致度范围，取值(0，1]，圆的紧致度为1，正方形的紧致度为π/4，此指数算法简单，运算速度较快。

构建的几何特征损失函数如下：

其中，w表示像素点紧致度，取值(0，1]，C为该点距预测框左侧距离 值，m为该点距预测框上边框距离值，x、y为该点坐标值，T为设定的阈值。

步骤五、利用训练数据集对步骤二得到的初始城市道路分类模型进行迭代 训练，训练过程中使用步骤三和步骤四建立的损失函数对模型进行评价，改进 模型参数，得到优化的城市道路分类模型；利用优化的城市道路分类模型对验 证数据集进行检测；

其中，训练的迭代次数是12w次，由于只用CPU进行运算，一天只可迭代 1w+次，程序共运行10天，分辨率在300*300左右，速度为40ms左右，帧率可 达到37fps，速度较快。城市道路检测精度，在log文件里记录mAP(mean average precision)为0.741。训练完成后利用验证数据集进行城市道路检测，结 果显示本方法在高分辨率影像上提取城市道路信息精度较高(mAP＝0.741)， 且能满足实时应用需要。

步骤六、使用优化的城市道路分类模型对待处理的高分辨率遥感影像进行 处理，输出城市道路数据，输出结果如图4-6所示，图4是待提取的遥感影像 图，用本实施例构建的城市道路分类模型进行处理，获得图5所示的城市道路 图，图6为遥感影像图(图4)与本发明提取的城市道路图(图6)结合输出的 城市道路遥感影像图。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本 技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或 替换，也均属于本发明的保护范围。

Claims (4)

1.基于深度学习的高分辨率遥感影像城市道路提取方法，其特征在于，包括以下步骤：

步骤一、构建训练数据集：选择若干高分辨率遥感影像图片，随机分为训练数据集和验证数据集；将训练数据集中包含道路的图片标记为正样本，不包含道路的图片标记为负样本；

步骤二、构建SSD神经网络模型：搭建SSD神经网络模型训练框架，将标注后的训练数据集输入到SSD神经网络模型中进行迭代训练，得到初始城市道路分类模型和参数；

步骤三、建立辐射特征损失函数：

f(w)＝λ||w||²+∑_iy_ilogg_w(x_i)+(1-y_i)(logl-g_w(x_i).

其中，λ表示设定的常量，l为预测框，w当前预测框辐射值，gw表示当前像素值与预测框内像素均值的比值，x为当前点像素值，y为当前点辐射值，取值{0,1}；

步骤四、建立几何特征损失函数：

其中，w表示像素点紧致度，取值(0，1]，C为该点距预测框左侧距离值，m为该点距预测框上边框距离值，x、y为该点坐标值，T为设定的阈值；所述像素点紧致度w的计算公式为：

其中，Area为区域面积，p为区域周长；

步骤五、利用训练数据集对步骤二得到的初始城市道路分类模型进行迭代训练，训练过程中使用步骤三和步骤四建立的损失函数对模型进行评价，改进模型参数，得到优化的城市道路分类模型；利用优化的城市道路分类模型对验证数据集进行检测；

步骤六、使用优化的城市道路分类模型对待处理的高分辨率遥感影像进行处理，输出城市道路数据。

2.根据权利要求1所述的基于深度学习的高分辨率遥感影像城市道路提取方法，其特征在于：所述步骤二中，在训练过程中，将位置定位的准确度值和得分置信度融合起来，根据整体损失函数对模型进行评价，所述整体损失函数公式为：

其中，L_conf(x,c)为置信度的损失，L_conf(x,l,g)为位置损失，N是匹配的默认框的个数，x表示匹配的默认框是否属于类别p，取值{0,1}；l是预测框，g是真实值；c是指所框选目标属于类别p的置信度；L_conf(x,c)为预测框l和真实值g的损失函数，α值通过交叉验证设置为1。

3.根据权利要求2所述的基于深度学习的高分辨率遥感影像城市道路提取方法，其特征在于：所述置信度损失的公式如下：

其中，为第i个默认框和对应的第j个真实值，相应的类别为p；x表示匹配的默认框是否属于类别p，取值{0,1}。

4.根据权利要求2所述的基于深度学习的高分辨率遥感影像城市道路提取方法，其特征在于：

所述位置损失的详细公式如下：

其中，N是匹配的默认框的个数，x表示匹配的默认框是否属于类别p，取值{0,1}，l为预测框，g为真实值，d为默认框，k表示样本中分类类别数；(cx,cy)为补偿后的默认框的中心，w、h分别为为默认框的宽和高。