CN111241994B - 一种深度学习的遥感影像农村公路砂化路段的提取方法 - Google Patents

Abstract

本发明公开了一种深度学习的遥感影像农村公路砂化路段的提取方法，包括以下步骤：S100：选用卫星采集到的分辨率1m以内的遥感影像，经预处理后得到的高分辨率影像作为数据源；S200：构建“畅返不畅”路段提取的网络结构和损失函数；S300：利用训练集对“畅返不畅”路段提取网络进行训练并反复调节其网络参数；S400：测试集输入到训练好的“畅返不畅”网络中，提取“畅返不畅”路段以验证和回调网络使其达到更好的实验结果并保存网络；S500：通过卫星采集到的遥感影像输入到网络输入端进行“畅返不畅”路段的识别和提取。本发明与传统方式方法相比能极大地减轻人工工作量，更加适用于交通行业业务需求，能有效地检测出农村公路中“畅返不畅”的路段。

Description

一种深度学习的遥感影像农村公路砂化路段的提取方法

技术领域

本发明涉及高分辨率卫星遥感影像的应用技术领域，特别涉及一种深度学习的遥感影像农村公路砂化路段的提取方法。

背景技术

随着农村公路建设里程的不断增长，养护难度逐渐加大，早期建成的部分农村公路已出现路面坑槽、松散、裂缝等病害，给行车安全带来了隐患。2017年，交通运输部将已硬化通乡镇和建制村公路技术状况指数MQI或路面使用性能指数低于70分的路线确定为“畅返不畅”路线，随之对这些路线提出了整治要求。

目前各省对于农村公路“畅返不畅”路段的确定主要依靠县市进行逐层上报和人工现场核查，存在数据逻辑性错误、数据反馈处理效率慢、资料完整性低、人工成本高等问题。因此各省交通运输主管部门对上报成果的真实性和准确性缺少评价与核查手段，给监督和管理造成极大障碍。“畅返不畅”主要分为两种：老化和破损，遥感影像中破损路段清楚明显，人工判断相对准确，老化路段则不明显，人工很难判断。因作业员经验不同，且查找畅返不畅路段时，需对整个影像进行查找，工作量巨大。

发明内容

本发明的目的在于提供一种深度学习的遥感影像农村公路砂化路段的提取方法，以解决传统作业中工作人员工作量大和危险系数高，及目视解译中“畅返不畅”路段特征不明显，人工主观性判断干预影响数据的真实性等问题。本发明在解决上述问题的同时保证了“畅返不畅”路段检测的准确率。

为实现上述目的，本发明提供如下技术方案：

一种深度学习的遥感影像农村公路砂化路段的提取方法，包括以下步骤:

S100：获取遥感影像，选用卫星采集到的分辨率1m以内的遥感影像，经预处理后得到的高分辨率影像作为数据源，制作网络对应的训练集和测试集；

S200：构建“畅返不畅”路段提取的网络结构和损失函数；

S300：利用训练集对“畅返不畅”路段提取网络进行训练并反复调节其网络参数，直至网络满足损失函数的要求时保存好训练网络；

S400：测试集输入到训练好的“畅返不畅”网络中，提取“畅返不畅”路段以验证和回调网络使其达到更好的实验结果并保存网络；

S500：通过卫星采集到的遥感影像输入到网络输入端进行“畅返不畅”路段的识别和提取。

进一步地，步骤S100包括以下步骤：

S101：对卫星采集到的分辨率1m以内的遥感影像做预处理。将遥感影像作为底图在Arcgis中建立矢量文件，沿底图中道路的中心线绘制路线，并按道路宽度做缓冲区生成面状路网，将面状路网图栅格化得到路网的标签数据label1；将栅格化后数据的3/4作为训练样本train1，剩余的1/4作为测试样本test1；

S102、以遥感影像为底图，在Arcgis中建立矢量文件，将影像中的“畅返不畅”路段标记出来；以标记好的“畅返不畅”路段中心为中心，裁剪原始遥感影像和路网标签数据为d*d的正方形图像块，并生成相应图像块中的“畅返不畅”的标签数据label2；将裁剪后的图像块中的3/4作为训练样本train2，剩余的1/4作为测试样本test2。

进一步地，步骤S200包括以下步骤：

“畅返不畅”路段提取的网络构建叠加了Unet和Faster-Rcnn两个网络架构，采用Unet网络首先对遥感影像中的道路进行提取，采用Faster-Rcnn网络对提取到的道路中“畅返不畅”路段进行提取。

进一步地，步骤S200还包括以下步骤：

S201：输入制作好的道路影像到Unet网络中，经过五次卷积运算，激活函数RELU作用以及最大池化处理后得到输入影像的特征图，完成对于遥感影像的特征提取，然后五次上采样和反卷积处理得到与原始影像大小相同的分类，实现道路与非道路的分割，完成道路提取，输出用于道路提取，对遥感影像中的路网进行提取；构建Faster-Rcnn网络用于检测“畅返不畅”路段；

S202：对遥感影像中Unet提取到的道路的其余部分做掩模处理，在处理过后的遥感图像中找到“畅返不畅”路段中中心后进行样本和标签数据的制作，将制作好的样本数据和标签数据输入Faster-Rcnn网络，经过13个卷积层，13个RELU激活函数层以及4个池化层提取样本的特征，形成样本的特征图，借助RPN网络对样本的特征图进行候选框(anchors)的选取，两个候选框的重叠度来作为判断候选框内的样本类型，以此实现对于“畅返不畅”路段的识别和提取；

S203：采用交叉熵损失函数作为道路提取的损失函数将包含正样本惩罚和负样本惩罚的交叉熵损失函数作为卷积神经网络部分的损失函数以及计算距离的绝对损失函数作为“畅返不畅”边框回归部分的损失函数，两者加和为“畅返不畅”路段提取总体的损失函数

进一步地，步骤S300包括以下步骤：

S301：采用VGG进行预训练，以及随机梯度下降的方法对网络参数进行优化调节；

S302：训练的每一步进行损失函数的计算，对每一次的参数生成对应的损失函数Loss_Unet和Loss_faster-rcnn，重复采用随机梯度下降的方法来对网络的参数做优化；

S303：当损失函数的值在设置的最小误差值δ(δ＝1e-5)范围内停止网络的训练并保存此时的参数值作为网络结构。

进一步地，步骤S400包括以下步骤：

S401：对测试集数据进行实验检验训练好的网络性能；

S402：根据测试集的结果微调网络的相关参数值并计算损失函数Loss_Unet和Loss_faster-rcnn来调整网络；

S403：保存调整好的网络。

进一步地，步骤S500包括以下步骤：

S501：将采集到的遥感影像裁剪尺寸与步骤S200中网络输入样本大小相同的多个样本；

S502：将裁剪好的样本输入到训练好的“畅返不畅”路段提取网络中，提取出“畅返不畅”路段。

与现有技术相比，本发明的有益效果是：本发明提供了深度学习的遥感影像农村公路砂化路段的提取方法，在提取道路的前提下进行“畅返不畅”道路的检测。本发明的自动化程度高、人工干预少，与传统方式方法相比能极大地减轻人工工作量，更加适用于交通行业业务需求，能有效地检测出农村公路中“畅返不畅”的路段，为“畅返不畅”路段的检测提供了一种新的方法。

附图说明

图1为本发明深度学习的遥感影像农村公路砂化路段的提取方法流程图；

图2为本发明使用的Unet网络结构图；

图3为本发明的遥感影像道路提取结果图；

图4为本发明使用的Faster-Rcnn网络架构图；

图5为本发明畅返不畅路段的提取结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种深度学习的遥感影像农村公路砂化路段的提取方法，如图1所示，本发明的实施过程如下：

1、高分辨率卫星遥感影像的获取和处理

本发明使用的是分辨率在1m以内的高分辨率的卫星遥感影像，例如分辨率为0.8m的高分二号卫星影像。高分二号卫星是我国目前分辨率最高的民用陆地观测卫星，搭载两台高分辨率1米全色、4米多光谱相机，分辨率优于1米的卫星影像可在遥感集市平台中查询到，从而能够有效地提升卫星综合观测效能。采集到的卫星影像需要经过几何校正、影像增强、影像融合等一系列的预处理。

2、制作“畅返不畅”网络输入输出样本

训练集和测试集地样本制作需要对应于网络中道路提取和“畅返不畅”路段提取两部分样本：

2-1)、样本库生成：将遥感影像Image建立矢量文件后绘制中心线的矢量路网作为道路提取的样本库，将样本库中3/4的样本作为训练样本1，剩余的1/4作为测试样本1；对遥感影像Image除去道路后的其他地方进行掩模处理，在处理后的影像上遍历道路矢量文件中所有的矢量四边形，以四边形的中心为中心裁剪对应“畅返不畅”路段的影像Image为d*d大小的正方形图像块来作为“畅返不畅”路段提取的样本库，对应的标签数据为Label2；将样本库中3/4的样本作为训练样本2，剩余的1/4作为测试样本2。

2-2)、道路提取标签数据制作：将遥感影像Image作为底图，在Arcgis中建立矢量文件，沿地图道路中心线编绘矢量路网，再按照道路宽度作缓冲区生成面状的路网，将面状路网栅格化后掩模遥感影像，得到路网图像Road_Image，并进行二值化处理，得到道路提取的标签数据Label1；

2-3)、“畅返不畅”路段检测标签制作：将路网图像Road_Image作为底图，在Arcgis中创建矢量文件，遍历整个影像，绘制四边形覆盖“畅返不畅”路段Damage_Image的区域，生成遥感影像对应的“畅返不畅”路段的矢量文件Damage_Label_shp，最后将矢量文件中四边形的位置信息转换成“畅返不畅”路段检测的标签数据Label2。

3、构建“畅返不畅”路段提取网络

本发明进行“畅返不畅”路段检测分两步进行，首先是提取遥感影像中的路网，其次是对路网中“畅返不畅”路段进行提取，因此进行“畅返不畅”路段检测的网络结构分为两部分，一部分是进行路网提取的Unet网络；一部分是在提取的路网中进行“畅返不畅”路段检测的Faster-Rcnn网络：

3-1)、Unet网络的搭建：如图2所示，整体结构是先下采样进行编码，再进行上采样解码，返回跟原始图像大小相同像素点的分类图像结果。下采样是通过2*2的最大池化完成的，每次采样之间有两个卷积层。上采样是通过2*2的反卷积完成，每次进行上采样的结果与左侧结构中对应步骤的特征图拼接起来，使当前的特征图具有更多的细节特征。然后进行连续两次的3*3卷积，在最后一层进行1*1的卷积，得到与原始图像相同大小的目标分类结果。

3-2)、Faster-Rcnn网络搭建：如图4所示，首先搭建一个CNN网络进行影像特征的提取；其次搭建RPN网络生成候选框(anchor)；再通过ROI pooling将候选框区域生成固定大小的特征图；最后搭建进行目标分类和边框回归的网络结构进行目标的识别分类。

4、构建“畅返不畅”网络的损失函数

4-1)、将交叉熵损失函数设定为Unet网络的损失函数：

其中，y⁽ⁱ⁾指影像中像素点i的真实的类别，若i点对应道路，则取y⁽ⁱ⁾＝1，若i点对应背景，则取y⁽ⁱ⁾＝0；表示Unet网络对输入图像在像素点i的输出结果，表示Unet网络预测像素点i为道路的概率。/>表示像素点i为背景的概率。

4-2)、Faster-Rcnn网络检测“畅返不畅”路段包含两个任务内容：目标分类(判断是否为“畅返不畅”)和回归任务(返回“畅返不畅”的位置)，因此其损失函数也分为两部分，如下式所示：

其中，第一部分表示分类损失，第二部分为回归损失。

1)分类损失：计算每一个anchor的交叉熵损失，求和后除以总的anchor数量N_cls。交叉熵损失如下式所示：

其中，为将候选框i预测为“畅返不畅”路段的概率，p_i表示候选框的真实类别，若为“畅返不畅”路段，则为1，否则为0。

2)回归损失：边框回归的损失函数采用平滑L₁损失函数，通过参数σ控制平滑的区域。如下式所示：

本发明中采用的损失函数如下所示，并将σ设为3：

其中，t_i是一个向量，表示第i个anchor相对于目标真实位置的偏移量，表示第i个anchor预测的偏移量。只计算目标的损失，不计算背景的损失。

5、“畅返不畅”网络的训练

5-1)、Unet网络的训练：对样本库中的训练集数据进行几何校正、图像增强和融合等预处理，而后对影像进行旋转、缩放、镜面翻转等操作生成更多的样本。利用高斯分布函数进行初始化，利用随机梯度下降法，在GPU服务器上对网络进行训练。训练完成后记录各个层的参数信息，以供后续测试使用。

5-2)、Faster-Rcnn网络的训练：利用Road_Image裁剪成的样本库作为训练样本，对Faster-Rcnn进行训练。Faster-Rcnn可看作RPN网络和Fast-RCNN网络的结合，1)首先初始化RPN网络，独立训练一个RPN网络；2)初始化Fast-RCNN网络，使用上一步RPN网络产生的预测输出作为下一层的输入，训练一个Fast-RCNN网络，每两个网络每一层的参数完全不共享；3)使用Fast-RCNN网络参数初始化一个新的RPN网络，但是把RPN、Fast-RCNN共享的那些卷积层的learning rate设置为0，仅仅更新RPN特有的那些网络层，重新训练，此时两个网络已共享了所有公共的卷积层；4)固定共享的那些网络层，将Fast-RCNN特有的网络层也加入进来，继续训练，微调Fast-RCNN的网络层相关参数。

6、“畅返不畅”路段提取

首先将遥感影像经过裁剪处理为与网络输入尺寸大小相同的样本。处理后的输入到Unet网络中，得到分割后的道路影像图，如图3所示。对道路提取后影像做掩模并将输出结果输入到Faster-Rcnn网络中进行“畅返不畅”疑似路段的提取。对提取的结果进行矢量化，生成“畅返不畅”疑似路段的矢量文件。

经以上处理后结果如图5所示，经本发明方法处理，在降低工作人员工作量和危险系数的同时有效地检测出了“畅返不畅”路段。

本发明提供了深度学习的遥感影像农村公路砂化路段的提取方法，在提取道路的前提下进行“畅返不畅”道路的检测。本发明的自动化程度高、人工干预少，与传统方式方法相比能极大地减轻人工工作量，更加适用于交通行业业务需求，能有效地检测出农村公路中“畅返不畅”的路段，为“畅返不畅”路段的检测提供了一种新的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的遥感影像农村公路砂化路段的提取方法，其特征在于，包括以下步骤:

S100：获取遥感影像，选用卫星采集到的分辨率1m以内的遥感影像，经预处理后得到的高分辨率影像作为数据源，制作网络对应的训练集和测试集；

S200：构建“畅返不畅”路段提取的网络结构和损失函数；所述“畅返不畅”路段是指将已硬化通乡镇和建制村公路技术状况指数MQI或路面使用性能指数低于70分的路段确定为“畅返不畅”路段；

S300：利用训练集对“畅返不畅”路段提取网络进行训练并反复调节其网络参数，直至网络满足损失函数的要求时保存好训练网络；

S400：测试集输入到训练好的“畅返不畅”网络中，提取“畅返不畅”路段以验证和回调网络使其达到更好的实验结果并保存网络；

S500：通过卫星采集到的遥感影像输入到网络输入端进行“畅返不畅”路段的识别和提取；

步骤S100包括以下步骤：

S101：对卫星采集到的分辨率1m以内的遥感影像做预处理；将遥感影像作为底图在Arcgis中建立矢量文件，沿底图中道路的中心线绘制路线，并按道路宽度做缓冲区生成面状路网，将面状路网图栅格化得到路网的标签数据label1；将栅格化后数据的3/4作为训练样本train1，剩余的1/4作为测试样本test1；

S102、以遥感影像为底图，在Arcgis中建立矢量文件，将影像中的“畅返不畅”路段标记出来；以标记好的“畅返不畅”路段中心为中心，裁剪原始遥感影像和路网标签数据为d*d的正方形图像块，并生成相应图像块中的“畅返不畅”的标签数据label2；将裁剪后的图像块中的3/4作为训练样本train2，剩余的1/4作为测试样本test2；

步骤S200包括以下步骤：

“畅返不畅”路段提取的网络构建叠加了Unet和Faster-Rcnn两个网络架构，采用Unet网络首先对遥感影像中的道路进行提取，采用Faster-Rcnn网络对提取到的道路中“畅返不畅”路段进行提取；

步骤S200还包括以下步骤：

S201：输入制作好的道路影像到Unet网络中，经过五次卷积运算，激活函数RELU作用以及最大池化处理后得到输入影像的特征图，完成对于遥感影像的特征提取，然后五次上采样和反卷积处理得到与原始影像大小相同的分类，实现道路与非道路的分割，完成道路提取，输出用于道路提取，对遥感影像中的路网进行提取；构建Faster-Rcnn网络用于检测“畅返不畅”路段；

S202：对遥感影像中Unet提取到的道路的其余部分做掩模处理，在处理过后的遥感图像中找到“畅返不畅”路段中中心后进行样本和标签数据的制作，将制作好的样本数据和标签数据输入Faster-Rcnn网络，经过13个卷积层，13个RELU激活函数层以及4个池化层提取样本的特征，形成样本的特征图，借助RPN网络对样本的特征图进行候选框(anchors)的选取，两个候选框的重叠度来作为判断候选框内的样本类型，以此实现对于“畅返不畅”路段的识别和提取；

S203：采用交叉熵损失函数作为道路提取的损失函数将包含正样本惩罚和负样本惩罚的交叉熵损失函数作为卷积神经网络部分的损失函数以及计算距离的绝对损失函数作为“畅返不畅”边框回归部分的损失函数，两者加和为“畅返不畅”路段提取总体的损失函数/>

2.根据权利要求1所述的基于深度学习的遥感影像农村公路砂化路段的提取方法，其特征在于，步骤S300包括以下步骤：

S301：采用VGG进行预训练，以及随机梯度下降的方法对网络参数进行优化调节；

S302：训练的每一步进行损失函数的计算，对每一次的参数生成对应的损失函数Loss_Unet和Loss_faster-rcnn，重复采用随机梯度下降的方法来对网络的参数做优化；

S303：当损失函数的值在设置的最小误差值δ(δ＝1e-5)范围内停止网络的训练并保存此时的参数值作为网络结构。

3.根据权利要求1所述的基于深度学习的遥感影像农村公路砂化路段的提取方法，其特征在于，步骤S400包括以下步骤：

S401：对测试集数据进行实验检验训练好的网络性能；

S402：根据测试集的结果微调网络的相关参数值并计算损失函数Loss_Unet和Loss_faster-rcnn来调整网络；

S403：保存调整好的网络。

4.根据权利要求1所述的基于深度学习的遥感影像农村公路砂化路段的提取方法，其特征在于，步骤S500包括以下步骤：

S501：将采集到的遥感影像裁剪尺寸与步骤S200中网络输入样本大小相同的多个样本；

S502：将裁剪好的样本输入到训练好的“畅返不畅”路段提取网络中，提取出“畅返不畅”路段。