CN110287932A - 基于深度学习图像语义分割的道路阻断信息提取 - Google Patents

基于深度学习图像语义分割的道路阻断信息提取 Download PDF

Info

Publication number
CN110287932A
CN110287932A CN201910587644.8A CN201910587644A CN110287932A CN 110287932 A CN110287932 A CN 110287932A CN 201910587644 A CN201910587644 A CN 201910587644A CN 110287932 A CN110287932 A CN 110287932A
Authority
CN
China
Prior art keywords
road
image
sample
calamity
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910587644.8A
Other languages
English (en)
Other versions
CN110287932B (zh
Inventor
王世新
王福涛
杨宝林
周艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201910587644.8A priority Critical patent/CN110287932B/zh
Publication of CN110287932A publication Critical patent/CN110287932A/zh
Application granted granted Critical
Publication of CN110287932B publication Critical patent/CN110287932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

本发明公开首先说明了用于全卷积神经网络训练的道路阻断图像语义分割样本库的构建方法，包括样本的矢量化、增强和标准化过程；其次，对经典的卷积神经网络的类型和网络结构的改进方法进行了介绍，阐述了网络的实现方法和训练过程；其后，应用训练得到的全卷积神经网络进行遥感影像道路路面语义分割，在提取灾后未损毁路面的基础上，利用灾前灾后未损毁道路的长度比例进行道路完整度的判别方法。改进后的全卷积神经网络模型的各项精度评价指标都要优于原始全卷积神经网络模型，改进后的模型更加适用于灾后未损毁路面检测和道路完整度判别的具体问题，可以有效克服树木、阴影遮挡对道路阻断信息提取的不利影响。

Description

基于深度学习图像语义分割的道路阻断信息提取
技术领域
本发明涉及遥感监测技术领域。具体地说是基于深度学习图像语义分割的道路阻断信息提取。
背景技术
基于灾后单时相影像提取道路阻断信息的研究中，常采用道路矢量数据或其他先验知识作为辅助，不论是利用道路边缘线特征还是利用面向对象的道路特征进行道路阻断信息的提取都对道路矢量和影像之间的配准精度有较高的要求。为了实现灾后应急监测的条件下的道路阻断信息的自动化提取，需要重点解决道路矢量和影像之间普遍存在的配准误差所带来的对信息提取精度的影响。其次，道路自身狭窄和线状分布的影像特征，不利于传统的面向对象的影像分割方法的应用。在分割过程中很难得到完整的路面，道路被阴影或植被遮挡时容易被误分类为阻断道路，受植被遮挡的影响也较大，这给特征计算增加了困难，降低了分类的准确性。最后，多数已有研究成果方法较为复杂，很难同时保证实际灾害应急监测工作时对精度和效率的双重要求。
特别是一般的全卷积神经网络在构建时，常采用交叉熵(Cross Entropy)作为损失函数，但是交叉熵在计算的过程中，影像上不同类别像元的权重是相同的，这就导致在将未改进的全卷积神经网络直接应用于道路语义分割问题时，大量正确分类的负样本使得结果的整体交叉熵较低，在错误分类的道路正样本仍然较多时，网络已经呈现梯度消失的状态。即在交叉熵值很低的状态下，道路正样本的分类精度仍然不高并且无法继续提升。
由灾区灾后未损毁路面的语义分割结果得到沿道路逐点进行的完整度检测结果的主要难度在于，由于灾前道路矢量的编绘和影像配准误差的存在，灾前道路矢量和灾后遥感影像难以做到完全的匹配，因而，灾前道路矢量和由灾后遥感影像未损毁路面提取结果也无法完全匹配，给最终得到阻断路段判别结果或者沿道路逐点的完整度检测结果造成了困难。
发明内容
为此，本发明所要解决的技术问题在于提供一种精度更高的基于深度学习图像语义分割的道路阻断信息提取。
为解决上述技术问题，本发明提供如下技术方案：
基于深度学习图像语义分割的道路阻断信息提取，包括如下步骤：
(1)利用灾害典型案例影像构建道路阻断图像语义分割样本库，以提供训练样本S0；
(2)改进的全卷积神经网络对步骤(1)中的训练样本S0进行训练，得到初始全卷积神经网络模型FCNmodel0；
(3)在获取研究区x的灾后影像I(x)和道路矢量R(x)之后，对道路阻断情况进行检测，得到待检测分块样本Dn(x)；
(4)利用训练好的网络模型FCNmodel0，对待检测分块样本Dn(x)进行灾后未损毁路面的语义分割，得到全部待检测样本的分割结果；
(5)对研究区影像进行灾后道路路面的人工目视解译，从解译结果中选择少量道路段生成新的训练样本数据S1，对已有网络进行网络微调，得到微调后的网络模型FCNmodel1；重复进行灾后未损毁路面的语义分割工作，直到路面分割结果达到精度要求；
(6)基于灾前灾后道路长度比例的道路完整度判别方法对道路完整度判别，得到道路完整度判别结果。
上述基于深度学习图像语义分割的道路阻断信息提取，在步骤(1)中，利用灾害典型案例影像构建道路阻断图像语义分割样本库，包括如下步骤：
(1-1)沿道路矢量方向对影像进行等间隔分块生成训练样本的方法；
(1-2)训练样本的数据增强和标准化；
在步骤(1-1)中，包括如下方法：
(1-1-1)对影像上的道路进行矢量化，将道路面矢量转为栅格图像，即道路目标图像；
(1-1-2)在已有道路矢量上按照等距离原则分布样点，距离间隔设置为100米；
(1-1-3)以样点为圆心生成圆形缓冲区，缓冲区半径设置为160米，以缓冲区的外接矩形为边界对影像特征数据集和道路目标图像同时进行裁取，得到样本影像和对应的样本目标图像；
在步骤(1-2)中，
训练样本的数据增强方法：使用了Google公司推出的深度学习主流框架TensorFlow实现数据增强的具体操作：利用TensorFlow中的Keras.ImageDataGenerator方法对样本库进行增量操作，对样本进行随机的旋转，同时，允许对样本进行了水平和竖直翻转；
训练样本的数据标准化的方法：使用机器学习工具库sklearn下的preprocessing.scale方法实现了对原始数据各个图层的均值和标准差进行标准化的操作。
上述基于深度学习图像语义分割的道路阻断信息提取，在步骤(2)中，全卷积神经网络(Fully Convolutional Network，FCN)的改进方法为：
从样本的数量分布角度对FCN模型的损失函数进行改进，引入了一个类间平衡系数β，用来计算交叉熵的正样本权重Pos_W，其具体计算公式如式(1)、式(2)所示：
式中，Count_Neg为道路目标图像中负样本的像元总数，Count_Pos为道路目标图像中正样本的像元总数；
从样本的空间分布角度对FCN模型的损失函数进行改进，设计一种利用像元至最近道路中心线的距离做为计算依据的距离权重Dis_W，具体计算公式如式(3)所示：
式中，Effect_Dis是依据实际研究区选择的对道路特征计算有贡献的最大有效距离，Dis(i)是第i个像元至最近的道路中心线的距离；
计算过程中，首先对道路目标图像进行数学形态学细化处理，得到道路中心线；其后，求出像元到最近中心线之间的像元距离；最后，根据影像分辨率将像元距离转换为以米为单位的空间欧式距离，带入公式进行权重计算，得到距离权重Dis_W后，将像元的Pos_W和Dis_W相乘，作为最终的权重计算结果，输入附带权重的交叉熵函数(weighted_cross_entropy_with_logits)中用作网络的损失函数。
上述基于深度学习图像语义分割的道路阻断信息提取，在步骤(2)中，应用改进的全卷积神经网络的对训练样本S0训练过程，包括如下步骤：
利用基于TensorFlow底层的Keras深度学习上层设计框架构建神经网络；所涉及的地理信息空间分析功能借助AreGIS软件平台二次开发实现；在云服务器上实现了训练过程，利用阿里云的机器学习平台PAI云端开放式机器学习平台上已经部署的Tensorflow开源深度学习框架，实现了基于GPU并行的分布式网络训练；
全卷积神经网络训练过程中的重要参数包括训练的轮次数(epoch)、每轮次中的输入数据步数(steps_per_epoch)和每步数据量的大小(batch_size，也被称作批尺寸)；
全部训练样本完成一轮输入网络训练的遍历称为一个轮次，epoch决定了全部训练样本要通过多少个轮次的网络训练遍历，每个轮次后用验证样本进行当前网络的精度验证，以调整相应的训练参数；
让batch_size和steps_per_epoch之积等于或大于训练样本的个数，保证一个epoch内，全部的训练样本可以有机会完整遍历一次；
batch_size是卷积神经网络训练过程中的一个重要参数，代表每一步训练中同时输入batch_size个样本，计算平均损失函数值来更新网络参数，即每一步训练结束后网络中神经节点权重的调整方向和调整大小是batch_size个样本的平均作用结果；batch_size的大小又受制于网络规模和显存大小，因此需要在显卡显存允许的条件下将batch_size尽可能地设置为较大值；
验证过程中的步数(validation_steps)为验证样本个数和batch_size计算出的步数的一半，即每次验证过程只随机选取全部验证样本个数的一半使用；
利用Keras库下的callbacks.TensorBoard函数，对网络的训练情况进行可视化的实时监视；较好的神经网络训练过程中，损失函数下降并收敛；
最终得到初始全卷积神经网络模型FCNmodel0：
FCNmodel0＝Train(S0) (4)。
上述基于深度学习图像语义分割的道路阻断信息提取，在步骤(3)中，在完成网络训练后，利用灾区道路矢量R(x)作为引导进行灾区道路阻断检测：
(3-1)对于道路矢量R(x)，沿道路以一定距离间隔(100m)设置分块点Pn(x)，n为分块点的编号：
Pn(x)＝GenPoi(R(x)) (5)
(3-2)对于影像I(x)进行特征提取，构建特征数据集，得到特征图层Fm(x)，m为选择的特征个数，特征图层选择遥感影像的RGB三个波段：
Fm(x)＝FeaExt(I(x)) (6)
(3-3)对于道路分块点Pn(x)，生成距离为160m的缓冲区，取缓冲区的外接矩形对特征数据集Fm(x)进行切割，得到待检测分块样本Dn(x)：
Dn(x)＝Clip(Fm(x),Rectangle(Buffer(Pn(x)))) (7)。
上述基于深度学习图像语义分割的道路阻断信息提取，在步骤(4)中，利用训练好的网络模型FCNmodel0，对待检测分块样本Dn(x)进行灾后完整路面语义分割：
FCNresultn(x)＝Test(FCNmodel0,Dn(x)) (8)；
得到全部待检测样本的分割结果后，采用如下方法对完整范围的研究区影像进行灾后未损毁路面语义分割结果的生成：
将分块的检测结果进行拼接，具体的拼接方法是对相邻检测点重叠区域像元在多次重复检测中得到的道路隶属度(DoM，Degree of membership)进行累加得到Sum_DoM，同时记录重复检测的次数n，最后将累加得到的隶属度除以重复检测的次数，得到重叠区域道路隶属度平均值Ave_DoM，具体计算公式如式(9)-(10)所示：
其中，n为重复检测的次数；
采用无人机影像调查结果或实地调查结果对生成结果进行精度验证，如果检测精度满足要求则停止训练，否则进行网络微调(Fine-turning)。
上述基于深度学习图像语义分割的道路阻断信息提取，在步骤(5)中，对研究区影像进行灾后道路路面的人工目视解译，从解译结果中选择少量道路段生成新的训练样本数据S1，对已有网络进行网络微调，得到微调后的网络模型FCNmodel1；
FCNmodel1＝Retrain(FCNmodel0,S1) (11)；
然后再采用公式(9)-公式(10)重复进行灾后未损毁路面的语义分割，得到全部待检测样本的分割结果。
上述基于深度学习图像语义分割的道路阻断信息提取，在步骤(6)中，设计一种沿道路矢量线逐点进行的基于灾前灾后道路长度比例的道路完整度判别方法，以克服灾前道路矢量和灾后影像之间的配准误差的影响，得到灾后道路完整度检测结果和阻断道路路段判别结果：
(6-1)将矢量道路分割为20米长度的等距离检测路段，以检测路段中点作为检测点Pi，i为检测点编号；
(6-2)以样点为圆心生成圆形缓冲区Bi，缓冲区半径设置为25米；
(6-3)分别统计每个缓冲区内部的灾前道路线长度和灾后提取的道路线长度；
(6-4)对每个缓冲区Bi内部的灾前道路线长度L0(Bi)和灾后提取的道路线长度L1(Bi)比值，得到灾后未损毁道路的比例R(Bi)，如公式(12)所示：
R(Bi)＝L1(Bi)/L0(Bi) (12)；
(6-5)将每个缓冲区计算得到的灾后未损毁道路的比例作为道路完整度检测结果赋值给对应的检测点或者检测路段，生成以点或者线形式表现的检测结果。
本发明的技术方案取得了如下有益的技术效果：
1、矢量化道路样本边界时尽量克服树木和阴影遮挡的影响，以帮助卷积神经网络更好地区分树木和和阴影对道路的遮挡和真实的道路阻断之间的差异以应对阴影、树木遮挡造成的影像道路特征减弱和非阻断道路的误判。
2、道路阻断信息提取的FCN方法在于要对原始影像和矢量化后的道路目标图像进行同样的增量操作，以保证原始影像和目标图像的对应性。
3、为了解决影像上道路像元和非道路像元数量不平衡所带来的问题，对FCN模型的损失函数进行改进，引入了一个类间平衡系数β，用来计算交叉熵的正样本权重PosW，引入类间平衡系数β并计算相应的交叉熵正样本权重Pos_W后，可以解决因道路在影像上占据像元较少所造成的训练时梯度消失的问题。同时由于与道路中心线空间欧式距离越近的像元在出现分类错误时对整体分类结果的精度影响越大，因此引入利用像元至最近道路中心线的距离做为计算依据的距离权重Dis_W。将像元的Pos_W和Dis_W相乘，作为最终的权重计算结果，输入附带权重的交叉熵函数(weighted_cross_entropy_with_logits)中用作网络的损失函数，从而提高道路正样本的分类精度。
4、在灾害应急监测的过程中，可以通过在灾区选择少量样本，通过重新加载神经网络参数进行Fine-tuning的方式达到更高的道路路面语义分割精度。
5、在进行拼接前，对检测结果图像的边缘进行去除，去除检测结果边缘一定宽度的无效像元，可以提高检测结果的准确性。同时在影像分块的过程中，保证相邻影像块之间一定的重叠率，对相邻路面检测点的检测结果进行取平均处理也有助于克服边缘效应现象的影响。
6、设计了一种沿道路矢量线逐点进行的基于灾前灾后道路长度比例的道路完整度判别方法，以克服灾前道路矢量和灾后影像之间的配准误差的影响，得到灾后道路完整度检测结果和阻断道路路段判别结果。
7、改进后的全卷积神经网络模型的各项精度评价指标都要优于原始全卷积神经网络模型，改进后的模型更加适用于灾后未损毁路面检测和道路完整度判别的具体问题，可以有效克服树木、阴影遮挡对道路阻断信息提取的不利影响。
附图说明
图1：本发明基于FCN的道路阻断信息提取技术流程图；
图2a：原始图像进行道路的矢量化中的原始图像；
图2b：原始图像进行道路的矢量化结果中的矢量化结果图；
图3：样本生成方法和结果示意图；
图4：VGG16全卷积神经网络模型结构图；
图5：VGG16_FCN8s全卷积神经网络模型结构；
图6：U-Net全卷积神经网络结构；
图7：HED全卷积神经网络结构；
图8a：边缘效应的检测结果；
图8b：边缘效应对应点原始影响；
图9a：道路矢量和影像之间的配准误差：灾前道路矢量叠加灾后未损毁路面的；
图9b：道路矢量和影像之间的配准误差：灾前道路矢量叠加灾后道路矢量结果；
图10：道路完整度判别过程示意图；
图11a：VGG16_FCN8s全卷积神经网络：训练集损失函数与训练轮次数图；
图11b：VGG16_FCN8s全卷积神经网络：验证集损失函数与训练轮次数图；
图12a：U-Net全卷积神经网络：训练集损失函数与训练轮次数图；
图12b：U-Net全卷积神经网络：验证集损失函数与训练轮次数图；
图13a：HED全卷积神经网络：训练集损失函数与训练轮次数图；
图13b：HED全卷积神经网络：验证集损失函数与训练轮次数图；
图14a：经典全卷积神经网络结构在同一待检测样本上的效果比较：原始影像；
图14b：经典全卷积神经网络结构在同一待检测样本上的效果比较：VGG16_FCN8s提取效果；
图14c：经典全卷积神经网络结构在同一待检测样本上的效果比较：U-Net提取效果；
图14d：经典全卷积神经网络结构在同一待检测样本上的效果比较：HED提取效果；
图15：经典全卷积神经网络结构在同一待检测样本上的效果比较；
图16：HED模型改进前后的利用受试者工作特征(Receiver OperatingCharacteristic，ROC)曲线对比。
具体实施方式
基于图1所示的基于FCN的道路阻断信息提取技术流程图，具体做如下介绍。
一、样本矢量化方法和样本库的构建
1、样本的矢量化
与CNN模型相同，FCN模型的训练需也要大量的样本，所不同的是生成FCN模型训练所需的样本需要首先对影像上的道路进行矢量化。矢量化道路样本边界时尽量克服树木和阴影遮挡的影响，以帮助卷积神经网络更好地区分树木和和阴影对道路的遮挡和真实的道路阻断之间的差异以应对阴影、树木遮挡造成的影像道路特征减弱和非阻断道路的误判。在对道路路面进行矢量化后，将道路面矢量转为栅格图像，即道路目标图像，用于FCN模型训练的影像道路矢量化结果如图2a和图2b所示。
实验中设计了一种沿道路矢量方向对影像进行等间隔分块生成训练样本的方法。编写了用于生成训练样本的算法程序，用于构建道路阻断图像语义分割样本库。首先，在已有道路矢量上按照等距离原则分布样点，距离间隔设置为100米；然后，以样点为圆心生成圆形缓冲区，缓冲区半径设置为160米，以缓冲区的外接矩形为边界对影像特征数据集和道路目标图像同时进行裁取，得到样本影像和对应的样本目标图像。道路路面语义分割样本生成方法和样本结果的示例如图3所示。
2、样本的数据增强和标准化
进行网络训练之前同样对样本库中的样本进行了翻转和旋转等操作以增加样本量，实现数据增强。研究中使用了Google公司推出的深度学习主流框架TensorFlow实现了数据增强的具体操作：利用TensorFlow中的Keras.ImageDataGenerator方法对样本库进行增量操作，对样本进行随机的旋转，同时，允许对样本进行了水平和竖直翻转。道路阻断信息提取的FCN方法与CNN方法在数据增强方面的不同点在于要对原始影像和矢量化后的道路目标图像进行同样的增量操作，以保证原始影像和目标图像的对应性。
同时，采用了逐图层标准化的方法对样本库进行标准化，取得了较好的精度提升效果。本文研究中使用经典的机器学习工具库sklearn下的preprocessing.scale方法实现了对原始数据各个图层的均值和标准差进行标准化的操作。道路阻断信息提取的FCN方法只对遥感影像进行标准化操作，对道路目标图像不进行标准化操作。
二、经典的全卷积神经网络结构和改进的全卷积神经网络结构
1、经典的全卷积神经网络结构
VGG16_FCN8s、U-Net、Holistically-Nested Edge Detection(HED)等经典的全卷积神经网络结构在图像语义分割领域应用广泛。本文以此三种网络结构做为FCN模型改进的基础，提出适用于灾后未损毁路面语义分割的FCN模型。
1.1、VGG16_FCN8s全卷积神经网络
VGG16是经典的卷积神经网络结构，VGG16模型结构如图4所示。VGG16_FCN8s是在VGG16模型结构的基础上，将全连接层改为上卷积层以符合图像语义分割任务要求，如图5所示。
1.2、U-Net全卷积神经网络
U-Net网络结构在图像分类比赛中被广泛采用。U-Net使用了一种把上层网络输出与下层的上采样的结果直接连接方法，以期望能够更好地利用上层网络的输出，通过与低层次特征映射的组合，构建高层次复杂特征，来实现精确地图像语义分割(Ronneberger等，2015)。U-Net因其网络结构图形似U形而得名，其具体结构如图6所示。
1.3、HED全卷积神经网络
HED网络结构在几个细节的设计上很适合用于道路路面检测和分割。首先HED最初被设计用于边缘检测，因此这个网络在设计之初就定性为纯二分类问题，不需要很强的语义信息，而是需要很好的识别出边缘的位置，因此，这种网络结构对于道路识别任务有很好的适用性。其次，HED网络的设计理念是期望网络中的每一层都能输出有用信息，然后通过系统综合(Ensemble)的方式结合几层的输出，网络中的浅层网络用于物体的边缘轮廓线的识别，而深层网络因为包含着较大的感知域，因此更加有利于物体类别等语义信息的识别(Xie和Tu，2017)，HED网络的具体网络结构如图7所示。
2、全卷积神经网络结构的改进
在以道路为目标进行的遥感影像语义分割中，道路作为唯一的正样本在影像上呈现线状分布，并且在影像范围内占据的像元相对较少；而多数作为负样本的地物(如水体、植被等)在影像上呈面状分布，和道路相比，在同样的影像范围内所占据的像元相对较多。因而，在进行以道路为语义分割目标的全卷积神经网络构建时，必须考虑到这一情况所造成的影响。HED网络结构在进行图像边缘提取任务时面临相似的问题，即在一张图片中，大量的像元都是非边缘，而边缘像元的总数相对较少。因此，参考HED网络结构在损失函数方面的设计思路，对用于道路语义分割的全卷积神经网络结构的损失函数进行了改进。
一般的全卷积神经网络在构建时，常采用交叉熵(Cross Entropy)作为损失函数，但是交叉熵在计算的过程中，影像上不同类别像元的权重是相同的，这就导致在将未改进的全卷积神经网络直接应用于道路语义分割问题时，大量正确分类的负样本使得结果的整体交叉熵较低，在错误分类的道路正样本仍然较多时，网络已经呈现梯度消失的状态。即在交叉熵值很低的状态下，道路正样本的分类精度仍然不高并且无法继续提升。
为了解决影像上道路像元和非道路像元数量不平衡所带来的问题，对FCN模型的损失函数进行改进，引入了一个类间平衡系数β，用来计算交叉熵的正样本权重Pos_W，其具体计算公式如式(1)、式(2)所示。
式中，Count_Neg为道路目标图像中负样本的像元总数，Count_Pos为道路目标图像中正样本的像元总数。
和传统的损失函数相比，引入类间平衡系数β并计算相应的交叉熵正样本权重Pos_W后，可以解决因道路在影像上占据像元较少所造成的训练时梯度消失的问题。
除了利用正样本权重Pos_W，从样本的数量分布角度对损失函数的设计进行了改进，还需要从样本的空间分布角度改进损失函数的设计。对于道路语义分割问题而言，与道路中心线空间欧式距离越近的像元在出现分类错误时对整体分类结果的精度影响越大，因此，设计了一种利用像元至最近道路中心线的距离做为计算依据的距离权重Dis_W，具体计算公式如式(3)所示：
式中，Effect_Dis是依据实际研究区选择的对道路特征计算有贡献的最大有效距离，Dis(i)是第i个像元至最近的道路中心线的距离。实际的计算过程中，首先对道路目标图像进行数学形态学细化处理，得到道路中心线；其后，求出像元到最近中心线之间的像元距离；最后，根据影像分辨率将像元距离转换为以米为单位的空间欧式距离，带入公式进行权重计算。
得到距离权重Dis_W后，将像元的Pos_W和Dis_W相乘，作为最终的权重计算结果，输入附带权重的交叉熵函数(weighted_cross_entropy_with_logits)中用作网络的损失函数。
对经典的全卷积神经网络结构分别进行上述改进，为了便于区分，改进后的网络结构分别命名为“VGG16_FCN8s-RoadBlockage”、“U-Net-RoadBlockage”和“HED-RoadBlockage”。
3、全卷积神经网络的实现和训练过程
与卷积神经网络相类似，全卷积神经网络的实现过程也可以借助很多已有的软件和开发工具包，研究中利用基于TensorFlow底层的Keras深度学习上层设计框架构建神经网络。所涉及的地理信息空间分析等功能借助AreGIS软件平台二次开发实现。此外，还在云服务器上实现了训练过程，利用阿里云的机器学习平台PAI等云端开放式机器学习平台上已经部署的Tensorflow开源深度学习框架，实现了基于显卡(Graphics Processing Unit，GPU)并行的分布式网络训练。
全卷积神经网络的训练过程和重要参数：
全卷积神经网络训练过程中的重要参数包括训练的轮次数(epoch)、每轮次中的输入数据步数(steps_per_epoch)和每步数据量的大小(batch_size，也被称作批尺寸)；
全部训练样本完成一轮输入网络训练的遍历称为一个轮次，epoch决定了全部训练样本要通过多少个轮次的网络训练遍历，每个轮次后用验证样本进行当前网络的精度验证，以调整相应的训练参数；
让batch_size和steps_per_epoch之积等于或大于训练样本的个数，保证一个epoch内，全部的训练样本可以有机会完整遍历一次；
batch_size是卷积神经网络训练过程中的一个重要参数，代表每一步训练中同时输入batch_size个样本，计算平均损失函数值来更新网络参数，即每一步训练结束后网络中神经节点权重的调整方向和调整大小是batch_size个样本的平均作用结果；batch_size的大小又受制于网络规模和显存大小，因此需要在显卡显存允许的条件下将batch_size尽可能地设置为较大值；
验证过程中的步数(validation_steps)一般为验证样本个数和batch_size计算出的步数的一半，即每次验证过程只随机选取全部验证样本个数的一半使用；
利用Keras库下的callbacks.TensorBoard函数，对网络的训练情况进行可视化的实时监视；较好的神经网络训练过程中，损失函数下降并收敛。
因为全卷积神经网络普遍规模较大，神经节点较多，所以在同样的样本数量的前提下，每个训练轮次所消耗时间要长于卷积神经网络。为了节省训练时间，可以适当减少训练轮次数。同时，通过合理地设置提前终止(EarlyStopping)函数，既可以应对过拟合现象，又可以节省训练时间。
由于全卷积神经网络输入层的大小比普遍比卷积神经网络大，并且受限于实验中所使用的NVIDIA GTX1070显卡的显存大小，训练中batch_size的大小也不可能特别大，这就需要对网络是否有效收敛的情况进行实时监视。实验中利用Keras库下的callbacks.TensorBoard函数，对网络的训练情况进行可视化的实时监视。
与卷积神经网络相同，全卷积神经网络也具有良好的网络模型复用能力(也称为做网络的迁移学习能力)。在灾害应急监测的过程中，可以通过在灾区选择少量样本，通过重新加载神经网络参数进行Fine-tuning的方式达到更高的道路路面语义分割精度。
三、灾后未损毁路面检测和道路完整度判别
1、灾后未损毁路面检测
在完成网络的训练后，需要设计分块方法将验证区影像分块输入网络，并将输出结果拼接整合得到整个验证区的灾后未损毁路面语义分割结果。
需要注意的是，FCN的输出结果存在边缘(Padding)效应，即检测结果周边一定宽度像元的分类结果不准确，如图8a和图8b所示，因而，在进行拼接前，对检测结果图像的边缘进行去除，去除检测结果边缘一定宽度的无效像元，可以提高检测结果的准确性。此外，在影像分块的过程中，保证相邻影像块之间一定的重叠率，对相邻路面检测点的检测结果进行取平均处理也有助于克服这种现象的影响。
实验中利用灾区道路矢量作为引导，每隔一定的相等距离间隔截取一幅符合网络输入要求的灾区影像块输入全卷积神经网络得到道路路面提取结果。分块距离以相邻图片重叠率大于50％为宜，这样做可以在得到单幅图像的语义分割结果后对重叠区域进行取平均计算，以减小图像边缘处语义分割不准确带来的道路路面提取误差。验证区灾后未损毁路面语义分割的具体步骤如下：
(1)在已有道路矢量上按照等距离原则分布分块点Pi(i为分块点编号)，距离间隔设置为100米。
(2)以分块点为圆心生成圆形缓冲区，缓冲区半径设置为160米，以缓冲区的外接矩形为边界对待检测影像特征数据集进行分块裁取，得到待分类样本。
(3)将待分类样本输入FCN模型得到该样本的灾后完整路面检测结果。
(4)将分块的检测结果进行拼接，具体的拼接方法是对相邻检测点重叠区域像元在多次重复检测中得到的道路隶属度(DoM，Degree of membership)进行累加得到Sum_DoM，同时记录重复检测的次数n，最后将累加得到的隶属度除以重复检测的次数，得到重叠区域道路隶属度平均值Ave_DoM，具体计算公式如式(9)-(10)所示：
式中，n为重复检测的次数。
2、基于灾前灾后道路长度比例的道路完整度判别
与基于深度学习图像分类方法的道路阻断信息提取直接得到检测点的道路完整度不同，基于深度学习图像语义分割方法的道路阻断提取，首先得到的是灾区灾后未损毁路面的分割结果。若要得到道路完整度的判别结果，还需要和灾区灾前道路线矢量进行叠加和对比分析，以得到道路阻断信息的提取结果。
由灾区灾后未损毁路面的语义分割结果得到沿道路逐点进行的完整度检测结果的主要难度在于，由于灾前道路矢量的编绘和影像配准误差的存在，灾前道路矢量和灾后遥感影像难以做到完全的匹配，因而，灾前道路矢量和由灾后遥感影像未损毁路面提取结果也无法完全匹配。具体情况如图9a所示。
灾后遥感影像未损毁路面提取结果经过图像形态学细化操作后可以利用ArcGIS软件中的栅格转矢量工具转换为线状矢量形式。但是，转换后的线状矢量依然无法和灾前道路矢量完全匹配，如图9b所示。这种情况给最终得到阻断路段判别结果或者沿道路逐点的完整度检测结果造成了困难。
为此，设计了一种沿道路矢量线逐点进行的基于灾前灾后道路长度比例的道路完整度判别方法，以克服灾前道路矢量和灾后影像之间的配准误差的影响，得到灾后道路完整度检测结果和阻断道路路段判别结果。
具体步骤如下：
(1)将矢量道路分割为20米长度的等距离检测路段，以检测路段中点作为检测点Pi(i为检测点编号)。
(2)以样点为圆心生成圆形缓冲区Bi，缓冲区半径设置为25米。
(3)分别统计每个缓冲区内部的灾前道路线长度和灾后提取的道路线长度。
(4)对每个缓冲区Bi内部的灾前道路线长度L0(Bi)和灾后提取的道路线长度L1(Bi)比值，得到灾后未损毁道路的比例R(Bi)，如公式(12)所示。
R(Bi)＝L1(Bi)/L0(Bi) (12)
(5)将每个缓冲区计算得到的灾后未损毁道路的比例作为道路完整度检测结果赋值给对应的检测点或者检测路段，生成以点或者线形式表现的检测结果。
道路完整度判别过程示意图如图10所示。
四、基于FCN的道路阻断信息提取技术流程
基于FCN方法的道路阻断信息提取完整技术流程如下：
首先利用灾害典型案例影像构建道路阻断图像语义分割样本库，以提供训练样本S0，来训练全卷积神经网络，得到初始全卷积神经网络模型FCNmodel0。
FCNmodel0＝Train(S0) (4)
在获取研究区x的灾后影像I(x)和道路矢量R(x)之后，按照如下技术流程对道路阻断情况进行检测：
对于道路矢量R(x)，沿道路以一定距离间隔(100m)设置分块点Pn(x)，n为分块点的编号：
Pn(x)＝GenPoi(R(x)) (5)
对于影像I(x)进行特征提取，构建特征数据集，得到特征图层Fm(x)，m为选择的特征个数，一般情况下，特征图层选择遥感影像的RGB三个波段：
Fm(x)＝FeaExt(I(x)) (6)
对于道路分块点Pn(x)，生成一定距离的缓冲区(160m)，取缓冲区的外接矩形对特征数据集Fm(x)进行切割，得到待检测分块样本Dn(x)：
Dn(x)＝Clip(Fm(x),Rectangle(Buffer(Pn(x)))) (7)
利用训练好的网络模型FCNmodel0，对待检测分块样本Dn(x)进行灾后未损毁路面的语义分割：
FCNresultn(x)＝Test(FCNmodel0,Dn(x)) (8)
得到全部待检测样本的分割结果后，参照第二部分的第2小节所述方法对完整范围的研究区影像进行灾后未损毁路面语义分割结果的生成，采用无人机影像调查结果或实地调查结果对生成结果进行精度验证，如果检测精度满足要求则停止训练，否则进行网络微调(Fine-turning)：对研究区影像进行灾后道路路面的人工目视解译，从解译结果中选择少量路段生成新的训练样本数据S1，对已有网络进行网络微调，得到微调后的网络模型FCNmodel1：
FCNmodel1＝Retrain(FCNmodel0,S1) (11)
重复进行灾后未损毁路面的语义分割工作，直到路面分割结果达到精度要求。得到研究区完整范围的影像道路语义分割结果后，参照第三部分第2节所述方法进行研究区道路完整度的判别，得到道路完整度判别结果。具体技术流程图如图1所示。
五、全卷积神经网络的优化效果
1、经典全卷积神经网络结构的应用效果对比
对于第二部分第1节中不同类型的经典全卷积神经网络结构，采用相同的道路阻断图像语义分割样本库(样本库中80％的样本用作训练集，20％的样本用作验证集)进行了网络训练训练。网络训练中采用了相同的训练相关参数(batch_size的设置受到显存和不同网络类型结构大小的限制，尽量设置为显存可以接受的最大值；epoch设置为50；损失函数选择“categorical_crossentropy”)，训练过程的Tensorboard监视结果如图11a和图11b、图12a和图12b和图13a和图13b所示。图中横坐标均为训练轮次数(epoch)；纵坐标分别为训练集损失函数(loss)和验证集损失函数(val_loss)。
训练过程的监视结果表明，三种不同结构类型的全卷积神经网络在训练过程中都达到了收敛，并且验证集损失函数(val_loss)表明网络的训练过程中没有出现过拟合的现象。
训练后得到的不同结构类型的经典全卷积神经网络在同一待检测样本上进行的灾后未损毁道路面提取的效果对比如图14a-图14d所示。结果表明，HED结构提取的路面边界最为清晰完整，树木和阴影遮挡对提取结果的影响最小，可以较为清楚地反映道路阻断的情况。
同样，在灾害应急监测的过程中应用全卷积神经网络，也需要关心数据处理的效率。对以上不同类型的经典全卷积神经网络训练过程中的时间消耗进行记录和对比，如图15所示。
结果表明，和卷积神经网络相比，全卷积神经网络的训练时间消耗较长，这是由于全卷积神经网络的网络结构更为复杂导致的。三种全卷积网络结构的训练时间消耗又高到低的顺序为VGG16_FCN8s、HED、U-Net。可见不同类型网络结构的运算效率有所差异，但差异并不大，这是由于全卷积神经网络的规模较大，基本都已经达到了GPU显存所能处理的极限，此时的数据处理效率主要是由GPU性能所决定的。
六、全卷积神经网络的结构改进效果
在选定HED作为基本网络结构的基础上，参考第二部分2小节所提出的改进方法，对HED网络结构进行改进，得到了一种适用于道路阻断图像语义分割的FCN网络结构，其对应的具体模型命名为“HED-RoadBlockage”网络模型。对HED模型和改进后的HED-RoadBlockage模型在相同道路阻断图像语义分割样本库上的ROC结果对比如图16所示，精度评价结果对比如表1所示。
ROC曲线线下面积(AUC)通常被认为是定量评价分类器性能总体准确性的重要指标(Cook，2017)，它是ROC曲线下与坐标轴围成的面积。AUC的取值范围在0.5和1.0之间。在AUC>0.5的情况下，AUC越接近于1，说明预测模型的性能越好。AUC在0.5～0.7时有较低准确性，AUC在0.7～0.9时有一定准确性，AUC在0.9以上时有较高准确性。AUC＝0.5时，意味着模型的预测能力是完全随机的。AUC<0.5不符合真实情况，在实际中极少出现。
表1 HED模型改进前后的精度对比
结果表明，改进后的HED-RoadBlockage模型的各项精度评价指标都要优于原始的HED模型，改进后的模型更加适用于灾后未损毁路面检测和道路完整度判别的具体问题。
小结：本章小结
本章对深度学习图像语义分割技术在灾后道路阻断信息提取中的应用方法进行了研究。首先说明了用于全卷积神经网络训练的道路阻断图像语义分割样本库的构建方法，包括样本的矢量化、增强和标准化过程；其次，对经典的卷积神经网络的类型和网络结构的改进方法进行了介绍，阐述了网络的实现方法和训练过程；其后，应用训练得到的全卷积神经网络进行遥感影像道路路面语义分割，在提取灾后未损毁路面的基础上，利用灾前灾后未损毁道路的长度比例进行道路完整度的判别，并提出了完整的灾害应急情况下的道路阻断信息提取技术流程；最后，对不同结构的全卷积神经网络的应用效果进行了对比，并提出了适用于路面语义分割的“HED-RoadBlockage”网络结构。所提出的方法在样本库构建阶段就考虑到道路受到树木和阴影遮挡的情况，对被遮挡道路根据经验进行目视解译。应用这一方法进行道路阻断信息提取，可以有效克服树木、阴影遮挡对道路阻断信息提取的不利影响。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。

Claims (8)

1.基于深度学习图像语义分割的道路阻断信息提取，其特征在于，包括如下步骤：
(1)利用灾害典型案例影像构建道路阻断图像语义分割样本库，以提供训练样本S0；
(2)改进的全卷积神经网络对步骤(1)中的训练样本S0进行训练，得到初始全卷积神经网络模型FCNmodel0；
(3)在获取研究区x的灾后影像I(x)和道路矢量R(x)之后，对道路阻断情况进行检测，得到待检测分块样本Dn(x)；
(4)利用训练好的网络模型FCNmodel0，对待检测分块样本Dn(x)进行灾后未损毁路面的语义分割，得到全部待检测样本的分割结果；
(5)对研究区影像进行灾后道路路面的人工目视解译，从解译结果中选择少量道路段生成新的训练样本数据S1，对已有网络进行网络微调，得到微调后的网络模型FCNmodel1；重复进行灾后未损毁路面的语义分割工作，直到路面分割结果达到精度要求；
(6)基于灾前灾后道路长度比例的道路完整度判别方法对道路完整度判别，得到道路完整度判别结果。
2.根据权利要求1所述的基于深度学习图像语义分割的道路阻断信息提取，其特征在于，在步骤(1)中，利用灾害典型案例影像构建道路阻断图像语义分割样本库，包括如下步骤：
(1-1)沿道路矢量方向对影像进行等间隔分块生成训练样本的方法；
(1-2)训练样本的数据增强和标准化；
在步骤(1-1)中，包括如下方法：
(1-1-1)对影像上的道路进行矢量化，将道路面矢量转为栅格图像，即道路目标图像；
(1-1-2)在已有道路矢量上按照等距离原则分布样点，距离间隔设置为100米；
(1-1-3)以样点为圆心生成圆形缓冲区，缓冲区半径设置为160米，以缓冲区的外接矩形为边界对影像特征数据集和道路目标图像同时进行裁取，得到样本影像和对应的样本目标图像；
在步骤(1-2)中，
训练样本的数据增强方法：使用了Google公司推出的深度学习主流框架TensorFlow实现数据增强的具体操作：利用TensorFlow中的Keras.lmageDataGenerator方法对样本库进行增量操作，对样本进行随机的旋转，同时，允许对样本进行了水平和竖直翻转；
训练样本的数据标准化的方法：使用机器学习工具库sklearn下的preprocessing.scale方法实现了对原始数据各个图层的均值和标准差进行标准化的操作。
3.根据权利要求2所述的基于深度学习图像语义分割的道路阻断信息提取，其特征在于，在步骤(2)中，全卷积神经网络Fully Convolutional Network，FCN的改进方法为：
从样本的数量分布角度对FCN模型的损失函数进行改进，引入了一个类间平衡系数β，用来计算交叉熵的正样本权重Pos_W，其具体计算公式如式(1)、式(2)所示：
式中，Count_Neg为道路目标图像中负样本的像元总数，Count_Pos为道路目标图像中正样本的像元总数；
从样本的空间分布角度对FCN模型的损失函数进行改进，设计一种利用像元至最近道路中心线的距离做为计算依据的距离权重Dis_W，具体计算公式如式(3)所示：
式中，Effect_Dis是依据实际研究区选择的对道路特征计算有贡献的最大有效距离，Dis(i)是第i个像元至最近的道路中心线的距离；
计算过程中，首先对道路目标图像进行数学形态学细化处理，得到道路中心线；其后，求出像元到最近中心线之间的像元距离；最后，根据影像分辨率将像元距离转换为以米为单位的空间欧式距离，带入公式进行权重计算，得到距离权重Dis_W后，将像元的Pos_W和Dis_W相乘，作为最终的权重计算结果，输入附带权重的交叉熵函数weighted_cross_entropy_with_logits中用作网络的损失函数。
4.根据权利要求2所述的基于深度学习图像语义分割的道路阻断信息提取，其特征在于，在步骤(2)中，应用改进的全卷积神经网络的对训练样本S0训练过程，包括如下步骤：
利用基于TensorFlow底层的Keras深度学习上层设计框架构建神经网络；所涉及的地理信息空间分析功能借助AreGIS软件平台二次开发实现；在云服务器上实现了训练过程，利用阿里云的机器学习平台PAI云端开放式机器学习平台上已经部署的Tensorflow开源深度学习框架，实现了基于GPU并行的分布式网络训练；
全卷积神经网络训练过程中的重要参数包括训练的轮次数epoch、每轮次中的输入数据步数steps_per_epoch和每步数据量的大小batch_size，也被称作批尺寸；
全部训练样本完成一轮输入网络训练的遍历称为一个轮次，epoch决定了全部训练样本要通过多少个轮次的网络训练遍历，每个轮次后用验证样本进行当前网络的精度验证，以调整相应的训练参数；
让batch_size和steps_per_epoch之积等于或大于训练样本的个数，保证一个epoch内，全部的训练样本可以有机会完整遍历一次；
batch_size是卷积神经网络训练过程中的一个重要参数，代表每一步训练中同时输入batch_size个样本，计算平均损失函数值来更新网络参数，即每一步训练结束后网络中神经节点权重的调整方向和调整大小是batch_size个样本的平均作用结果；batch_size的大小又受制于网络规模和显存大小，因此需要在显卡显存允许的条件下将batch_size尽可能地设置为较大值；
验证过程中的步数validation_steps为验证样本个数和batch_size计算出的步数的一半，即每次验证过程只随机选取全部验证样本个数的一半使用；
利用Keras库下的callbacks.TensorBoard函数，对网络的训练情况进行可视化的实时监视；较好的神经网络训练过程中，损失函数下降并收敛；
最终得到初始全卷积神经网络模型FCNmodel0：
FCNmodel0＝Train(S0) (4)。
5.据权利要求4所述的基于深度学习图像语义分割的道路阻断信息提取，其特征在于，在步骤(3)中，在完成网络训练后，利用灾区道路矢量R(x)作为引导进行灾区道路阻断检测：
(3-1)对于道路矢量R(x)，沿道路以100m的距离间隔设置分块点Pn(x)，n为分块点的编号：
Pn(x)＝GenPoi(R(x)) (5)
(3-2)对于影像I(x)进行特征提取，构建特征数据集，得到特征图层Fm(x)，m为选择的特征个数，特征图层选择遥感影像的RGB三个波段：
Fm(x)＝FeaExt(I(x)) (6)
(3-3)对于道路分块点Pn(x)，生成距离为160m的缓冲区，取缓冲区的外接矩形对特征数据集Fm(x)进行切割，得到待检测分块样本Dn(x)：
Dn(x)＝Clip(Fm(x)，Rectangle(Buffer(Pn(x)))) (7)。
6.根据权利要求5所述的基于深度学习图像语义分割的道路阻断信息提取，其特征在于，在步骤(4)中，利用训练好的网络模型FCNmodel0，对待检测分块样本Dn(x)进行灾后完整路面语义分割：
FCNresultn(x)＝Test(FCNmodel0，Dn(x)) (8)；
得到全部待检测样本的分割结果后，采用如下方法对完整范围的研究区影像进行灾后未损毁路面语义分割结果的生成：
将分块的检测结果进行拼接，具体的拼接方法是对相邻检测点重叠区域像元在多次重复检测中得到的道路隶属度DoM，Degree of membership进行累加得到Sum_DoM，同时记录重复检测的次数n，最后将累加得到的隶属度除以重复检测的次数，得到重叠区域道路隶属度平均值Ave_DoM，具体计算公式如式(9)-(10)所示：
其中，n为重复检测的次数；
采用无人机影像调查结果或实地调查结果对生成结果进行精度验证，如果检测精度满足要求则停止训练，否则进行网络微调Fine-turning。
7.根据权利要求6所述的基于深度学习图像语义分割的道路阻断信息提取，其特征在于，在步骤(5)中，对研究区影像进行灾后道路路面的人工目视解译，从解译结果中选择少量道路段生成新的训练样本数据S1，对已有网络进行网络微调，得到微调后的网络模型FCNmodel1；
FCNmodel1＝Retrain(FCNmodel0，S1) (11)；
然后再采用公式(9)-公式(10)重复进行灾后未损毁路面的语义分割，得到全部待检测样本的分割结果。
8.根据权利要求7所述的基于深度学习图像语义分割的道路阻断信息提取，其特征在于，在步骤(6)中，设计一种沿道路矢量线逐点进行的基于灾前灾后道路长度比例的道路完整度判别方法，以克服灾前道路矢量和灾后影像之间的配准误差的影响，得到灾后道路完整度检测结果和阻断道路路段判别结果：
(6-1)将矢量道路分割为20米长度的等距离检测路段，以检测路段中点作为检测点Pi，i为检测点编号；
(6-2)以样点为圆心生成圆形缓冲区Bi，缓冲区半径设置为25米；
(6-3)分别统计每个缓冲区内部的灾前道路线长度和灾后提取的道路线长度；
(6-4)对每个缓冲区Bi内部的灾前道路线长度L0(Bi)和灾后提取的道路线长度L1(Bi)比值，得到灾后未损毁道路的比例R(Bi)，如公式(12)所示：
R(Bi)＝L1(Bi)/L0(Bi) (12)；
(6-5)将每个缓冲区计算得到的灾后未损毁道路的比例作为道路完整度检测结果赋值给对应的检测点或者检测路段，生成以点或者线形式表现的检测结果。
CN201910587644.8A 2019-07-02 2019-07-02 基于深度学习图像语义分割的道路阻断信息提取方法 Active CN110287932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910587644.8A CN110287932B (zh) 2019-07-02 2019-07-02 基于深度学习图像语义分割的道路阻断信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910587644.8A CN110287932B (zh) 2019-07-02 2019-07-02 基于深度学习图像语义分割的道路阻断信息提取方法

Publications (2)

Publication Number Publication Date
CN110287932A true CN110287932A (zh) 2019-09-27
CN110287932B CN110287932B (zh) 2021-04-13

Family

ID=68021611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910587644.8A Active CN110287932B (zh) 2019-07-02 2019-07-02 基于深度学习图像语义分割的道路阻断信息提取方法

Country Status (1)

Country Link
CN (1) CN110287932B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929629A (zh) * 2019-11-19 2020-03-27 中国科学院遥感与数字地球研究所 一种基于改进cnn的群体建筑物损毁遥感分类方法
CN111028207A (zh) * 2019-11-22 2020-04-17 东华大学 基于类脑即时-通用特征提取网络的纽扣瑕疵检测方法
CN111047617A (zh) * 2019-12-18 2020-04-21 广东电科院能源技术有限责任公司 一种矩形识别优化方法、装置及设备
CN111160199A (zh) * 2019-12-23 2020-05-15 云南省交通规划设计研究院有限公司 一种基于高分辨率遥感影像的公路灾害信息检测方法
CN111666949A (zh) * 2020-06-16 2020-09-15 南京大学 一种基于迭代分割的图像语义分割方法
CN111860568A (zh) * 2020-05-13 2020-10-30 北京嘀嘀无限科技发展有限公司 数据样本的均衡分布方法、装置及存储介质
CN112148894A (zh) * 2020-09-30 2020-12-29 武汉大学 一种基于深度学习和定性空间推理的泛在道路信息定位方法
CN112396006A (zh) * 2020-11-23 2021-02-23 中国人民大学 基于机器学习的建筑物损毁识别方法、装置及计算设备
CN112836727A (zh) * 2020-07-27 2021-05-25 盐城郅联空间科技有限公司 一种基于时空大数据挖掘分析技术的影像解译优化方法
CN112863132A (zh) * 2021-04-23 2021-05-28 成都中轨轨道设备有限公司 一种自然灾害预警系统及预警方法
CN113409322A (zh) * 2021-06-18 2021-09-17 中国石油大学(华东) 面向遥感影像语义分割的深度学习训练样本增强方法
CN113628227A (zh) * 2021-08-02 2021-11-09 哈尔滨工业大学 一种基于深度学习的海岸线变化分析方法
CN114529893A (zh) * 2021-12-22 2022-05-24 电子科技大学成都学院 集装箱编码识别方法及装置
CN115482534A (zh) * 2022-09-29 2022-12-16 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统
CN115641512A (zh) * 2022-12-26 2023-01-24 成都国星宇航科技股份有限公司 一种卫星遥感影像道路识别方法、装置、设备及介质
CN117312780A (zh) * 2023-11-29 2023-12-29 广东蘑菇物联科技有限公司 一种空压站数据增强方法、装置、存储介质及计算机设备
CN117372791A (zh) * 2023-12-08 2024-01-09 齐鲁空天信息研究院 细粒度定向能毁伤区域检测方法、装置及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787937A (zh) * 2016-02-25 2016-07-20 武汉大学 一种基于osm的高分辨遥感影像道路变化检测方法
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法
US20170262735A1 (en) * 2016-03-11 2017-09-14 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
CN108645342A (zh) * 2018-04-25 2018-10-12 国交空间信息技术（北京）有限公司 一种基于道路轨迹和高分辨率影像的道路宽度提取方法
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN109063569A (zh) * 2018-07-04 2018-12-21 北京航空航天大学 一种基于遥感影像的语义级变化检测方法
CN109426773A (zh) * 2017-08-24 2019-03-05 浙江宇视科技有限公司 一种道路识别方法和装置
CN109493320A (zh) * 2018-10-11 2019-03-19 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN109635642A (zh) * 2018-11-01 2019-04-16 浙江科技学院 一种基于残差网络和扩张卷积的道路场景分割方法
CN109711449A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于全卷积网络的图像分类算法
CN109740451A (zh) * 2018-12-17 2019-05-10 南京理工大学 基于重要性加权的道路场景图像语义分割方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787937A (zh) * 2016-02-25 2016-07-20 武汉大学 一种基于osm的高分辨遥感影像道路变化检测方法
US20170262735A1 (en) * 2016-03-11 2017-09-14 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法
CN109426773A (zh) * 2017-08-24 2019-03-05 浙江宇视科技有限公司 一种道路识别方法和装置
CN108645342A (zh) * 2018-04-25 2018-10-12 国交空间信息技术（北京）有限公司 一种基于道路轨迹和高分辨率影像的道路宽度提取方法
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN109063569A (zh) * 2018-07-04 2018-12-21 北京航空航天大学 一种基于遥感影像的语义级变化检测方法
CN109493320A (zh) * 2018-10-11 2019-03-19 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN109635642A (zh) * 2018-11-01 2019-04-16 浙江科技学院 一种基于残差网络和扩张卷积的道路场景分割方法
CN109740451A (zh) * 2018-12-17 2019-05-10 南京理工大学 基于重要性加权的道路场景图像语义分割方法
CN109711449A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于全卷积网络的图像分类算法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FLORIAN WULFF ET AL.: "Early Fusion of Camera and Lidar for robust road detection based on U-Net FCN", 《2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *
NEELANSHI VARIA ET AL.: "DeepExt: A Convolution Neural Network for Road Extraction using RGB images captured by UAV", 《SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE SSCI 2018》 *
张学鹏: "基于深度学习的图像语义分割方法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
翁飘 等: "基于改进的全卷积神经网络的路面裂缝分割技术", 《计算机工程与应用》 *
雒燕飞: "地质灾害应急地理信息数据库设计及其应用", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929629A (zh) * 2019-11-19 2020-03-27 中国科学院遥感与数字地球研究所 一种基于改进cnn的群体建筑物损毁遥感分类方法
CN111028207A (zh) * 2019-11-22 2020-04-17 东华大学 基于类脑即时-通用特征提取网络的纽扣瑕疵检测方法
CN111028207B (zh) * 2019-11-22 2023-06-09 东华大学 基于即时-通用特征提取网络的纽扣瑕疵检测方法
CN111047617A (zh) * 2019-12-18 2020-04-21 广东电科院能源技术有限责任公司 一种矩形识别优化方法、装置及设备
CN111160199A (zh) * 2019-12-23 2020-05-15 云南省交通规划设计研究院有限公司 一种基于高分辨率遥感影像的公路灾害信息检测方法
CN111860568A (zh) * 2020-05-13 2020-10-30 北京嘀嘀无限科技发展有限公司 数据样本的均衡分布方法、装置及存储介质
CN111666949A (zh) * 2020-06-16 2020-09-15 南京大学 一种基于迭代分割的图像语义分割方法
CN112836727B (zh) * 2020-07-27 2021-08-10 盐城郅联空间科技有限公司 一种基于时空大数据挖掘分析技术的影像解译优化方法
CN112836727A (zh) * 2020-07-27 2021-05-25 盐城郅联空间科技有限公司 一种基于时空大数据挖掘分析技术的影像解译优化方法
CN112148894A (zh) * 2020-09-30 2020-12-29 武汉大学 一种基于深度学习和定性空间推理的泛在道路信息定位方法
CN112148894B (zh) * 2020-09-30 2024-01-26 武汉大学 一种基于深度学习和定性空间推理的泛在道路信息定位方法
CN112396006B (zh) * 2020-11-23 2023-11-14 中国人民大学 基于机器学习的建筑物损毁识别方法、装置及计算设备
CN112396006A (zh) * 2020-11-23 2021-02-23 中国人民大学 基于机器学习的建筑物损毁识别方法、装置及计算设备
CN112863132B (zh) * 2021-04-23 2021-07-13 成都中轨轨道设备有限公司 一种自然灾害预警系统及预警方法
CN112863132A (zh) * 2021-04-23 2021-05-28 成都中轨轨道设备有限公司 一种自然灾害预警系统及预警方法
CN113409322A (zh) * 2021-06-18 2021-09-17 中国石油大学(华东) 面向遥感影像语义分割的深度学习训练样本增强方法
CN113628227A (zh) * 2021-08-02 2021-11-09 哈尔滨工业大学 一种基于深度学习的海岸线变化分析方法
CN114529893A (zh) * 2021-12-22 2022-05-24 电子科技大学成都学院 集装箱编码识别方法及装置
CN115482534A (zh) * 2022-09-29 2022-12-16 哈尔滨市科佳通用机电股份有限公司 铁路货车手轮倾斜检测方法及系统
CN115641512A (zh) * 2022-12-26 2023-01-24 成都国星宇航科技股份有限公司 一种卫星遥感影像道路识别方法、装置、设备及介质
CN117312780A (zh) * 2023-11-29 2023-12-29 广东蘑菇物联科技有限公司 一种空压站数据增强方法、装置、存储介质及计算机设备
CN117312780B (zh) * 2023-11-29 2024-03-08 广东蘑菇物联科技有限公司 一种空压站数据增强方法、装置、存储介质及计算机设备
CN117372791A (zh) * 2023-12-08 2024-01-09 齐鲁空天信息研究院 细粒度定向能毁伤区域检测方法、装置及存储介质
CN117372791B (zh) * 2023-12-08 2024-03-22 齐鲁空天信息研究院 细粒度定向能毁伤区域检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN110287932B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN110287932A (zh) 基于深度学习图像语义分割的道路阻断信息提取
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN107145908B (zh) 一种基于r-fcn的小目标检测方法
CN110298321A (zh) 基于深度学习图像分类的道路阻断信息提取
CN104732240B (zh) 一种应用神经网络敏感性分析的高光谱影像波段选择方法
CN104200217B (zh) 基于一种复合核函数的高光谱分类方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN104680542B (zh) 基于在线学习的遥感影像变化检测方法
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN109657610A (zh) 一种高分辨率多源遥感影像的土地利用变化检测方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN107992891A (zh) 基于光谱矢量分析多光谱遥感图像变化检测方法
CN109766936A (zh) 基于信息传递和注意力机制的图像变化检测方法
CN109086679A (zh) 一种毫米波雷达安检仪异物检测方法
CN113468968B (zh) 一种基于无锚框的遥感图像旋转目标检测方法
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法
CN109902018A (zh) 一种智能驾驶系统测试案例的获取方法
CN110110599A (zh) 一种基于多尺度特征融合的遥感图像目标检测方法
CN109858547A (zh) 一种基于bssd的目标检测方法与装置
CN109410184A (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
CN110210482A (zh) 改进类别不平衡的目标检测方法
CN112131731B (zh) 一种基于空间特征向量滤波的城市生长元胞模拟方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN110309010A (zh) 用于电力设备相位分辩的局放网络训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210324

Address after: No. 9 Dengzhuang South Road, Haidian District, Beijing 100094

Applicant after: Research Institute of aerospace information innovation, Chinese Academy of Sciences

Address before: 100101 Beijing Chaoyang District Andingmen Datun Road No. 20 North

Applicant before: Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences

GR01 Patent grant
GR01 Patent grant