CN109145718A - 基于拓扑感知的遥感影像的路网提取方法及装置 - Google Patents
基于拓扑感知的遥感影像的路网提取方法及装置 Download PDFInfo
- Publication number
- CN109145718A CN109145718A CN201810724109.8A CN201810724109A CN109145718A CN 109145718 A CN109145718 A CN 109145718A CN 201810724109 A CN201810724109 A CN 201810724109A CN 109145718 A CN109145718 A CN 109145718A
- Authority
- CN
- China
- Prior art keywords
- road
- network
- neural network
- remote sensing
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种基于拓扑感知的遥感影像的路网提取方法及装置，其中，方法包括：根据联合滤波提取的道路中心线获取样本；通过深度神经网络对道路的光谱特征进行学习，并根据学习到的模型获得基于光谱特征的初始道路概率图，且通过骨架提取算法从道路概率分布中提取出初始的道路中心线图；在出现错误现象时，再次通过深度神经网络对道路的拓扑结构进行学习，基于新模型和由初始的道路中心线图学习得到基于拓扑特征的道路概率图，并结合基于光谱特征的初始道路概率图，以得到最终的栅格化的道路中心线图。该方法采用细化算法获得最终栅格化的道路中心线图，从而有效检测出阴影、遮挡等引起的道路异常，有效提高提取的效率和准确性，简单易实现。
Description
技术领域
本发明涉及遥感应用技术领域，特别涉及一种基于拓扑感知的遥感影像的路网提取方法及装置。
背景技术
遥感技术具有高效性、实时性以及信息多元化等特点,其作为一种先进的对地观测方法在城市交通领域中发挥了重要的作用。
在基于遥感技术的道路提取中，相关技术的基于特征的道路提取算法主要依赖于道路的光谱行为和强度对比，因此提取的关键取决于是否确定合适的特征来描述潜在的道路区域。
然而这类方法存在两个问题：来源于不同卫星的道路遥感影像图的光谱表现不同；由于遮挡或阴影等引起的异常道路难以检测。近年来，深度学习的发展为道路提取提供了新的解决方案，各种各样的网络结构被应用于道路提取，例如多层神经网络，高阶CRF(conditional random field algorithm，条件随机场算法) 模型。但是这类基于学习的方法同样存在两个问题：大量的样本标记是一个耗时耗力的过程；另外针对阴影、遮挡等引起的道路异常同样难以检测。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于拓扑感知的遥感影像的路网提取方法，该方法可以有效检测出阴影、遮挡等引起的道路异常，有效提高提取的效率和准确性，简单易实现。
本发明的另一个目的在于提出一种基于拓扑感知的遥感影像的路网提取装置。
为达到上述目的，本发明一方面实施例提出了一种基于拓扑感知的遥感影像的路网提取方法，包括以下步骤：步骤S1：根据联合滤波提取的道路中心线获取样本，其中，从非道路区域随机选取负样本，并且通过置信度评估选取正样本；步骤S2：通过深度神经网络对道路的光谱特征进行学习，其中，神经网络包含三个卷积层和一个全连接层，对原始遥感道路影像图进行超像素分割，并根据学习到的模型获得基于光谱特征的初始道路概率图，且通过骨架提取算法从所述道路概率分布中提取出初始的道路中心线图；步骤S3：在出现错误现象时，再次通过所述深度神经网络对道路的拓扑结构进行学习，基于新模型和由所述初始的道路中心线图学习得到基于拓扑特征的道路概率图，并结合所述基于光谱特征的初始道路概率图，以得到最终的栅格化的道路中心线图。
本发明实施例的基于拓扑感知的遥感影像的路网提取方法，通过置信度评估算法来对样本进行自动选取，且采用深度神经网络对道路的光谱特征进行学习，并再次使用深度神经网络来对道路的拓扑结构进行学习，采用细化算法获得最终的栅格化的道路中心线图，从而有效检测出阴影、遮挡等引起的道路异常，有效提高提取的效率和准确性，简单易实现。
另外，根据本发明上述实施例的基于拓扑感知的遥感影像的路网提取方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，长直的道路区域置信度高于分叉的道路区域置信度，其中，所述步骤S1进一步包括：拟合直线lT:y＝ax+b，以使区域内所有道路像素点到所述直线的距离和最小，其中，目标损失函数为：
其中，(xi,yi)是道路像素点的位置，a,b是待求的参数，n表示该领域内道路像素点的总个数。
进一步地，在本发明的一个实施例中，所述步骤S2进一步包括：构造所述深度神经网络的结构，其中，所述深度神经网络的结构为：
Conv1-Pool1-Relu1-Norm1-Conv2-Relu2-Pool2-Norm2-Conv3-Relu3-Pool3-Dropout-Fc，
其中，Conv表示卷积层，Norm表示归一化层，Pool表示池化层，Fc表示全连接层，Relu表示非线性激活函数；通过训练样本训练所述深度神经网络；其中，所述深度神经网络的损失函数为预测样本和所述训练样本间的交叉熵损失函数，且当满足预设指标时，停止网络的训练，其中，所述预设指标为在测试集上的预测准确率高于预设百分比或总迭代次数达到预设次数；生成所述基于光谱特征的初始道路概率图。
进一步地，在本发明的一个实施例中，所述待处理错误现象包括产生道路中心线图中孤立线段和检测结果中断现象。
进一步地，在本发明的一个实施例中，所述步骤S3进一步包括：根据所述初始的道路中心线图对道路的拓扑结构进行学习，其中，训练正样本包括置信度大于预设值的道路区域和存在中断的道路区域，网络的负样本包括黑色的非道路区域和包含孤立线段的区域，以获得所述新模型，进而得到所述基于拓扑特征的道路概率分布图；将所述基于光谱特征的初始道路概率图与所述基于拓扑特征的道路概率分布图进行融合，并通过细化算法得到所述最终的栅格化的二值道路中心线图。
为达到上述目的，本发明另一方面实施例提出了一种基于拓扑感知的遥感影像的路网提取装置，包括：获取模块，用于根据联合滤波提取的道路中心线获取样本，其中，从非道路区域随机选取负样本，并且通过置信度评估选取正样本；第一学习模块，用于通过深度神经网络对道路的光谱特征进行学习，其中，神经网络包含三个卷积层和一个全连接层，对原始遥感道路影像图进行超像素分割，并根据学习到的模型获得基于光谱特征的初始道路概率图，且通过骨架提取算法从所述道路概率分布中提取出初始的道路中心线图；第二学习模块，用于在出现错误现象时，再次通过所述深度神经网络对道路的拓扑结构进行学习，基于新模型和由所述初始的道路中心线图学习得到基于拓扑特征的道路概率图，并结合所述基于光谱特征的初始道路概率图，以得到最终的栅格化的道路中心线图。
本发明实施例的基于拓扑感知的遥感影像的路网提取装置，通过置信度评估算法来对样本进行自动选取，且采用深度神经网络对道路的光谱特征进行学习，并再次使用深度神经网络来对道路的拓扑结构进行学习，采用细化算法获得最终的栅格化的道路中心线图，从而有效检测出阴影、遮挡等引起的道路异常，有效提高提取的效率和准确性，简单易实现。
另外，根据本发明上述实施例的基于拓扑感知的遥感影像的路网提取装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，长直的道路区域置信度高于分叉的道路区域置信度，其中，所述获取模块进一步用于拟合直线lT:y＝ax+b，以使区域内所有道路像素点到所述直线的距离和最小，其中，目标损失函数为：
其中，(xi,yi)是道路像素点的位置，a,b是待求的参数，n表示该领域内道路像素点的总个数。
进一步地，在本发明的一个实施例中，所述第一学习模块还包括：构造模块，用于构造所述深度神经网络的结构，其中，所述深度神经网络的结构为：
Conv1-Pool1-Relu1-Norm1-Conv2-Relu2-Pool2-Norm2-Conv3-Relu3-Pool3-Dropout-Fc，
其中，Conv表示卷积层，Norm表示归一化层，Pool表示池化层，Fc表示全连接层，Relu表示非线性激活函数；训练模块，用于通过训练样本训练所述深度神经网络；其中，所述深度神经网络的损失函数为预测样本和所述训练样本间的交叉熵损失函数，且当满足预设指标时，停止网络的训练，其中，所述预设指标为在测试集上的预测准确率高于预设百分比或总迭代次数达到预设次数；生成模块，用于生成所述基于光谱特征的初始道路概率图。
进一步地，在本发明的一个实施例中，所述待处理错误现象包括产生道路中心线图中孤立线段和检测结果中断现象。
进一步地，在本发明的一个实施例中，所述第二学习模块进一步用于根据所述初始的道路中心线图对道路的拓扑结构进行学习，其中，训练正样本包括置信度大于预设值的道路区域和存在中断的道路区域，网络的负样本包括黑色的非道路区域和包含孤立线段的区域，以获得所述新模型，进而得到所述基于拓扑特征的道路概率分布图，并将所述基于光谱特征的初始道路概率图与所述基于拓扑特征的道路概率分布图进行融合，并通过细化算法得到所述最终的栅格化的二值道路中心线图。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于拓扑感知的遥感影像的路网提取方法的流程图；
图2为根据本发明一个具体实施例的基于拓扑感知的遥感影像的路网提取方法的流程图；
图3为根据本发明一个实施例的自动正样本生成效果图；
图4为根据本发明一个实施例的深度卷积网络的框架示意图；
图5为根据本发明一个实施例的对输入图像进行超像素分割的可视化结果示意图；
图6为根据本发明一个实施例的所得基于特征学习和基于拓扑学习的道路中心线可视化结果示意图；
图7为根据本发明一个实施例的基于不同的αp取值情况下道路提取结果对比图；
图8为根据本发明一个实施例的在GeoEye图上进行道路提取的各阶段效果图；
图9为根据本发明一个实施例的在QuickBird图上进行道路提取的各阶段效果图；
图10为根据本发明一个实施例的在Pleiades-1A图上进行道路提取的各阶段效果图；
图11为根据本发明一个实施例的在GaoFen2图上进行道路提取的各阶段效果图；
图12为根据本发明一个实施例的在韶山地区的Pleiades-1A图上进行道路提取的效果图；
图13为根据本发明一个实施例的在Ikonos图上进行道路提取的检测结果图；
图14为根据本发明一个实施例的基于拓扑感知的遥感影像的路网提取装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于拓扑感知的遥感影像的路网提取方法及装置，首先将参照附图描述根据本发明实施例提出的基于拓扑感知的遥感影像的路网提取方法。
图1是本发明一个实施例的基于拓扑感知的遥感影像的路网提取方法的流程图。
如图1所示，该基于拓扑感知的遥感影像的路网提取方法包括以下步骤：
步骤S1：根据联合滤波提取的道路中心线获取样本，其中，从非道路区域随机选取负样本，并且通过置信度评估选取正样本。
可以理解的是，如图2所示，在基于联合滤波提取的道路中心线的基础上，实现样本的自动构造，负样本随机从非道路区域选取，正样本则按照置信度评估算法来进行选取。
进一步地，在本发明的一个实施例中，长直的道路区域置信度高于分叉的道路区域置信度，其中，步骤S1进一步包括：拟合直线lT:y＝ax+b，以使区域内所有道路像素点到直线的距离和最小，其中，目标损失函数为：
其中，(xi,yi)是道路像素点的位置，a,b是待求的参数，n表示该领域内道路像素点的总个数。
具体而言，步骤S1具体包括以下步骤：
长直的道路区域分布应该具有更高的置信度，分叉的道路区域置信度则较低，根据这个要求构造置信度评估算法。具体实现目标即拟合一条直线 lT:y＝ax+b，使区域内所有道路像素点到该直线的距离和最小。该目标损失函数通过下式计算：
式中(xi,yi)是道路像素点的位置，a,b是待求的参数，n表示该领域内道路像素点的总个数。目标损失函数值越小的区域具有越高的置信度。选取所有区域中置信度前20％的区域作为道路正样本。
更进一步地，拟合直线的具体步骤如下：
令F(a,b)表示式子(式子中 )，因此，F(a,b)可以转换成下式表示：
其中M,N,T分别表示如下：
将公式F(a,b)转换成标准形式，得到
(M-F(a,b))a2+Na+T-F(a,b)＝0
这是一个关于未知数a的一元二次方程，要保证方程有解，即要求 N2-4(M-F(a,b))(T-F(a,b))≥0，将其化简一下得到 -4F(a,b)2+4(M+T)F(a,b)+N2-4MT≥0，
这可以看成是新的关于未知数F(a,b)的一元二次方程，因为 (M+T)2+N2-4MT＝N2+(M-T)2≥0，所以上式与直线y＝0一定存在交点，假设用s1,s2(s1≤s2)来表示与直线y＝0的交点，则较小的交点值s1就是所求的 F(a,b)的值：
将F(a,b)的值代入(M-F(a,b))a2+Na+T-F(a,b)＝0式子中，可以求得 a的解。由于所以最后a的解是根据求得的a,b的解，可以得到拟合的直线lT:y＝ax+b。
图3是自动正样本生成效果图，其中图(a)是选定生成正样本的区域，显然长直的道路区域有更高的置信度，如图(a)中右边放大的部分，而像图(a) 左边的放大部分有分叉的道路区域要尽可能避免被选为正样本，图(b)是一些自动生成的正样本的效果图。
步骤S2：通过深度神经网络对道路的光谱特征进行学习，其中，神经网络包含三个卷积层和一个全连接层，对原始遥感道路影像图进行超像素分割，并根据学习到的模型获得基于光谱特征的初始道路概率图，且通过骨架提取算法从道路概率分布中提取出初始的道路中心线图。
可以理解的是，如图2所示，采用深度神经网络对道路的光谱特征进行学习，该神经网络包含三个卷积层和一个全连接层，对原始遥感道路影像图进行超像素分割，根据学习到的模型获得像素级的道路概率分布图，再依据经典的骨架提取算法从概率图中提取出初始的道路中心线图。
进一步地，在本发明的一个实施例中，步骤S2进一步包括：构造深度神经网络的结构，其中，深度神经网络的结构为：
Conv1-Pool1-Relu1-Norm1-Conv2-Relu2-Pool2-Norm2-Conv3-Relu3-Pool3-Dropout-Fc，
其中，Conv表示卷积层，Norm表示归一化层，Pool表示池化层，Fc表示全连接层，Relu表示非线性激活函数；通过训练样本训练深度神经网络；其中，深度神经网络的损失函数为预测样本和训练样本间的交叉熵损失函数，且当满足预设指标时，停止网络的训练，其中，预设指标为在测试集上的预测准确率高于预设百分比或总迭代次数达到预设次数；生成基于光谱特征的初始道路概率图。
具体而言，在步骤S1获得的大量样本的基础上，进行步骤S2，以提取出初始的基于光谱特征的道路中心线图，具体包括：
S21、深度神经网络的结构
深度神经网络(CNNs)包含三个卷积层和一个全连接层。假设用Conv表示卷积层，Norm表示归一化层，Pool表示池化层，Fc表示全连接层，Relu 表示非线性激活函数。Conv和Fc层是由一个线性变换加一个非线性激活函数组成，且只有这两类层中包含待学习的参数权重W和偏差b。整个网络的结构可以表示如下：
Conv1-Pool1-Relu1-Norm1-Conv2-Relu2-Pool2-Norm2-Conv3-Relu3-Pool3 -Dropout-Fc.
图4是深度卷积网络的框架展示图。
S22、深度神经网络的训练过程
深度神经网络的训练样本是采用64*64大小，分辨率0.5m；网络的损失函数采用的是预测样本和训练样本间的交叉熵损失函数。
假设用L＝l1,l2,...ln来表示标签集合，则第i个样本xi在权重W下，对于标签lj的得分函数定义如下：
因此，对于每个样本xi，它的损失函数如下所示：
式中，lT是针对样本xi手工标记的类别，Ci是一个常量，在本发明中
本发明采用批量随机梯度下降算法求解权重W和偏差b，每次采用256 个样本来参与训练，权重更新过程如下：
wi+1:＝wi+δi+1，
式中i是迭代指数，δi+1是一个动量变量，它被定义如下：
上式中0.9是动量，0.0005是权重衰减步长，ξ是学习率(通常取0.0001)，是第i批次Di下针对权重的偏导数。
训练过程的停止判断指标有如下两个，任一指标满足即停止网络的训练：
(1)在测试集上的预测准确率高于95％；
(2)总迭代次数达到65000次。
S23、基于光谱特征的初始道路概率图生成
采用深度神经网络对道路的光谱特征进行学习，其目标是针对输入的图像I,通过训练样本学习到的一系列的权重W和偏差b，最终得到一个像素级的概率分布。如下式所示：
式中P(X)表示每个像素属于道路区域集合X的概率，NI(i,j)和NS(i,j) 分别表示输入图像和训练样本以位置(i,j)为中心的邻域。
为了得到像素级的概率分布图，需要让每个像素都经过网络，考虑到时间消耗，本发明先对输入图像做超像素分割，然后用分割后小块的中心点的概率赋值给该小块区域内所有的像素点。
图5是对输入图像进行超像素分割的可视化结果，从局部放大的图像来看，道路区域的结构有被保存下来，因此不会引起后续的检测错误，由此看出该超像素分割算法是可行的。
步骤S3：在出现错误现象时，再次通过深度神经网络对道路的拓扑结构进行学习，基于新模型和由初始的道路中心线图学习得到基于拓扑特征的道路概率图，并结合基于光谱特征的初始道路概率图，以得到最终的栅格化的道路中心线图。
在本发明的一个实施例中，待处理错误现象包括产生道路中心线图中孤立线段和检测结果中断现象。
可以理解的是，如图2所示，针对由于遮挡、阴影等引起的检测结果中断或孤立线段等现象，再次使用深度神经网络来对道路的拓扑结构进行学习，基于这个新模型，由初始的道路中心线图学习得到一张基于拓扑特征的道路概率图，结合上一阶段的基于光谱特征的道路概率图，采用细化算法获得最终的栅格化的道路中心线图。
进一步地，在本发明的一个实施例中，步骤S3进一步包括：根据初始的道路中心线图对道路的拓扑结构进行学习，其中，训练正样本包括置信度大于预设值的道路区域和存在中断的道路区域，网络的负样本包括黑色的非道路区域和包含孤立线段的区域，以获得新模型，进而得到基于拓扑特征的道路概率分布图；将基于光谱特征的初始道路概率图与基于拓扑特征的道路概率分布图进行融合，并通过细化算法得到最终的栅格化的二值道路中心线图。
具体而言，在步骤S2获得初始道路中心线图的基础上，进行步骤S3，以提取出基于拓扑特征的道路概率图，进而获得最后的二值路网图，具体步骤如下：
S31、由于一些错误导致道路中心线图中孤立线段的产生，或是因为遮挡、阴影等原因引起的道路光谱异常，从而导致检测结果中断现象。针对这两类问题，再次采用深度神经网络来对道路的拓扑结构进行学习。
拓扑学习过程是基于步骤S2学习到的初始道路中心线图，网络的训练正样本包括高置信度的道路区域以及一些存在中断的道路区域，网络的负样本包括黑色的非道路区域和一些包含孤立线段的区域。为了覆盖更多的不连续道路区域，样本的大小要求大于S2阶段的样本大小，可以是100*100，分辨率是0.5m。网络的结构与S2阶段的完全相同，通过新样本对这个网络进行学习，得到一个新的模型，通过这个模型，可以获得一张新的基于拓扑特征的道路概率分布图。
图6是基于特征学习和基于拓扑学习的道路中心线可视化结果，其中图(a) 是基于特征学习得到的道路中心线图，可以看出图中存在很多的中断和孤立线段，图(b)是一些用于拓扑学习的训练样本，虚线上方是正样本，下方是负样本，图(c)是基于拓扑学习后生成的道路中心线图。
S32、采用一种融合的方法，对两张道路概率分布图(基于光谱特征和基于拓扑特征)进行融合，再使用经典的细化算法得到最后的栅格化的二值道路中心线图。
融合过程中，不仅考虑两张道路概率分布图，还要考虑道路强度的空间一致性，也就是说相邻的像素应该有相同的标签。基于此，提出一个优化模型来找到最优的标签。假设分别用PF和PT来表示基于光谱特征和基于拓扑特征的两张道路概率分布图，I表示原始道路遥感影像图，L表示标签集合，优化目标函数如下所示：
式中αS∈[0,1]是一个平衡因子，通常取0.2；
数据项D(p)目的是使有相似光谱特征及在概率图PF和PT上有高响应的像素点尽可能被标记为1，具体如下所示：
式中(i,j)是像素点p的位置；αp是两张概率图之间的一个权衡因子，通常取值范围是[0.4，0.8]；PF(i,j)和PT(i,j)分别表示概率图PF和PT在位置(i,j)上的值，这里的值都被调整成[0,255]的范围大小；是一个可调参数，用于决定道路像素的差值，通常取值0.75；Gσ*I(i,j)表示输入图像I在(i,j)位置的像素点经过高斯滤波后的值(对于低强度的像素点，该项转变成Gσ*(255-I(i,j)))，Gσ是一个偏差为3.0，半径为15的高斯滤波操作；符号函数lp表示像素点p的标签，lp＝0表示非道路区域，lp＝1 表示道路区域。
图7是基于不同的αp取值情况下道路提取结果对比图，其中图(a),(b),(c),(d)分别表示αp取值0.2，0.4，0.6，0.8情况下的道路提取效果，图中绿色线表示正确的检测结果，蓝色是错误检测到的结果，红色是未能检测出的道路结果。相应的定量结果如表1所示，其中，表1为相应的定量结果表。
表1
| Parameter | Completeness | Correctness | Quality |
| α<sub>p</sub>＝0.2 | 0.9404 | 0.8314 | 0.7898 |
| α<sub>p</sub>＝0.4 | 0.9632 | 0.8328 | 0.8071 |
| α<sub>p</sub>＝0.6 | 0.9693 | 0.8805 | 0.8566 |
| α<sub>p</sub>＝0.8 | 0.9416 | 0.8918 | 0.8450 |
表中“Completeness”，“Correctness”和“Quality”分别表示检测率、正确率和检测质量。从表中可以看出，随着αp值的增大，检测率也逐渐升高，但当αp值达到一定值时，检测率会趋于收敛。
平滑项S(p,q)是为了确保相邻的像素有类似的标签，具体定义如下所示：
式中(ip,jp)和(iq,jq)分别表示像素点p和q的位置；符号函数
图8、9、10、11分别是在GeoEye图、QuickBird图、Pleiades-1A图、GaoFen2 图上进行道路提取的各阶段效果图，其中图(a)是待检测的原始图，图(b)是基于特征学习得到的概率图，图(c)基于拓扑学习得到的概率图，图(d)是采用融合方案后得到的二值路网图，图(e)是采用经典骨架提取算法后得到的道路中心线图，图(f)是与地面实际的对比图，其中绿色线表示正确的检测结果，蓝色是错误检测到的结果，红色是未能检测出的道路结果。相应的定量结果如表2所示，表2 为相应的定量结果表。
表2
| Data | Completeness | Correctness | Quality |
| GeoEye | 0.8875 | 0.8407 | 0.7597 |
| QuickBird | 0.8613 | 0.8552 | 0.7517 |
| Pleiades-1A | 0.8486 | 0.8201 | 0.7154 |
| GaoFen2 | 0.8808 | 0.8332 | 0.7488 |
从表格中可以看出，仅管存在建筑或遮挡等的干扰，本发明仍然能够获得相当高的检测率，并且总体的检测质量也是相当满意的。
图12是在韶山地区的Pleiades-1A图上进行道路提取的效果图，这些被选中的区域例子是韶山地区周围典型的地形，例如平原地区、山区、城镇区域等。为了进行定量测量，本发明实施例与三种最近的道路提取方法进行了比较，结果如表3所示，表3为比较结果表。
表3
从表中可以看出，的方法有很高的检测率，但正确率不尽如人意，Shi和Zang等人的方法在检测率和正确率的表象上都比较平衡，且二者的检测质量也比较相近。本发明实施例在只采用光谱特征学习的情况下就已经能够获得很好的效果，而使用了光谱特征和拓扑特征相结合的检测效果则更是远远高于前几种方法。
图13是本发明实施例在Ikonos图上进行道路提取的检测结果图，其中图 (a),(c),(e)分别表示来自Ikonos1-Sub1，Ikonos3-Sub1，Ikonos3-Sub2的待检原图，图(b)，(d)，(f)则分别表示对应的检测效果图。为了对本发明实施例的检测质量进行评估，本发明与11种经典的道路提取方法进行了对比，其结果如下表4所示，表4为比较结果表。
表4
从表中可以看出，在大多数情况下本发明的方法的性能都能够排到前2位，并且在检测质量方面，本发明相较其它方法始终都是最高的。
为了对本发明的效率进行评价，表5给出了本发明与最近的三种道路提取方法就时间消耗方面进行比较结果。
表5
从表中可以看出，由于应用了超像素加速方法，本发明实施例的时间性能与别的单纯基于特征的方法基本能达到相近的消耗。
根据本发明实施例提出的基于拓扑感知的遥感影像的路网提取方法，在基于联合滤波提取的道路中心线的基础上，构造置信度评估算法来对样本进行自动选取；以自动选取的样本为训练样本，采用深度神经网络对道路的光谱特征进行学习，根据这个模型得到原始遥感影像图的像素级的道路概率分布图，再依据经典的骨架提取算法从概率图中提取出初始的道路中心线图；针对由于遮挡、阴影等引起的检测结果中断或孤立线段等现象，再次使用深度神经网络来对道路的拓扑结构进行学习，基于这个新模型，由初始的道路中心线图学习得到一张基于拓扑特征的道路概率图，结合上一阶段的基于光谱特征的道路概率图，采用细化算法获得最终的栅格化的道路中心线图。
其次参照附图描述根据本发明实施例提出的基于拓扑感知的遥感影像的路网提取装置。
图14是本发明一个实施例的基于拓扑感知的遥感影像的路网提取装置的结构示意图。
如图14所示，该基于拓扑感知的遥感影像的路网提取装置10包括：获取模块100、第一学习模块200和第二学习模块300。
其中，获取模块100用于根据联合滤波提取的道路中心线获取样本，其中，从非道路区域随机选取负样本，并且通过置信度评估选取正样本。第一学习模块 200用于通过深度神经网络对道路的光谱特征进行学习，其中，神经网络包含三个卷积层和一个全连接层，对原始遥感道路影像图进行超像素分割，并根据学习到的模型获得基于光谱特征的初始道路概率图，且通过骨架提取算法从道路概率分布中提取出初始的道路中心线图。第二学习模块300用于在出现错误现象时，再次通过深度神经网络对道路的拓扑结构进行学习，基于新模型和由初始的道路中心线图学习得到基于拓扑特征的道路概率图，并结合基于光谱特征的初始道路概率图，以得到最终的栅格化的道路中心线图。本发明实施例的装置10采用细化算法获得最终的栅格化的道路中心线图，从而有效检测出阴影、遮挡等引起的道路异常，有效提高提取的效率和准确性，简单易实现。
进一步地，在本发明的一个实施例中，长直的道路区域置信度高于分叉的道路区域置信度，其中，获取模块进一步用于拟合直线lT:y＝ax+b，以使区域内所有道路像素点到直线的距离和最小，其中，目标损失函数为：
其中，(xi,yi)是道路像素点的位置，a,b是待求的参数，n表示该领域内道路像素点的总个数。
进一步地，在本发明的一个实施例中，第一学习模块200还包括：构造模块、训练模块和生成模块。
其中，构造模块用于构造深度神经网络的结构，其中，深度神经网络的结构为：
Conv1-Pool1-Relu1-Norm1-Conv2-Relu2-Pool2-Norm2-Conv3-Relu3-Pool3-Dropout-Fc，
其中，Conv表示卷积层，Norm表示归一化层，Pool表示池化层，Fc表示全连接层，Relu表示非线性激活函数。训练模块用于通过训练样本训练深度神经网络；其中，深度神经网络的损失函数为预测样本和训练样本间的交叉熵损失函数，且当满足预设指标时，停止网络的训练，其中，预设指标为在测试集上的预测准确率高于预设百分比或总迭代次数达到预设次数。生成模块用于生成基于光谱特征的初始道路概率图。
进一步地，在本发明的一个实施例中，待处理错误现象包括产生道路中心线图中孤立线段和检测结果中断现象。
进一步地，在本发明的一个实施例中，第二学习模块300进一步用于根据初始的道路中心线图对道路的拓扑结构进行学习，其中，训练正样本包括置信度大于预设值的道路区域和存在中断的道路区域，网络的负样本包括黑色的非道路区域和包含孤立线段的区域，以获得新模型，进而得到基于拓扑特征的道路概率分布图，并将基于光谱特征的初始道路概率图与基于拓扑特征的道路概率分布图进行融合，并通过细化算法得到最终的栅格化的二值道路中心线图。
需要说明的是，前述对基于拓扑感知的遥感影像的路网提取方法实施例的解释说明也适用于该实施例的基于拓扑感知的遥感影像的路网提取装置，此处不再赘述。
根据本发明实施例提出的基于拓扑感知的遥感影像的路网提取装置，在基于联合滤波提取的道路中心线的基础上，构造置信度评估算法来对样本进行自动选取；以自动选取的样本为训练样本，采用深度神经网络对道路的光谱特征进行学习，根据这个模型得到原始遥感影像图的像素级的道路概率分布图，再依据经典的骨架提取算法从概率图中提取出初始的道路中心线图；针对由于遮挡、阴影等引起的检测结果中断或孤立线段等现象，再次使用深度神经网络来对道路的拓扑结构进行学习，基于这个新模型，由初始的道路中心线图学习得到一张基于拓扑特征的道路概率图，结合上一阶段的基于光谱特征的道路概率图，采用细化算法获得最终的栅格化的道路中心线图。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于拓扑感知的遥感影像的路网提取方法，其特征在于，包括以下步骤：
步骤S1：根据联合滤波提取的道路中心线获取样本，其中，从非道路区域随机选取负样本，并且通过置信度评估选取正样本；
步骤S2：通过深度神经网络对道路的光谱特征进行学习，其中，神经网络包含三个卷积层和一个全连接层，对原始遥感道路影像图进行超像素分割，并根据学习到的模型获得基于光谱特征的初始道路概率图，且通过骨架提取算法从所述道路概率分布中提取出初始的道路中心线图；
步骤S3：在出现错误现象时，再次通过所述深度神经网络对道路的拓扑结构进行学习，基于新模型和由所述初始的道路中心线图学习得到基于拓扑特征的道路概率图，并结合所述基于光谱特征的初始道路概率图，以得到最终的栅格化的道路中心线图。
2.根据权利要求1所述的基于拓扑感知的遥感影像的路网提取方法，其特征在于，长直的道路区域置信度高于分叉的道路区域置信度，其中，所述步骤S1进一步包括：
拟合直线lT:y＝ax+b，以使区域内所有道路像素点到所述直线的距离和最小，其中，目标损失函数为：
其中，(xi,yi)是道路像素点的位置，a,b是待求的参数，n表示该领域内道路像素点的总个数。
3.根据权利要求1或2所述的基于拓扑感知的遥感影像的路网提取方法，其特征在于，所述步骤S2进一步包括：
构造所述深度神经网络的结构，其中，所述深度神经网络的结构为：
Conv1-Pool1-Relu1-Norm1-Conv2-Relu2-Pool2-Norm2-Conv3-Relu3-Pool3-
Dropout-Fc，
其中，Conv表示卷积层，Norm表示归一化层，Pool表示池化层，Fc表示全连接层，Relu表示非线性激活函数；
通过训练样本训练所述深度神经网络；其中，所述深度神经网络的损失函数为预测样本和所述训练样本间的交叉熵损失函数，且当满足预设指标时，停止网络的训练，其中，所述预设指标为在测试集上的预测准确率高于预设百分比或总迭代次数达到预设次数；
生成所述基于光谱特征的初始道路概率图。
4.根据权利要求1所述的基于拓扑感知的遥感影像的路网提取方法，其特征在于，所述待处理错误现象包括产生道路中心线图中孤立线段和检测结果中断现象。
5.根据权利要求1或4所述的基于拓扑感知的遥感影像的路网提取方法，其特征在于，所述步骤S3进一步包括：
根据所述初始的道路中心线图对道路的拓扑结构进行学习，其中，训练正样本包括置信度大于预设值的道路区域和存在中断的道路区域，网络的负样本包括黑色的非道路区域和包含孤立线段的区域，以获得所述新模型，进而得到所述基于拓扑特征的道路概率分布图；
将所述基于光谱特征的初始道路概率图与所述基于拓扑特征的道路概率分布图进行融合，并通过细化算法得到所述最终的栅格化的二值道路中心线图。
6.一种基于拓扑感知的遥感影像的路网提取装置，其特征在于，包括：
获取模块，用于根据联合滤波提取的道路中心线获取样本，其中，从非道路区域随机选取负样本，并且通过置信度评估选取正样本；
第一学习模块，用于通过深度神经网络对道路的光谱特征进行学习，其中，神经网络包含三个卷积层和一个全连接层，对原始遥感道路影像图进行超像素分割，并根据学习到的模型获得基于光谱特征的初始道路概率图，且通过骨架提取算法从所述道路概率分布中提取出初始的道路中心线图；
第二学习模块，用于在出现错误现象时，再次通过所述深度神经网络对道路的拓扑结构进行学习，基于新模型和由所述初始的道路中心线图学习得到基于拓扑特征的道路概率图，并结合所述基于光谱特征的初始道路概率图，以得到最终的栅格化的道路中心线图。
7.根据权利要求6所述的基于拓扑感知的遥感影像的路网提取装置，其特征在于，长直的道路区域置信度高于分叉的道路区域置信度，其中，所述获取模块进一步用于拟合直线lT:y＝ax+b，以使区域内所有道路像素点到所述直线的距离和最小，其中，目标损失函数为：
其中，(xi,yi)是道路像素点的位置，a,b是待求的参数，n表示该领域内道路像素点的总个数。
8.根据权利要求6或7所述的基于拓扑感知的遥感影像的路网提取装置，其特征在于，所述第一学习模块还包括：
构造模块，用于构造所述深度神经网络的结构，其中，所述深度神经网络的结构为：
Conv1-Pool1-Relu1-Norm1-Conv2-Relu2-Pool2-Norm2-Conv3-Relu3-Pool3-
Dropout-Fc，
其中，Conv表示卷积层，Norm表示归一化层，Pool表示池化层，Fc表示全连接层，Relu表示非线性激活函数；
训练模块，用于通过训练样本训练所述深度神经网络；其中，所述深度神经网络的损失函数为预测样本和所述训练样本间的交叉熵损失函数，且当满足预设指标时，停止网络的训练，其中，所述预设指标为在测试集上的预测准确率高于预设百分比或总迭代次数达到预设次数；
生成模块，用于生成所述基于光谱特征的初始道路概率图。
9.根据权利要求6所述的基于拓扑感知的遥感影像的路网提取装置，其特征在于，所述待处理错误现象包括产生道路中心线图中孤立线段和检测结果中断现象。
10.根据权利要求6或9所述的基于拓扑感知的遥感影像的路网提取方法，其特征在于，所述第二学习模块进一步用于根据所述初始的道路中心线图对道路的拓扑结构进行学习，其中，训练正样本包括置信度大于预设值的道路区域和存在中断的道路区域，网络的负样本包括黑色的非道路区域和包含孤立线段的区域，以获得所述新模型，进而得到所述基于拓扑特征的道路概率分布图，并将所述基于光谱特征的初始道路概率图与所述基于拓扑特征的道路概率分布图进行融合，并通过细化算法得到所述最终的栅格化的二值道路中心线图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810724109.8A CN109145718A (zh) | 2018-07-04 | 2018-07-04 | 基于拓扑感知的遥感影像的路网提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810724109.8A CN109145718A (zh) | 2018-07-04 | 2018-07-04 | 基于拓扑感知的遥感影像的路网提取方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109145718A true CN109145718A (zh) | 2019-01-04 |
Family
ID=64799861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810724109.8A Pending CN109145718A (zh) | 2018-07-04 | 2018-07-04 | 基于拓扑感知的遥感影像的路网提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109145718A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046768A (zh) * | 2019-12-04 | 2020-04-21 | 武汉大学 | 一种同时提取遥感影像道路路面和中心线的深度学习方法 |
| CN112102611A (zh) * | 2020-08-03 | 2020-12-18 | 上海理工大学 | 一种基于中断概率影响模型的城市路网关键路径辨识方法 |
| CN112215104A (zh) * | 2020-09-28 | 2021-01-12 | 国交空间信息技术（北京）有限公司 | 一种基于超像素分割的海冰提取方法、装置和设备 |
| CN113392704A (zh) * | 2021-05-12 | 2021-09-14 | 重庆大学 | 一种山地道路边线位置检测方法 |
| CN113553713A (zh) * | 2021-07-23 | 2021-10-26 | 江苏省计量科学研究院(江苏省能源计量数据中心) | 一种铁氧体磁珠拓扑参数的提取装置及方法 |
| CN115641512A (zh) * | 2022-12-26 | 2023-01-24 | 成都国星宇航科技股份有限公司 | 一种卫星遥感影像道路识别方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737248A (zh) * | 2012-06-21 | 2012-10-17 | 河南工业大学 | 复杂路况下的车道线特征点提取方法与装置 |
| CN104134068A (zh) * | 2014-08-12 | 2014-11-05 | 江苏理工学院 | 基于稀疏编码的监控车辆特征表示及分类方法 |
| CN106919915A (zh) * | 2017-02-22 | 2017-07-04 | 武汉极目智能技术有限公司 | 基于adas系统的地图道路标记及道路质量采集装置及方法 |
| CN107025685A (zh) * | 2017-04-11 | 2017-08-08 | 南京林业大学 | 拓扑感知下的机载建筑屋顶点云建模方法 |
| CN107480679A (zh) * | 2017-04-20 | 2017-12-15 | 北京工业大学 | 基于卷积神经网络的分类和连通区域分析的路网提取方法 |
| CN107944377A (zh) * | 2017-11-20 | 2018-04-20 | 中交信息技术国家工程实验室有限公司 | 一种交通基础设施安全监控方法和系统 |
-
2018
- 2018-07-04 CN CN201810724109.8A patent/CN109145718A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737248A (zh) * | 2012-06-21 | 2012-10-17 | 河南工业大学 | 复杂路况下的车道线特征点提取方法与装置 |
| CN104134068A (zh) * | 2014-08-12 | 2014-11-05 | 江苏理工学院 | 基于稀疏编码的监控车辆特征表示及分类方法 |
| CN106919915A (zh) * | 2017-02-22 | 2017-07-04 | 武汉极目智能技术有限公司 | 基于adas系统的地图道路标记及道路质量采集装置及方法 |
| CN107025685A (zh) * | 2017-04-11 | 2017-08-08 | 南京林业大学 | 拓扑感知下的机载建筑屋顶点云建模方法 |
| CN107480679A (zh) * | 2017-04-20 | 2017-12-15 | 北京工业大学 | 基于卷积神经网络的分类和连通区域分析的路网提取方法 |
| CN107944377A (zh) * | 2017-11-20 | 2018-04-20 | 中交信息技术国家工程实验室有限公司 | 一种交通基础设施安全监控方法和系统 |
Non-Patent Citations (5)
| Title |
|---|
| PEIKANG LI等: "ROAD NETWORK EXTRACTION VIA DEEP LEARNING AND LINE INTEGRAL CONVOLUTION", 《IGARSS 2016》 * |
| YU ZANG等: "Joint Enhancing Filtering for Road Network Extraction", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 李燕等: "遥感影像道路网自动提取的研究", 《海洋测绘》 * |
| 栗佩康: "基于卷积神经网络的卫星影像道路网自动提取方法研究", 《HTTP://WWW.DOC88.COM/P-7708621218063.HTML》 * |
| 洪日昌等: "低分辨率遥感影像中道路的全自动提取方法研究", 《遥感学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046768A (zh) * | 2019-12-04 | 2020-04-21 | 武汉大学 | 一种同时提取遥感影像道路路面和中心线的深度学习方法 |
| CN112102611A (zh) * | 2020-08-03 | 2020-12-18 | 上海理工大学 | 一种基于中断概率影响模型的城市路网关键路径辨识方法 |
| CN112102611B (zh) * | 2020-08-03 | 2023-02-03 | 上海理工大学 | 一种基于中断概率影响模型的城市路网关键路径辨识方法 |
| CN112215104A (zh) * | 2020-09-28 | 2021-01-12 | 国交空间信息技术（北京）有限公司 | 一种基于超像素分割的海冰提取方法、装置和设备 |
| CN113392704A (zh) * | 2021-05-12 | 2021-09-14 | 重庆大学 | 一种山地道路边线位置检测方法 |
| CN113553713A (zh) * | 2021-07-23 | 2021-10-26 | 江苏省计量科学研究院(江苏省能源计量数据中心) | 一种铁氧体磁珠拓扑参数的提取装置及方法 |
| CN115641512A (zh) * | 2022-12-26 | 2023-01-24 | 成都国星宇航科技股份有限公司 | 一种卫星遥感影像道路识别方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109145718A (zh) | 基于拓扑感知的遥感影像的路网提取方法及装置 | |
| Liu et al. | Change detection using deep learning approach with object-based image analysis | |
| Amini et al. | Object-based classification of hyperspectral data using Random Forest algorithm | |
| Puissant et al. | Object-oriented mapping of urban trees using Random Forest classifiers | |
| US20200065968A1 (en) | Joint Deep Learning for Land Cover and Land Use Classification | |
| CN107871119A (zh) | 一种基于目标空间知识和两阶段预测学习的目标检测方法 | |
| Lahousse et al. | Landslide mapping with multi-scale object-based image analysis–a case study in the Baichi watershed, Taiwan | |
| JP6612196B2 (ja) | 岩盤強度判定装置、岩盤強度判定方法、及び岩盤強度判定プログラム | |
| CN106127204A (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN104182985B (zh) | 遥感图像变化检测方法 | |
| Alsabhan et al. | Automatic building extraction on satellite images using Unet and ResNet50 | |
| Eyoh et al. | Modelling and predicting future urban expansion of Lagos, Nigeria from remote sensing data using logistic regression and GIS | |
| Nadoushan et al. | Modeling land use/cover changes by the combination of Markov chain and cellular automata Markov (CA-Markov) models | |
| CN107273870A (zh) | 一种监控场景下融合上下文信息的行人位置检测方法 | |
| CN103761526A (zh) | 一种基于特征位置优选整合的城区检测方法 | |
| Wieland et al. | Object-based urban structure type pattern recognition from Landsat TM with a Support Vector Machine | |
| CN104463168A (zh) | 一种基于遥感影像的空废宅基地信息自动提取方法 | |
| CN103700109B (zh) | 基于多目标优化moea/d和模糊聚类的sar图像变化检测方法 | |
| Chen et al. | The effect of spatial autocorrelation and class proportion on the accuracy measures from different sampling designs | |
| CN109558801B (zh) | 道路网络提取方法、介质、计算机设备及系统 | |
| CN108154199B (zh) | 一种基于深度学习的高精度快速单类目标检测方法 | |
| CN107705330A (zh) | 基于道路摄像头的能见度智能估测方法 | |
| CN104809336B (zh) | 一种考虑空间相关性的区域要素抽样方法 | |
| de Oliveira Duarte et al. | Comparison of supervised classification methods of Maximum Likelihood image, Minimum Distance, Parallelepiped and Neural network in images of Unmanned Air Vehicle (UAV) in Viçosa-MG. | |
| Boonpook et al. | PCL–PTD Net: Parallel cross-learning-based pixel transferred deconvolutional network for building extraction in dense building areas with shadow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190104 |
|
| RJ01 | Rejection of invention patent application after publication |