CN109493320B - 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备 - Google Patents
基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备 Download PDFInfo
- Publication number
- CN109493320B CN109493320B CN201811181856.8A CN201811181856A CN109493320B CN 109493320 B CN109493320 B CN 109493320B CN 201811181856 A CN201811181856 A CN 201811181856A CN 109493320 B CN109493320 B CN 109493320B
- Authority
- CN
- China
- Prior art keywords
- road
- remote sensing
- sensing image
- data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 40
- 238000011176 pooling Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 26
- 238000012805 post-processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 7
- 230000009191 jumping Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012732 spatial analysis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供基于深度学习的遥感影像道路提取方法,包括步骤样本制作、模型训练、精度评定、道路预测、道路面矢量化。本发明还涉及基于深度学习的遥感影像道路提取系统、存储介质、电子设备;本发明通过改进的DenseNet网络模型对道路进行提取,利用道路拓扑特征进行推测,连接中断道路,进而实现道路提取结果更为精细连贯,本发明在道路提取上具有更高的效率,节约大量的成本,并保证提取道路结果的可靠性,便于遥感影像处理推广应用。
Description
技术领域
本发明属于遥感图像处理技术领域,是一种基于深度学习的道路拓扑特征推测的高空间分辨率遥感影像道路快速提取的方法,主要应用于亚米级遥感影像的道路自动提取,可有效提高人工提取道路的效率。
背景技术
道路是地图绘制、路径分析和应急处理的重要基础地理数据。作为基础数据,道路对城市建设、GIS系统更新、数字化城市以及军事侦察等方面影响较大,因此快速提取道路信息和进行道路变化检测在城市发展规划、电子信息化、国防等方面有着重要的应用。在遥感图像中道路面矢量信息的提取是个复杂的过程,目前通过计算机自动提取的道路面宽窄不一,道路也无法串联成网,需要人工通过绘图工具进行辅助提取。网络上公开的导航数据集以及OpenStreetMap等电子地图提供的道路信息基本为线矢量数据,且该矢量数据与高分2号影像对应道路信息存在一定偏移,通过配准也无法准确得到道路矢量信息,仅可在道路生产时供生产人员进行辅助参考,无法直接加以利用。所以目前道路矢量面信息提取仍旧以半自动工具为主,生产效率偏低。
近年来,随着计算机性能的极大提升以及深度学习的快速发展,卷积神经网络应用的领域不断扩大,利用卷积神经网络进行地物的自动化提取方法逐渐成熟,并在遥感领域取得了较大成效。由于传感器精度的提高,能够利用的遥感影像分辨率也越来越高,卷积神经网络提取的特征也越来越丰富。
目前基于遥感影像道路提取的技术方法仅能提取城市主干道或者比较宽的大路,通用性较差,相比于城市道路相对较窄的一些乡镇道路及农村小路,提取效果一般,通常无法保持连续,因此如何快速准确地提取宽度不一的道路是遥感信息处理的关键步骤。道路是土地利用调查中的重要类别也是土地规划中的主要对象,目前采用深度学习进行道路提取方法得到的道路矢量与影像所表现的实际道路网差距较大,提取道路宽窄不一,且由于阴影、建筑、行道树等地物干扰,提取道路断断续续,无法串联成网,难以应用到土地利用调查中。目前急需一种新型的遥感影像道路提取方法。
发明内容
为了克服现有技术的不足,本发明提出的一种基于深度学习的道路拓扑特征推测的遥感影像建筑物提取方法主要是在目前国产高分2号亚米级遥感影像的基础上,利用卷积神经网络并结合机器学习算法自动化提取遥感影像上包括城市道路、乡镇道路及农村机耕路在内宽度大于2米的所有道路,不但能够在遥感影像上快速检测出多种宽度的道路,还能够保证提取道路面的连贯性,同时相比传统方法生产效率得到较大提升,并且具有一定的鲁棒性和复用性。
本发明提供基于深度学习的遥感影像道路提取方法,包括以下步骤:
S1、样本制作,采集遥感影像,对遥感影像进行分割裁剪得到包含分类对象的面矢量框文件,并绘制所述面矢量文件中的道路标签,将标签为道路的所述面矢量样本的矢量数据转换成栅格数据,得到栅格化的道路面样本;
S2、模型训练,调整改进的DenseNet网络模型参数,对所述道路面样本进行基于改进的DenseNet的模型训练,得到道路训练模型;
S3、精度评定,将待测试的遥感影像数据输入所述道路训练模型,并计算本次测试的检测评价函数MIoU以及MPA,若MIoU值或MPA均达标则跳转至下一步,若MIoU值或MPA存在不达标情况则调整DenseNet网络模型参数返回S1并修改样本重新迭代训练;
S4、道路预测,利用经步骤S3中评定达标的道路训练模型对遥感影像目标区域进行道路预测,得到遥感影像中栅格化的道路面数据;
S7、道路面矢量化,将最终的栅格化的道路面数据进行矢量化,得到提取的遥感影像道路数据。
进一步地,所述步骤S4与所述步骤S7之间还包括步骤:
S5、影像后处理,利用图像处理模块对步骤S4中预测得到的道路面数据进行图像处理,其中,图像处理包括边缘平滑、填补空洞、去除碎斑。
进一步地,所述步骤S4与所述步骤S7之间还包括步骤:
S6、中断道路修正,提取栅格化的所述道路面数据中的端点,利用参考道路的栅格化数据与端点进行匹配,判断中断道路的端点处是否存在可连接的最优路径,若存在则连接最优路径;若不存在,则不做处理。
进一步地,步骤S6中采用连通域检测方法提取栅格化的所述道路面数据中的端点。
进一步地,步骤S6中连接最优路径后并对以参考道路的线宽进行等宽填充。
优选地,所述遥感影像为三波段或四波段融合影像。
一种电子设备,其特征在于包括:处理器;
存储器;以及程序,其中所述程序被存储在所述存储器中,并且被配置成由处理器执行,所述程序包括用于执行基于深度学习的遥感影像道路提方法。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行基于深度学习的遥感影像道路提方法。
基于深度学习的遥感影像道路提取系统,包括样本制作模块、模型训练模块、精度评定模块、道路预测模块、图像处理模块;其中,
所述图像处理模块包括矢量化单元、栅格化单元,所述矢量化单元用于将遥感影像的栅格化数据矢量化,所述栅格化单元用于将遥感影像的矢量化数据栅格化;
所述样本制作模块用于采集遥感影像,对遥感影像进行分割裁剪得到包含分类对象的面矢量样本,并绘制面矢量样本的标签,将标签为道路的面矢量样本的矢量数据输入所述栅格化单元转换成栅格数据,得到栅格化的道路面样本;
所述模型训练模块用于通过调整改进的DenseNet网络模型参数,对道路面样本进行基于改进的DenseNet的模型训练,得到道路训练模型;
所述精度评定模块用于将待测试的遥感影像数据输入所述模型训练模块中的道路训练模型,并计算本次测试的监测评价函数IoU值,若IoU值达标则跳转至下一步,若IoU值不达标则调整DenseNet网络模型参数返回所述样本制作模块并修改样本重新迭代训练;
所述道路预测模块用于利用经所述精度评定模块中评定达标的道路训练模型对遥感影像目标区域进行道路预测,得到遥感影像中栅格化的道路面数据;
所述矢量化单元将最终的栅格化的道路面数据进行矢量化,得到提取的遥感影像道路数据。
优选地,基于深度学习的遥感影像道路提取系统还包括中断道路修正模块,所述中断道路修正模块用于提取栅格化的道路面数据中的端点,利用参考道路的栅格化数据与端点进行匹配,判断中断道路的端点处是否存在可连接的最优路径,若存在则连接最优路径;若不存在,则不做处理;
所述图像处理模块还包括影像后处理单元、路径填充单元;所述影像后处理单元用于利用图像处理模块对所述道路预测模块中预测得到的道路面数据进行图像处理,其中,图像处理包括边缘平滑、填补空洞、去除碎斑;所述路径填充单元用于在所述中断道路修正模块连接最优路径后并对以参考道路的线宽进行等宽填充。
相比现有技术,本发明的有益效果在于:
本发明提供基于深度学习的遥感影像道路提取方法,包括步骤样本制作、模型训练、精度评定、道路预测、道路面矢量化。本发明还涉及基于深度学习的遥感影像道路提取系统、存储介质、电子设备;本发明通过改进的DenseNet网络模型对道路进行提取,利用道路拓扑特征进行推测,连接中断道路,进而实现道路提取结果更为精细连贯,本发明在道路提取上具有更高的效率,节约大量的成本,并保证提取道路结果的可靠性,便于遥感影像处理推广应用。
本发明利用深度优化的全卷积神经网络,通过改进模型的网络层、池化大小等参数优化网络,同时根据道路拓扑特征推测对网络模型预测的道路栅格进行后处理优化,提高道路网提取效果。本发明以改进的DenseNet网络模型对影像进行像素级分类,最后将网络模型提取的结果综合利用道路拓扑特征进行断头道路检测,根据最优路径进行道路网连接,形成较为精确的道路网面矢量成果数据。通过大量的道路样本标签数据训练深度学习模型,以新的网络模型对亚米级国产高分2号遥感影像上的道路要素进行提取,实现了自动高效的道路面矢量信息提取,极大缩减了手工绘制的时间成本和人力成本。相比于传统的人工道路提取方法,本发明可有效提高道路提取的生产效率,并可以保证提取的道路与遥感影像上显示的道路形态的一致性。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明的基于深度学习的遥感影像道路提取方法流程示意图;
图2为本发明的基于深度学习的遥感影像道路提取方法逻辑示意图;
图3为本发明的改进的DenseNet网络结构示意图;
图4为本发明的Dense Block结构示意图;
图5为本发明在一实施例中的遥感影像图;
图6为图5运用本发明后的道路局部图;
图7为本发明的基于深度学习的遥感影像道路提取系统示意图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
基于深度学习的遥感影像道路提取方法,如图1、图2所示,包括以下步骤:
S1、样本制作,采集遥感影像,对遥感影像进行分割裁剪得到包含分类对象的面矢量样本,并绘制所述面矢量样本的标签,将标签为道路的所述面矢量样本的矢量数据转换成栅格数据,得到栅格化的道路面样本。
在一实施例中,收集整理高分2号0.8米分辨率4波段融合影像,建立影像库,同时根据影像建立相应的道路面矢量样本库(该道路包括但不限于城市道路、乡镇道路及农村机耕路在内的所有宽度大于2米的道路),同时收集整理目前网络公开的全国道路线矢量数据集,创建道路线矢量参考数据库;根据道路样本库进行样本标签的格式转换,将道路样本矢量数据转换为道路面样本栅格数据。例如,在高分二号遥感影像上通过选择的点矢量文件进行影像样本块的自动裁切,得到大小为1000*1000且包含分类对象的面矢量框样本,绘制样本标签,利用GDAL(Geospatial Data Abstraction Library)批量处理多波段样本数据为标准格式;需要说明的是,在本实施例中优选四波段融合影像,因四波段融合影像中在包含RGB三波段影像的基础上还包括近红外影像,首先在数据样本的数据量上较普通的三波段影像而言数据量大,有利于样本训练,从而提高准确性;其次,因近红外影像能有效过滤掉绿色干扰,和RGB三波段结合后有效快速过滤绿化带的图像信息,提高道路提取效率。
S2、模型训练,调整改进的DenseNet网络模型参数,对所述道路面样本进行基于改进的DenseNet的模型训练,得到道路训练模型。
在一实施例中,依据转换后的样本进行基于深度学习的模型训练,对网络模型中的卷积层数及池化大小进行调整,并进行特征融合。例如,如图3所示,改进的DenseNet网络模型示意图,本发明对该网络的改进主要包括:将Dense Block模块后面的池化层大小改为3*3,并且池化方式由平均池化改为最大池化,另外最后一层池化层不改变池化大小只把平均池化改为最大池化;所有池化层滑动步长由2改为1。这样做的主要目的是通过池化层提取道路与其它地物相比的显著特征即边界。图4是改进的DenseNet网络中Dense Block模块的主要结构及传播原理;图中数字1-5分别表示到同一激活函数的特征传递过程,结构具有特征重用的优点,充分利用每个卷积层计算后的特征,使模型具有多尺度的特性;由于DenseNet网络的神经元节点较多,本发明对该结构的改进主要是将激活函数ReLU改为PReLU,防止在反向传播过程中一些神经元节点因梯度下降为0而失去作用。
S3、精度评定,将待测试的遥感影像数据输入所述道路训练模型,并计算本次测试的检测精度评价函数MIoU(mean intersection-over-union)值以及MPA(mean pixelaccuracy),若MIoU值以及MPA值均达标则跳转至下一步,若MIoU值或MPA值存在不达标情况则调整DenseNet网络模型参数返回S1并修改样本重新迭代训练;例如,设定MIoU值范围在0.80-1间,设定MPA值范围在0.85-1间认定为达标,当超出范围时,则调整DenseNet网络模型参数返回S1中重新训练。
S4、道路预测,利用经步骤S3中评定达标的道路训练模型对遥感影像目标区域进行道路预测,得到遥感影像中栅格化的道路面数据;例如,利用改进的模型对遥感影像目标区域高分2号遥感影像进行道路提取。
S7、道路面矢量化,将最终的栅格化的道路面数据进行矢量化,得到提取的遥感影像道路数据。从而得到可应用的结果,例如,图5、图6所示,其中,图5为南京栖霞区城市部分道路的高分2号的遥感影像,图6为应用本发明的南京栖霞区城市部分道路提取影像,通过实际人工道路生产试验的验证,本发明的技术方法在效率上得到了较大的提高:试验区为南京栖霞区,总体面积约390平方千米,单人提取道路面矢量耗时约80小时,应用本发明方法提取用时4小时,生产效率提高约20倍。因此本发明在保证精度的前提下有效提高现有道路提取方法的效率。
需要说明的是,矢量数据结构可具体分为点、线、面,可以构成现实世界中各种复杂的实体,当问题可描述成线或边界时,特别有效。矢量数据的结构紧凑,冗余度低,并具有空间实体的拓扑信息,容易定义和操作单个空间实体,便于网络分析。矢量数据的输出质量好、精度高。但矢量数据结构的复杂性,导致了操作和算法的复杂化,作为一种基于线和边界的编码方法,不能有效地支持影像代数运算,如不能有效地进行点集的集合运算(如叠加),运算效率低而复杂。由于矢量数据结构的存贮比较复杂,导致空间实体的查询十分费时,需要逐点、逐线、逐面地查询。矢量数据和栅格表示的影像数据不能直接运算(如联合查询和空间分析),交互时必须进行矢量和栅格转换。矢量数据与DEM(数字高程模型)的交互是通过等高线来实现的,不能与DEM直接进行联合空间分析。栅格数据结构是通过空间点的密集而规则的排列表示整体的空间现象的。其数据结构简单,定位存取性能好,可以与影像和DEM数据进行联合空间分析,数据共享容易实现,对栅格数据的操作比较容易。栅格数据的数据量与格网间距的平方成反比,较高的几何精度的代价是数据量的极大增加。因为只使用行和列来作为空间实体的位置标识,故难以获取空间实体的拓扑信息,难以进行网络分析等操作。栅格数据结构不是面向实体的,各种实体往往是叠加在一起反映出来的,因而难以识别和分离。对点实体的识别需要采用匹配技术,对线实体的识别需采用边缘检测技术,对面实体的识别则需采用影像分类技术,这些技术不仅费时,而且不能保证完全正确。通过以上的分析可以看出,矢量数据结构和栅格数据结构的优缺点是互补的,为了有效地实现GIS中的各项功能(如与遥感影像数据的结合,有效的空间分析等)需要同时使用两种数据结构,并在GIS中实现两种数据结构的高效转换。
在一实施例中,所述步骤S4与所述步骤S7之间还包括步骤:
S5、影像后处理,利用图像处理模块对步骤S4中预测得到的道路面数据进行图像处理,其中,图像处理包括边缘平滑、填补空洞、去除碎斑。在本实施例中,首先对预测得到的道路轮廓边界进行平滑以及细化处理,然后对道路提取结果的孔洞进行填充以及道路缺口进行修补。应当理解,图像处理包括但不限于现有的图形学算法如边缘平滑、填补空洞、去除碎斑,在本实施例中,采用opencv图像处理模块对预测结果进行后处理。
在一实施例中,因在道路提取过程中易出现偏差导致原本连贯的道路中断,所述步骤S4与所述步骤S7之间还包括步骤:
S6、中断道路修正,提取栅格化的所述道路面数据中的端点,利用参考道路的栅格化数据与端点进行匹配,判断中断道路的端点处是否存在可连接的最优路径,若存在则连接最优路径;若不存在,则不做处理。在本实施例中,根据提取影像检索道路线矢量参考数据库,将对应区域线矢量裁剪,并以该区域高分2号影像为底图对该道路参考线矢量数据进行栅格化,优选地可将步骤S5后处理后得到的栅格道路数据作为基准数据,利用连通域检测方法对该基准数据进行中断道路端点检索,对每个端点周边一定范围内的参考线栅格数据进行匹配,推测计算该端点是否存在可连接路径,若存在连接路径,则对该端点可连接路线对比分析,择优连接并计算该端点所属中断道路的宽度,然后对连接线进行等宽填充,保证连接后道路宽度一致性;若不存在可连接路径,则不做处理。
一种电子设备,包括:处理器;存储器;以及程序,其中所述程序被存储在所述存储器中,并且被配置成由处理器执行,所述程序包括用于执行基于深度学习的遥感影像道路提方法。一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行基于深度学习的遥感影像道路提方法。
基于深度学习的遥感影像道路提取系统,如图7所示,包括样本制作模块、模型训练模块、精度评定模块、道路预测模块、图像处理模块;其中,
所述图像处理模块包括矢量化单元、栅格化单元,所述矢量化单元用于将遥感影像的栅格化数据矢量化,所述栅格化单元用于将遥感影像的矢量化数据栅格化;
所述样本制作模块用于采集遥感影像,对遥感影像进行分割裁剪得到包含分类对象的面矢量样本,并绘制面矢量样本的标签,将标签为道路的面矢量样本的矢量数据输入所述栅格化单元转换成栅格数据,得到栅格化的道路面样本;
所述模型训练模块用于通过调整改进的DenseNet网络模型参数,对道路面样本进行基于改进的DenseNet的模型训练,得到道路训练模型;
所述精度评定模块用于将待测试的遥感影像数据输入所述模型训练模块中的道路训练模型,并计算本次测试的检测精度评价函数MIoU以及MPA,若MIoU值或MPA均达标则跳转至下一步,若MIoU值或MPA存在不达标情况则调整DenseNet网络模型参数返回所述样本制作模块并修改样本重新迭代训练;
所述道路预测模块用于利用经所述精度评定模块中评定达标的道路训练模型对遥感影像目标区域进行道路预测,得到遥感影像中栅格化的道路面数据;
所述矢量化单元将最终的栅格化的道路面数据进行矢量化,得到提取的遥感影像道路数据。
优选地,如图7所示,基于深度学习的遥感影像道路提取系统还包括中断道路修正模块,所述中断道路修正模块用于提取栅格化的道路面数据中的端点,利用参考道路的栅格化数据与端点进行匹配,判断中断道路的端点处是否存在可连接的最优路径,若存在则连接最优路径;若不存在,则不做处理;
所述图像处理模块还包括影像后处理单元、路径填充单元;所述影像后处理单元用于利用图像处理模块对所述道路预测模块中预测得到的道路面数据进行图像处理,其中,图像处理包括边缘平滑、填补空洞、去除碎斑;所述路径填充单元用于在所述中断道路修正模块连接最优路径后并对以参考道路的线宽进行等宽填充。
本发明利用深度优化的全卷积神经网络,通过改进模型的网络层、池化大小等参数优化网络,同时根据道路拓扑特征推测对网络模型预测的道路栅格进行后处理优化,提高道路网提取效果。本发明以改进的DenseNet网络模型对影像进行像素级分类,最后将网络模型提取的结果综合利用道路拓扑特征进行断头道路检测,根据最优路径进行道路网连接,形成较为精确的道路网面矢量成果数据。通过大量的道路样本标签数据训练深度学习模型,以新的网络模型对亚米级国产高分2号遥感影像上的道路要素进行提取,实现了自动高效的道路面矢量信息提取,极大缩减了手工绘制的时间成本和人力成本。相比于传统的人工道路提取方法,本发明可有效提高道路提取的生产效率,并可以保证提取的道路与遥感影像上显示的道路形态的一致性。
本发明提供基于深度学习的遥感影像道路提取方法,包括步骤样本制作、模型训练、精度评定、道路预测、道路面矢量化。本发明还涉及基于深度学习的遥感影像道路提取系统、存储介质、电子设备;本发明通过改进的DenseNet网络模型对道路进行提取,利用道路拓扑特征进行推测,连接中断道路,进而实现道路提取结果更为精细连贯,本发明在道路提取上具有更高的效率,节约大量的成本,并保证提取道路结果的可靠性,便于遥感影像处理推广应用。
以上,仅为本发明的较佳实施例而已,并非对本发明作任何形式上的限制;凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明;但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内,利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化,均为本发明的等效实施例;同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等,均仍属于本发明的技术方案的保护范围之内。
Claims (8)
1.基于深度学习的遥感影像道路提取方法,其特征在于,包括以下步骤:
S1、样本制作,采集遥感影像,对遥感影像进行分割裁剪得到包含分类对象的面矢量框文件,并绘制所述面矢量文件中的道路标签,将标签为道路的所述面矢量样本的矢量数据转换成栅格数据,得到栅格化的道路面样本;其中,所述遥感影像为四波段融合影像;
S2、模型训练,调整改进的DenseNet网络模型参数,对所述道路面样本进行基于改进的DenseNet的模型训练,得到道路训练模型;改进的DenseNet网络模型的改进包括:将DenseBlock模块后面的池化层大小改为3*3,并且池化方式由平均池化改为最大池化,另外最后一层池化层不改变池化大小只把平均池化改为最大池化;所有池化层滑动步长由2改为1;将激活函数ReLU改为PReLU;
S3、精度评定,将待测试的遥感影像数据输入所述道路训练模型,并计算本次测试的检测评价函数MIoU以及MPA,若MIoU值或MPA均达标则跳转至下一步,若MIoU值或MPA存在不达标情况则调整DenseNet网络模型参数返回步骤S1并修改样本重新迭代训练;
S4、道路预测,利用经步骤S3中评定达标的道路训练模型对遥感影像目标区域进行道路预测,得到遥感影像中栅格化的道路面数据;
S6、中断道路修正,提取栅格化的所述道路面数据中的端点,利用参考道路的栅格化数据与端点进行匹配,判断中断道路的端点处是否存在可连接的最优路径,若存在则连接最优路径;若不存在,则不做处理;
S7、道路面矢量化,将最终的栅格化的道路面数据进行矢量化,得到提取的遥感影像道路数据。
2.如权利要求1所述的基于深度学习的遥感影像道路提取方法,其特征在于,所述步骤S4与所述步骤S7之间还包括步骤:
S5、影像后处理,利用图像处理模块对步骤S4中预测得到的道路面数据进行图像处理,其中,图像处理包括边缘平滑、填补空洞、去除碎斑。
3.如权利要求1所述的基于深度学习的遥感影像道路提取方法,其特征在于:步骤S6中采用连通域检测方法提取栅格化的所述道路面数据中的端点。
4.如权利要求1所述的基于深度学习的遥感影像道路提取方法,其特征在于:步骤S6中连接最优路径后并对以参考道路的线宽进行等宽填充。
5.基于深度学习的遥感影像道路提取系统,其特征在于:包括样本制作模块、模型训练模块、精度评定模块、道路预测模块、图像处理模块、中断道路修正模块;其中,
所述图像处理模块包括矢量化单元、栅格化单元,所述矢量化单元用于将遥感影像的栅格化数据矢量化,所述栅格化单元用于将遥感影像的矢量化数据栅格化;
所述样本制作模块用于采集遥感影像,对遥感影像进行分割裁剪得到包含分类对象的面矢量样本,并绘制面矢量样本的标签,将标签为道路的面矢量样本数据输入所述栅格化单元转换成栅格数据,得到栅格化的道路面样本;其中,所述遥感影像为四波段融合影像;
所述模型训练模块用于通过调整改进的DenseNet网络模型参数,对道路面样本进行基于改进的DenseNet的模型训练,得到道路训练模型;改进的DenseNet网络模型的改进包括:将Dense Block模块后面的池化层大小改为3*3,并且池化方式由平均池化改为最大池化,另外最后一层池化层不改变池化大小只把平均池化改为最大池化;所有池化层滑动步长由2改为1;将激活函数ReLU改为PReLU;
所述精度评定模块用于将待测试的遥感影像数据输入所述模型训练模块中的道路训练模型,并计算本次测试的检测评价函数MIoU以及MPA,若MIoU值或MPA均达标则跳转至下一步,若MIoU值或MPA存在不达标情况则调整DenseNet网络模型参数返回所述样本制作模块并修改样本重新迭代训练;
所述道路预测模块用于利用经所述精度评定模块中评定达标的道路训练模型对遥感影像目标区域进行道路预测,得到遥感影像中栅格化的道路面数据;
中断道路修正模块,所述中断道路修正模块用于提取栅格化的道路面数据中的端点,利用参考道路的栅格化数据与端点进行匹配,判断中断道路的端点处是否存在可连接的最优路径,若存在则连接最优路径;若不存在,则不做处理;
所述矢量化单元将最终的栅格化的道路面数据进行矢量化,得到提取的遥感影像道路数据。
6.如权利要求5所述的基于深度学习的遥感影像道路提取系统,其特征在于:还包括
所述图像处理模块还包括影像后处理单元、路径填充单元;所述影像后处理单元用于利用图像处理模块对所述道路预测模块中预测得到的道路面数据进行图像处理,其中,图像处理包括边缘平滑、填补空洞、去除碎斑;所述路径填充单元用于在所述中断道路修正模块连接最优路径后并对以参考道路的线宽进行等宽填充。
7.一种电子设备,其特征在于包括:处理器;
存储器;以及程序,其中所述程序被存储在所述存储器中,并且被配置成由处理器执行,所述程序包括用于执行如权利要求1所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行如权利要求1所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811181856.8A CN109493320B (zh) | 2018-10-11 | 2018-10-11 | 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811181856.8A CN109493320B (zh) | 2018-10-11 | 2018-10-11 | 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109493320A CN109493320A (zh) | 2019-03-19 |
CN109493320B true CN109493320B (zh) | 2022-06-17 |
Family
ID=65690152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811181856.8A Active CN109493320B (zh) | 2018-10-11 | 2018-10-11 | 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109493320B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287932B (zh) * | 2019-07-02 | 2021-04-13 | 中国科学院空天信息创新研究院 | 基于深度学习图像语义分割的道路阻断信息提取方法 |
CN110516539A (zh) * | 2019-07-17 | 2019-11-29 | 苏州中科天启遥感科技有限公司 | 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备 |
CN110674742B (zh) * | 2019-09-24 | 2023-04-07 | 电子科技大学 | 基于DLinkNet的遥感图像道路提取方法 |
CN111126427B (zh) * | 2019-10-25 | 2022-04-01 | 武汉大学 | 一种基于遥感影像的OpenStreetMap路网数据质量评价方法 |
CN111028178B (zh) * | 2019-12-20 | 2022-04-29 | 武汉大学 | 一种基于深度学习的遥感影像数据自动化几何纠正方法 |
CN111811525B (zh) * | 2020-06-09 | 2022-05-10 | 广东国地规划科技股份有限公司 | 一种基于遥感图像和浮动车轨迹的路网生成方法及系统 |
CN112150522A (zh) * | 2020-09-22 | 2020-12-29 | 上海商汤智能科技有限公司 | 遥感图像的配准方法、装置、设备、存储介质及系统 |
CN113034470B (zh) * | 2021-03-25 | 2023-11-14 | 江苏建筑职业技术学院 | 基于无人机倾斜摄影技术的沥青混凝土厚度无损检测方法 |
CN113298095A (zh) * | 2021-06-23 | 2021-08-24 | 成都天巡微小卫星科技有限责任公司 | 一种基于卫星遥感的高精度路网密度提取方法及系统 |
CN113487900A (zh) * | 2021-07-06 | 2021-10-08 | 北京邮电大学 | 一种针对卫星图像的异步道路信息提取系统及其控制方法 |
CN113901342B (zh) * | 2021-09-30 | 2022-07-26 | 北京百度网讯科技有限公司 | 一种路网数据处理方法、装置、电子设备及存储介质 |
CN115641512B (zh) * | 2022-12-26 | 2023-04-07 | 成都国星宇航科技股份有限公司 | 一种卫星遥感影像道路识别方法、装置、设备及介质 |
CN115641415B (zh) * | 2022-12-26 | 2023-08-22 | 成都国星宇航科技股份有限公司 | 基于卫星影像生成三维场景的方法、装置、设备及介质 |
CN116337103B (zh) * | 2023-05-17 | 2023-08-29 | 中国地质大学(武汉) | 基于区域分类的分层泛在导航方法、装置及计算机设备 |
CN117635982B (zh) * | 2023-12-07 | 2024-06-04 | 哈尔滨航天恒星数据系统科技有限公司 | 一种基于深度学习的面向遥感图像的路网匹配方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101714252A (zh) * | 2009-11-26 | 2010-05-26 | 上海电机学院 | Sar图像中道路的提取方法 |
CN101887522A (zh) * | 2010-07-13 | 2010-11-17 | 南京大学 | 基于多点同时快速行进的遥感影像道路提取方法 |
CN103034863A (zh) * | 2012-12-24 | 2013-04-10 | 重庆市勘测院 | 一种结合核Fisher与多尺度提取的遥感影像道路获取方法 |
CN104966091A (zh) * | 2015-07-30 | 2015-10-07 | 王植 | 一种基于无人机遥感影像的露天矿道路提取方法 |
WO2017134519A1 (en) * | 2016-02-01 | 2017-08-10 | See-Out Pty Ltd. | Image classification and labeling |
CN107818302A (zh) * | 2017-10-20 | 2018-03-20 | 中国科学院光电技术研究所 | 基于卷积神经网络的非刚性多尺度物体检测方法 |
CN108052966A (zh) * | 2017-12-08 | 2018-05-18 | 重庆邮电大学 | 基于卷积神经网络的遥感图像场景自动提取和分类方法 |
CN108280411A (zh) * | 2018-01-10 | 2018-07-13 | 上海交通大学 | 一种具有空间变换能力的行人搜索方法 |
CN108520516A (zh) * | 2018-04-09 | 2018-09-11 | 陕西师范大学 | 一种基于语义分割的桥梁路面裂缝检测和分割方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306942B2 (en) * | 2008-05-06 | 2012-11-06 | Lawrence Livermore National Security, Llc | Discriminant forest classification method and system |
CN104915636B (zh) * | 2015-04-15 | 2019-04-12 | 北京工业大学 | 基于多级框架显著性特征的遥感影像道路识别方法 |
CN105678097B (zh) * | 2016-02-14 | 2018-06-01 | 华浩博达(北京)科技股份有限公司 | 数字高程模型自动化构建方法 |
CN106295562A (zh) * | 2016-08-09 | 2017-01-04 | 中国科学院遥感与数字地球研究所 | 一种高分辨率遥感影像道路信息提取方法 |
CN108288014A (zh) * | 2017-01-09 | 2018-07-17 | 北京四维图新科技股份有限公司 | 道路智能提取方法和装置、提取模型构建方法及混合导航系统 |
CN108256424A (zh) * | 2017-12-11 | 2018-07-06 | 中交信息技术国家工程实验室有限公司 | 一种基于深度学习的高分辨率遥感图像道路提取方法 |
-
2018
- 2018-10-11 CN CN201811181856.8A patent/CN109493320B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101714252A (zh) * | 2009-11-26 | 2010-05-26 | 上海电机学院 | Sar图像中道路的提取方法 |
CN101887522A (zh) * | 2010-07-13 | 2010-11-17 | 南京大学 | 基于多点同时快速行进的遥感影像道路提取方法 |
CN103034863A (zh) * | 2012-12-24 | 2013-04-10 | 重庆市勘测院 | 一种结合核Fisher与多尺度提取的遥感影像道路获取方法 |
CN104966091A (zh) * | 2015-07-30 | 2015-10-07 | 王植 | 一种基于无人机遥感影像的露天矿道路提取方法 |
WO2017134519A1 (en) * | 2016-02-01 | 2017-08-10 | See-Out Pty Ltd. | Image classification and labeling |
CN107818302A (zh) * | 2017-10-20 | 2018-03-20 | 中国科学院光电技术研究所 | 基于卷积神经网络的非刚性多尺度物体检测方法 |
CN108052966A (zh) * | 2017-12-08 | 2018-05-18 | 重庆邮电大学 | 基于卷积神经网络的遥感图像场景自动提取和分类方法 |
CN108280411A (zh) * | 2018-01-10 | 2018-07-13 | 上海交通大学 | 一种具有空间变换能力的行人搜索方法 |
CN108520516A (zh) * | 2018-04-09 | 2018-09-11 | 陕西师范大学 | 一种基于语义分割的桥梁路面裂缝检测和分割方法 |
Non-Patent Citations (2)
Title |
---|
Stacked U-Nets: A No-Frills Approach to Natural Image Segmentation;Sohil Shah等;《arXiv:1804.10343v1》;20180427;第1-20页 * |
基于面向通道分组卷积网络的番茄主要器官实时识别;周云成等;《农业工程学报》;20180531;第34卷(第10期);第153-162页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109493320A (zh) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109493320B (zh) | 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备 | |
CN109446992B (zh) | 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备 | |
CN109543630B (zh) | 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备 | |
CN110929607B (zh) | 一种城市建筑物施工进度的遥感识别方法和系统 | |
CN110136170B (zh) | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 | |
CN108491757B (zh) | 基于多尺度特征学习的光学遥感图像目标检测方法 | |
CN112287807B (zh) | 一种基于多分支金字塔神经网络的遥感影像道路提取方法 | |
Tong et al. | Use of shadows for detection of earthquake-induced collapsed buildings in high-resolution satellite imagery | |
CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
CN110516539A (zh) | 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备 | |
CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
CN110619258B (zh) | 一种基于高分辨率遥感影像的道路轨迹核查方法 | |
CN103400151A (zh) | 一体化的光学遥感影像与gis自动配准与水体提取方法 | |
CN105787937A (zh) | 一种基于osm的高分辨遥感影像道路变化检测方法 | |
CN107832849B (zh) | 一种基于知识库的电力线廊道三维信息提取方法及装置 | |
CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
CN112990086A (zh) | 遥感影像建筑物检测方法、装置及计算机可读存储介质 | |
CN114463623A (zh) | 一种基于多尺度遥感影像的耕地变化检测方法及装置 | |
Chen et al. | A mathematical morphology-based multi-level filter of LiDAR data for generating DTMs | |
CN115631162A (zh) | 一种滑坡隐患识别方法、系统、介质及设备 | |
CN109558801B (zh) | 道路网络提取方法、介质、计算机设备及系统 | |
CN116091911A (zh) | 一种地震勘探工区建筑物自动识别方法及系统 | |
Ding et al. | Study on building extraction from high-resolution images using Mbi | |
Eken et al. | An automated technique to determine spatio-temporal changes in satellite island images with vectorization and spatial queries | |
CN105631849A (zh) | 多边形目标的变化检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |