CN109800736B - 一种基于遥感影像和深度学习的道路提取方法 - Google Patents
一种基于遥感影像和深度学习的道路提取方法 Download PDFInfo
- Publication number
- CN109800736B CN109800736B CN201910104050.7A CN201910104050A CN109800736B CN 109800736 B CN109800736 B CN 109800736B CN 201910104050 A CN201910104050 A CN 201910104050A CN 109800736 B CN109800736 B CN 109800736B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- remote sensing
- training
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013145 classification model Methods 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000003708 edge detection Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010276 construction Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000005431 greenhouse gas Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于遥感影像和深度学习的道路提取方法，步骤为：在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；使用Canny边缘检测算法对截取的遥感像对图像边缘进行提取，将提取得到的图像与原图像叠加，突出道路特征；搭建图像分类模型，在对基础的网络进行分类任务的训练中，留下低级的图像特征信息，并在特征提取模型构建的流程中，传递给下一级语义分割模型；搭建语义分割模型，用于在遥感影像中分割出道路信息；训练后，提取道路信息的网络参数将留存在分割模型中。本发明通过对图像进行预处理，突出道路特征，用以加速学习，加速语义分割模型的训练，可以实现提取遥感影像道路信息的效果。
Description
技术领域
本发明涉及一种计算机视觉领域，具体为一种基于遥感影像和深度学习的道路提取方法。
背景技术
随着空间信息技术的发展，以及从遥感数据中提取影像的相关技术愈发成熟，遥感影像的应用也逐渐从军事等专业领域走入日常生活中。处于正常工作状态的遥感卫星每次环绕至取样地点时，都可以采集广阔范围内的精细数据，因而遥感影像具有很高的实时性和有效性。除可见光波段外，卫星可以通过不同种类的传感器获取红边波段，黄边波段等各波段的数据，因而当前遥感影像的一大应用是在环境资源领域。在农业、林业、海洋、水利、生态环境等领域，不同波段的影像可以很方便的获取到诸如植被覆盖、地表温度、温室气体浓度等信息。
相关技术的高速发展带来了应用成本的下降，现在很多电子地图，诸如百度、高德等都集成了遥感影像地图，并免费提供服务给每一位用户。因此研究者们也不再仅仅局限于环境、救灾等专业领域的粗粒度分析，转而用遥感影像数据来解决如城市规划等领域中因数据获取成本过高而导致的数据集缺失问题。其中一个非常重要的问题就是自动路网提取，在飞速发展的城市中，道路结构很可能在数月内发生巨大的变化，提取的道路信息可以用来生成用于导航的路网地图，而健全的路网，往往意味着城市的建设状况更好，因此从遥感影像中提取的道路信息，也可以用来分析城市的经济信息。
近年来，随着图像处理利器——深度学习的飞速发展，在遥感影像上使用深度学习对遥感影像进行分割、分类的研究者也逐渐增加。在用于提取遥感影像数据时，深度学习技术与传统的图像处理相比，有更高的泛用性和准确性。深度学习是当前最受关注的机器学习方法，2012年深度学习模型获得了ImageNet冠军，让深度学习成为了近几年人工智能领域内的研究热点。深度学习最早起源于机器学习的连接学派，连接学派通过使用人工神经网络中权值的变化来模拟学习的过程。深度学习狭义的定义就是很多层(深)的神经网络，早期的连接学派受限于计算机计算性能的瓶颈，无法使用较为复杂的模型因而效果很差。深度学习通过提高神经网络层数，获得了提取复杂特征的能力，解决了此问题。
但是在对比传统学习算法与人类的学习过程时，研究者们发现一个很大的问题，即在于机器学习算法(包括深度学习)，通常都基于某一个特定领域下的特定学习过程，而人类在成长过程中，可以将已经学到的知识“迁移”到初次接触的新领域中。以图像分类举例，很多分类算法的测试都是从最简单的“猫狗分类”开始的，在训练和测试时，都要使用猫和狗的照片。一个使用猫狗照片训练出的算法，在测试时，如果遇见卡通的猫狗图片，就无法对其分类。而人类则不受此限制。显然，研究者不可能针对于世界上所有的问题都训练出一个算法，机器学习应当具有“举一反三”的能力。
发明内容
针对现有技术中学习算法不具有普适性、对于图片的识别要求太高或者只能单一识别某一具体情况等不足，本发明要解决的问题是提供一种学习能力强的基于深度学习和遥感影像的道路提取方法。
为解决上述技术问题，本发明采用的技术方案是：
本发明一种基于遥感影像和深度学习的道路提取方法，包括以下步骤：
1)在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；
2)使用Canny边缘检测算法对截取的遥感影像进行预处理，通过对图像边缘进行提取，并将提取得到的图像与原图像叠加，突出道路特征，用以加速学习；
3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，将上述图像特征信息在特征提取模型构建的流程中，传递给下一级的语义分割模型；
4)搭建一个语义分割模型，用于在遥感影像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中。
步骤1)中对截取遥感影像进行数据标注为：
101)观察并测量遥感影像所覆盖的地理范围，结合要提取的道路实际情况，截取图像分类和语义分割任务的原始数据是尺寸为256*256，即0.23像素每米分辨尺度的RGB遥感的影像；
102)定义道路为三级以上的公路，即双车道，8.5米宽以上的公路；
103)像素级的图像标注，在图像上标注道路像素的问题转化为对矩阵元素的二分类问题；
设图像矩阵M为:
其中，为图像矩阵，(Rij，Gij，Bij)为图像矩阵M上的任意元素，对于尺寸为256*256的训练图像，有i＝256，j＝256；
104)对于图像矩阵M上的任意元素(Rij，Gij，Bij)，设道路图像的像素集合为R，可生成一个新图像矩阵M’，其任意元素aij，有：
新的图像矩阵M'即为标注结果。
步骤2)中使用Canny边缘检测算法对截取的遥感影像进行预处理为：
201)用高斯滤波去除影像噪点，得到去噪后的图像；
202)使用Sobel算子，利用卷积操作计算遥感影像x和y两个方向的梯度，尺寸为3的Sobel算子，在x和y两个方向的卷积核如下:
203)提取边缘信息时，缩减边缘，只保留局部最大梯度，通过Canny算法使用两个阈值，来区分边缘像素，利用低阈值过滤掉噪声或颜色变化引起的小的梯度值，利用高阈值区分强边缘点和弱边缘点。
步骤3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，具体为：
301)以VGG-16网络作为基础模型，搭建图像分类模型卷积层；
302)搭建图像分类模型的全连接层；
303)图像分类模型使用Softmax结合交叉熵作为损失层，对于一个K类分类，Softmax的计算过程为：
为
其中，ai为向量a中任意一个元素，aj为中间元素，j为中间变量，k为任意实数的向量维数；
304)训练图像分类模型，将图像的低层次特征保存在图像分类模型中。
步骤301)中，以VGG-16网络作为基础模型，搭建图像分类模型过程为：
30101)第1层和第2层均为64个卷积核，卷积核大小为3，步长为1，填充1的卷积层，用以在不改变尺寸大小的同时，引入足量的参数，不改变尺寸大小的意义在于不破坏特征在空间中的结构；
30102)第3层为步长和卷积核大小均为2的最大池化层，用以减小尺度，同时尽可能的保留特征信息。通过卷积对尺寸影响的规律计算，在第3层的池化输出的尺寸是112*112，而后第4层和第5层均为128个卷积核，卷积核大小为3，步长为1，填充1的卷积层，这两层会保持尺寸为112*112，只是通过128个卷积核，引入更多参数；
30103)第6层为步长和卷积核大小均为2的最大池化层，用以减小尺寸，将其降低为56*56。之后第7、第8层、第9层使用大小为3的卷积核，步长为1，充填为1，卷积核的数量为256个的卷积层。此卷积过程中，同样不会对尺寸造成改变；
30104)第10层为池化层，与前文的池化层参数相同，第11、12、13层均为卷积核的数量为512，卷积核大小为3，步长为1，充填1的卷积层。第14层到第17层，与第10层到第13层的结构相同；
30105)第18层是池化层，与前文池化层参数相同，然后是两个分别具有4096个神经元的全连接层，接着是具有1000个神经元的全连接层，用于分类训练。
步骤302)中，搭建图像分类模型的全连接层为：
30201)所有的卷积层和全连接层均使用线性整流函数作为激活函数；
30202)在最后3层的全连接层上，使用概率为0.5的dropout，防止网络在训练时发生过拟合。
步骤304)中，训练图像分类模型为：
30401)在使用遥感影像数据集进行分类训练前，先使用Image Net数据集进行预训练；
30402)对练图像分类模型再次使用道路遥感影像分类数据进行训练，弥补分类模型中，对遥感影像相关特征的缺失。
步骤4)中，搭建一个语义分割模型，用于在遥感影像图像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中，具体为：
401)利用FCN网络搭建语义分割模型，只在第一层卷积层中进行填充修改，并将最后的全连接层替换成卷积层；
402)反卷积操作，将图像恢复为与原图相同的尺寸；
403)累加特征图需要融合池化操作，对两个n×n特征图矩阵X，Y：
使用融合函数f(x，y)进行融合池化，有结果特征图FP：
用于累加的融合池化，有f(x+y)＝x+y；
其中，X、Y为n×n矩阵，x、y及其下标为矩阵中对应的元素；
404)对最后一层卷积层进行裁剪处理，将裁剪处理后得到的特征图像输入SoftmaxLossLayer层；
405)对语义分割模型进行训练，得到训练图像。
步骤401)中，利用FCN网络搭建语义分割模型，只在第一层卷积层中进行填充修改，并将最后的全连接层替换成卷积层，包括：
40101)对卷积层中的第一层做大小为100的填充；
40102)在池化层的第五层之后，语义分割模型将图像分类模型中的全连接层1，2，3替换为卷积层14，15，16；
步骤405)中，对语义分割模型进行训练，具体为：
40501)采取多阶段的训练方式，使用32倍特征缩放的语义分割模型进行训练；
40502)拷贝训练图像到16倍、8倍特征缩放的语义分割模型，并进行迭代次数的训练；
40503)在8倍特征缩放的语义分割模型上完成训练。
本发明具有以下有益效果及优点：
1.本发明基于遥感影像和深度学习的道路提取算法，可以通过输入一张遥感影像数据，在进行深度学习之前，通过对图像进行预处理，突出道路特征，用以加速学习；本发明采用搭建图像分类和语义分割两种模型，图像分类模型为CNN结构，语义分割模型为FCN结构，前者在网络的参数存留下非常低级的图像特征信息，将这些信息在特征提取模型构建的流程中，传递给下一级模型，可以加速语义分割模型的训练，可以实现提取遥感影像道路信息的效果。
图1为本发明中道路提取算法的方法流程图；
图2为本发明方法中使用labelme进行图像标注的示意图；
图3为本发明方法中使用高斯滤波的处理结果图；
图4为本发明方法中使用Canny处理的效果图；
图5为本发明方法中图像分类模型的示意图；
图6为本发明方法中使用32倍特征缩放的语义分割模型的示意图；
图7为本发明方法中使用的16倍特征缩放的语义分割模型的示意图；
图8为本发明方法中使用的8倍特征缩放的语义分割模型的示意图；
图9为本发明方法中语义分割模型训练输出数据；
图10为本发明完成道路提取的示意图。
具体实施方式
下面结合说明书附图对本发明作进一步阐述。
发明一种基于遥感影像和深度学习的道路提取方法，如图1所示，包括以下步骤：
1)在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；
2)使用Canny边缘检测算法对截取的遥感影像进行预处理，通过对图像边缘进行提取，并将提取得到的图像与原图像叠加，得到突出道路特征的叠加图像
3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，将上述图像特征信息在特征提取模型构建的流程中，传递给下一级的语义分割模型；
4)搭建一个语义分割模型，用于在遥感影像图像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中。
步骤1)中对截取遥感影像进行数据标注，如图2所示，具体为：
101)观察并测量遥感影像所覆盖的地理范围，结合要提取的道路实际情况，截取图像分类和语义分割任务的原始数据是尺寸为256*256，即0.23像素每米分辨尺度的RGB遥感的影像；
102)定义道路为三级以上的公路，即双车道、8.5米宽以上的公路；
在当前的遥感影像尺度下，包括小区内的小路都可以观察得到，使用不同的道路定义，标注的训练集是不同的，这也会影响迁移学习的过程。考虑遥感影像图像区域对应的范围接近一平方公里，过于细小的道路在图像特征层面上差距太大，很难识别，而且对于整个区域内的影响较为有限，因此本发明中对道路的定义为三级以上的公路，即双车道、8.5米宽以上的公路；
103)像素级的图像标注，在图像上标注道路像素的问题转化为对矩阵元素的二分类问题；
设图像矩阵M为:
其中，M为图像矩阵，(Rij，Gij，Bij)为图像矩阵M上的任意元素，对于尺寸为256*256的训练图像，有i＝256，j＝256；
104)对于图像矩阵M上的任意元素(Rij，Gij，Bij)，设道路图像的像素集合为R，可生成一个新图像矩阵M’，其任意元素aij，有：
新的图像矩阵M'即为标注结果。
步骤2)中，使用Canny边缘检测算法对截取的遥感影像进行预处理，通过对图像边缘进行提取，并将提取得到的图像与原图叠加，达到突出道路特征的效果。使用Canny边缘检测算法对截取的遥感影像进行预处理为：
201)用高斯滤波去除影像噪点，得到去噪后的图像；
由于噪点处往往具有很高的像素梯度，因此非常容易被识别为边缘。高斯滤波会让图像变得更平滑，单一的噪点在滤波过程中会被抹除；如图3所示，经过高斯滤波后的图像稍微变的模糊了一些，但是总体边界信息没有发生变化，通过平滑，原图像上的噪点像素被“摊平”到临近的像素中，减少了在噪点位置的像素梯度，进而减少了噪点被识别成边缘的概率。
202)使用Sobel算子，利用卷积(滤波)操作计算遥感影像x和y两个方向的梯度，尺寸为3的Sobel算子，在x和y两个方向的卷积核如下:
经典的Canny使用四个梯度算子分别计算水平、垂直以及两个对角线方向的梯度。本发明使用Sobel算子，利用卷积(滤波)操作计算x和y两个方向的梯度。
203)提取边缘信息时，缩减边缘，只保留局部最大梯度，通过Canny算法使用两个阈值，来区分边缘像素，利用低阈值过滤掉噪声或颜色变化引起的小的梯度值，利用高阈值区分强边缘点和弱边缘点。
在提取边缘信息时，通常得到的梯度边缘是多个像素宽度，不利于精确的确定边缘信息。因此需要缩减边缘，只保留局部最大梯度。Canny算法使用两个阈值，来区分边缘像素，利用低阈值来过滤掉噪声或颜色变化引起的小的梯度值，利用高阈值来区分强边缘点和弱边缘点。通过调整两个阈值，可以对不同对比度的图像均实现较好的处理；
如图4所示，使用Canny边缘检测算法对高斯滤波图像进行进一步处理，使用大小为3*3的Sobel算子替代六向梯度计算，左右两天阈值不同，左图为小阈值与大阈值为100和300，右图为0。本实施例测试了多种阈值，通过观察认为在100和300的阈值设定下，边缘检测算法可以更多的突显出道路数据。
步骤3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，具体为：
301)以VGG-16网络作为基础模型，搭建图像分类模型卷积层；
如图5所示，具体步骤如下：
30101)第1层(Conv 1_1)和第2层(Conv 1_2)均为64个卷积核，卷积核大小为3，步长为1，填充1的卷积层，用以在不改变尺寸大小的同时，引入足量的参数，不改变尺寸大小的意义在于不破坏特征在空间中的结构；
30102)第3层为步长和卷积核大小均为2的最大池化层(pool 1)，用以减小尺度，同时尽可能的保留特征信息。通过卷积对尺寸影响的规律计算，在第3层的池化输出的尺寸是112*112，而后第4层和第5层均为128个卷积核，卷积核大小为3，步长为1，填充1的卷积层，这两层会保持尺寸为112*112，只是通过128个卷积核，引入更多参数；
30103)第6层为步长和卷积核大小均为2的最大池化层(pool 2)，用以减小尺寸，将其降低为56*56。之后第7(Conv 3_1)、第8层(Conv3_2)、第9层(Conv 3_3)使用大小为3的卷积核，步长为1，充填为1，卷积核的数量为256个的卷积层。此卷积过程中，同样不会对尺寸造成改变；
30104)第10层为池化层(pool 3)，与前文的池化层参数相同，第11(Conv 4_1)、12(Conv 4_2)、13层(Conv 4_3)均为卷积核的数量为512，卷积核大小为3，步长为1，充填1的卷积层。第14层(pool 4)到第17层(Conv 5_3)，与第10层到第13层的结构相同；
30105)第18层是池化层(pool 5)，与前文池化层参数相同，然后是两个分别具有4096个神经元的全连接层(fc6，fc7)，接着是具有1000个神经元的全连接层(fc8)，这些全连接层，会降低维度，以便于在网络最后接入回归层，以用于分类训练；
302)搭建图像分类模型的全连接层；
30201)所有的卷积层和全连接层均使用线性整流函数(Rectified Linear Unit，ReLU)用作激活函数(Activation Function)；
30202)在最后几层的全连接层上，使用了概率为0.5的dropout。dropout是一种通过在网络中引入随机性，以防止网络在训练时发生过拟合的技术，自全连接网络诞生时，便被大量应用在全连接网络中，添加概率为0.5的dropout意味着，在每次前向计算时，该网络中会随机“丢弃”一半的神经元，这些被“丢弃”的神经元不会真的失去他们的权值信息，而只是不参加这一次前向运算或在这一次前向运算中输出被固定为0。在计算损失后，误差反向传播时，这一部分的神经元也不会被更新。在到了下一次的前向计算时，这些神经元会恢复成被删除前的状态，而本发明中的dropout是在所有的神经元中再随机找出要丢弃的神经元，重复上一流程。在整个训练过程中，每一次的dropout都是在概率分布上各自独立的。
303)图像分类模型使用Softmax结合交叉熵作为损失层，对于一个K类分类，Softmax的计算过程为：
为
其中，aj为中间元素，j为中间变量，k为任意实数的向量维数；
利用该公式将一个含任意实数的K维向量“压缩”a到另一个K维实向量中，ai为向量a中任意一个元素，并且所有元素的和为1。
304)训练图像分类模型，将图像的低层次特征保存在图像分类模型中。
30401)在使用遥感影像数据集进行分类训练前，先使用Image Net数据集进行预训练；
30402)对模型再使用上文中收集的道路遥感影像分类数据进行训练，以弥补分类模型中，对遥感影像相关特征的缺失。
步骤4)中，搭建一个语义分割模型，用于在遥感影像图像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中，具体为：
步骤401)利用FCN网络搭建语义分割模型，此FCN网络结构的主体上与上文的CNN网络结构相似，只在第一层卷积层中进行了填充修改，并将最后的全连接层替换成了卷积层；具体按如下步骤进行：
40101)对卷积层1(Conv 1_1)做了大小为100的填充；
增加填充不会影响网络参数，但会影响对输入图片的处理。图像分类模型的图像输入尺寸是固定的，而语义分割模型则应当对任意尺寸的图像都能够正确的处理，如果不进行填充，则对常见的200*200左右的图像进行一系列的卷积后，最后得到的结果会非常接近1*1，在后续处理中无法解析不同位置的特征，也就无法对图像进行语义分割；
40102)在池化层的第五层(pool 5)之后，语义分割模型将图像分类模型中的全连接层1，2，3(图5中的fc6，fc7，fc8)替换为卷积层14，15，16(conv_6，conv_7，conv_8)；
步骤402)反卷积(也称转置卷积Deconvolution，Transposed Convolution)操作将图像恢复为与原图相同的尺寸；
所述步骤4.2按如下步骤进行：
40201)将最后一层卷积得到的特征图像(原图的1/32)通过反卷积放大两倍，与池化层4(pool4)后得到的特征图像(原图的1/16)在对应像素位置相加；
40202)将其结果通过反卷积放大2倍，并与池化层3后得到的特征图像(原图的1/8)相加，并将其结果放大八倍，与原图像尺寸相同，并最后对每个像素进行分类；
步骤403)累加特征图需要融合池化操作，对两个n×n特征图矩阵X，Y：
使用融合函数f(x，y)进行融合池化，有结果特征图FP：
用于累加的融合池化，有f(x+y)＝x+y；
其中，X、Y为矩阵，其下标代表对应的元素。
404)对最后一层卷积层进行裁剪处理，将裁剪处理后得到的特征图像输入SoftmaxLossLayer层；
405)对语义分割模型进行训练，按如下步骤进行：
40501)采取多阶段的训练方式，先使用32倍特征缩放的语义分割模型进行训练；
如图6所示，32倍特征缩放的语义分割模型，与图像分类模型非常相似，up_conv_32中的32是指反卷积层的步长，也就是放大的倍数，与前面卷积层中的数字含义不同，前面卷积层的数字代表着卷积的序号
40502)拷贝权重到16倍特征缩放的语义分割模型，并进行一定迭代次数的训练；
如图7所示，刨除网络额外的卷积、反卷积，以及融合池化等部分外，网络主体结构没有发生变化，而这些被刨除的部分，并不含有可训练的参数，因而可以满足权重拷贝的要求；
40503)在8倍特征缩放的语义分割模型上完成训练，因为这三种不同特征缩放倍数的语义分割模型，主体网络结构是相同的，也就是说它们包含的权重是相同的，所以在拷贝权值过程中，不需要做任何的适配；
如图8所示，8倍特征缩放的语义分割网络结构更为复杂，但因为保留了pool3和pool4处的特征数据，因而可以得到最精细的语义分割结果；
如图10所示，即完成道路提取的效果。如图9所示，本发明在数据集上的准确率高达97％，即每100个像素，只有3个像素被错误归类，因此与实际效果相比，使用模型提取得到的道路图几乎没有肉眼可见的分别。
Claims (6)
1.一种基于遥感影像和深度学习的道路提取方法，其特征在于包括以下步骤：
1)在遥感影像中，确定遥感影像的分辨率并截取，对截取遥感影像进行数据标注；
2)使用Canny边缘检测算法对截取的遥感影像进行预处理，通过对图像边缘进行提取，并将提取得到的图像与原图像叠加，突出道路特征，用以加速学习；
3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，将上述图像特征信息在特征提取模型构建的流程中，传递给下一级的语义分割模型；
4)搭建一个语义分割模型，用于在遥感影像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中；
步骤3)搭建一个图像分类模型，通过在对基础的网络进行分类任务的训练中，在网络的参数存留下低级的图像特征信息，具体为：
301)以VGG-16网络作为基础模型，搭建图像分类模型卷积层；
302)搭建图像分类模型的全连接层；
303)图像分类模型使用Softmax结合交叉熵作为损失层，对于一个K类分类，Softmax的计算过程为：
其中，ai为向量a中任意一个元素，aj为中间元素，j为中间变量；
304)训练图像分类模型，将图像的低层次特征保存在图像分类模型中；
步骤301)中，以VGG-16网络作为基础模型，搭建图像分类模型过程为：
30101)第1层和第2层均为64个卷积核，卷积核大小为3，步长为1，填充1的卷积层，用以在不改变尺寸大小的同时，引入足量的参数，不改变尺寸大小的意义在于不破坏特征在空间中的结构；
30102)第3层为步长和卷积核大小均为2的最大池化层，用以减小尺度，同时尽可能的保留特征信息；通过卷积对尺寸影响的规律计算，在第3层的池化输出的尺寸是112*112，而后第4层和第5层均为128个卷积核，卷积核大小为3，步长为1，填充1的卷积层，这两层会保持尺寸为112*112，只是通过128个卷积核，引入更多参数；
30103)第6层为步长和卷积核大小均为2的最大池化层，用以减小尺寸，将其降低为56*56；之后第7、第8层、第9层使用大小为3的卷积核，步长为1，充填为1，卷积核的数量为256个的卷积层；此卷积过程中，同样不会对尺寸造成改变；
30104)第10层为池化层，与前文的池化层参数相同，第11、12、13层均为卷积核的数量为512，卷积核大小为3，步长为1，充填1的卷积层；第14层到第17层，与第10层到第13层的结构相同；
30105)第18层是池化层，与前文池化层参数相同，然后是两个分别具有4096个神经元的全连接层，接着是具有1000个神经元的全连接层，用于分类训练；
步骤302)中，搭建图像分类模型的全连接层为：
30201)所有的卷积层和全连接层均使用线性整流函数作为激活函数；
30202)在最后3层的全连接层上，使用概率为0.5的dropout，防止网络在训练时发生过拟合；
步骤304)中，训练图像分类模型为：
30401)在使用遥感影像数据集进行分类训练前，先使用Image Net数据集进行预训练；
30402)对练图像分类模型再次使用道路遥感影像分类数据进行训练，弥补分类模型中，对遥感影像相关特征的缺失。
2.根据权利要求1所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤1)中对截取遥感影像进行数据标注为：
101)观察并测量遥感影像所覆盖的地理范围，结合要提取的道路实际情况，截取图像分类和语义分割任务的原始数据是尺寸为256*256，即0.23像素每米分辨尺度的RGB遥感的影像；
102)定义道路为三级以上的公路，即双车道，8.5米宽以上的公路；
103)像素级的图像标注，在图像上标注道路像素的问题转化为对矩阵元素的二分类问题；
设图像矩阵M为:
其中，为图像矩阵，(Rij，Gij，Bij)为图像矩阵M上的任意元素，对于尺寸为256*256的训练图像，有i＝256，j＝256；
104)对于图像矩阵M上的任意元素(Rij，Gij，Bij)，设道路图像的像素集合为R，可生成一个新图像矩阵M'，其任意元素aij，有：
新的图像矩阵M'即为标注结果。
3.根据权利要求1所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤2)中使用Canny边缘检测算法对截取的遥感影像进行预处理为：
201)用高斯滤波去除影像噪点，得到去噪后的图像；
202)使用Sobel算子，利用卷积操作计算遥感影像x和y两个方向的梯度，尺寸为3的Sobel算子，在x和y两个方向的卷积核如下:
203)提取边缘信息时，缩减边缘，只保留局部最大梯度，通过Canny算法使用两个阈值，来区分边缘像素，利用低阈值过滤掉噪声或颜色变化引起的小的梯度值，利用高阈值区分强边缘点和弱边缘点。
4.根据权利要求1所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤4)中，搭建一个语义分割模型，用于在遥感影像图像中分割出道路信息；在经过训练后，提取道路信息的网络参数将留存在分割模型中，具体为：
401)利用FCN网络搭建语义分割模型，只在第一层卷积层中进行填充修改，并将最后的全连接层替换成卷积层；
402)反卷积操作，将图像恢复为与原图相同的尺寸；
403)累加特征图需要融合池化操作，对两个n×n特征图矩阵X，Y：
使用融合函数f(x，y)进行融合池化，有结果特征图FP：
用于累加的融合池化，有f(x，y)＝x+y；
其中，X、Y为n×n矩阵，x、y及其下标为矩阵中对应的元素；
404)对最后一层卷积层进行裁剪处理，将裁剪处理后得到的特征图像输入SoftmaxLossLayer层；
405)对语义分割模型进行训练，得到训练图像。
5.根据权利要求4所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤401)中，利用FCN网络搭建语义分割模型，只在第一层卷积层中进行填充修改，并将最后的全连接层替换成卷积层，包括：
40101)对卷积层中的第一层做大小为100的填充；
40102)在池化层的第五层之后，语义分割模型将图像分类模型中的全连接层1，2，3替换为卷积层14，15，16。
6.根据权利要求4所述的基于遥感影像和深度学习的道路提取方法，其特征在于：步骤405)中，对语义分割模型进行训练，具体为：
40501)采取多阶段的训练方式，使用32倍特征缩放的语义分割模型进行训练；
40502)拷贝训练图像到16倍、8倍特征缩放的语义分割模型，并进行迭代次数的训练；
40503)在8倍特征缩放的语义分割模型上完成训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910104050.7A CN109800736B (zh) | 2019-02-01 | 2019-02-01 | 一种基于遥感影像和深度学习的道路提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910104050.7A CN109800736B (zh) | 2019-02-01 | 2019-02-01 | 一种基于遥感影像和深度学习的道路提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109800736A CN109800736A (zh) | 2019-05-24 |
| CN109800736B true CN109800736B (zh) | 2023-07-21 |
Family
ID=66561889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910104050.7A Active CN109800736B (zh) | 2019-02-01 | 2019-02-01 | 一种基于遥感影像和深度学习的道路提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109800736B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263920B (zh) * | 2019-06-21 | 2021-08-10 | 北京石油化工学院 | 卷积神经网络模型及其训练方法和装置、巡检方法和装置 |
| CN110298321B (zh) * | 2019-07-02 | 2021-03-23 | 中国科学院空天信息创新研究院 | 基于深度学习图像分类的道路阻断信息提取方法 |
| CN110399820B (zh) * | 2019-07-16 | 2023-07-25 | 西安工程大学 | 一种公路路边景物视觉识别分析方法 |
| CN110633633B (zh) * | 2019-08-08 | 2022-04-05 | 北京工业大学 | 一种基于自适应阈值的遥感影像道路提取方法 |
| CN110807376A (zh) * | 2019-10-17 | 2020-02-18 | 北京化工大学 | 基于遥感图像的城外道路提取方法及装置 |
| CN110751111B (zh) * | 2019-10-24 | 2021-04-27 | 成都大成均图科技有限公司 | 基于高阶空间信息全局自动感知的道路提取方法和系统 |
| CN112749578A (zh) * | 2019-10-29 | 2021-05-04 | 中科星图股份有限公司 | 一种基于深度卷积神经网络的遥感图像自动道路提取方法 |
| CN110929621B (zh) * | 2019-11-15 | 2022-09-23 | 中国人民解放军63729部队 | 一种基于拓扑信息细化的道路提取方法 |
| CN110992317B (zh) * | 2019-11-19 | 2023-09-22 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于语义分割的pcb板缺陷检测方法 |
| CN111046768B (zh) * | 2019-12-04 | 2022-02-01 | 武汉大学 | 一种同时提取遥感影像道路路面和中心线的深度学习方法 |
| CN111028178B (zh) * | 2019-12-20 | 2022-04-29 | 武汉大学 | 一种基于深度学习的遥感影像数据自动化几何纠正方法 |
| CN111368843B (zh) * | 2020-03-06 | 2022-06-10 | 电子科技大学 | 一种基于语义分割的冰上湖提取的方法 |
| CN111523606B (zh) * | 2020-04-28 | 2023-04-28 | 中交信息技术国家工程实验室有限公司 | 一种道路信息的更新方法 |
| CN112084842B (zh) * | 2020-07-28 | 2024-06-21 | 北京工业大学 | 一种基于深度语义模型的水文遥感图像目标识别方法 |
| CN112000099A (zh) * | 2020-08-26 | 2020-11-27 | 大连理工大学 | 动态环境下协作机器人柔性路径规划方法 |
| CN112070037B (zh) * | 2020-09-11 | 2022-09-30 | 中国科学院空天信息创新研究院 | 基于遥感影像的道路提取方法、装置、介质及设备 |
| CN112148894B (zh) * | 2020-09-30 | 2024-01-26 | 武汉大学 | 一种基于深度学习和定性空间推理的泛在道路信息定位方法 |
| CN112329647A (zh) * | 2020-11-09 | 2021-02-05 | 西南交通大学 | 基于U-Net神经网络的土地利用类型识别方法 |
| CN112232303B (zh) * | 2020-11-16 | 2023-12-19 | 内蒙古自治区农牧业科学院 | 一种基于高分遥感影像的草原道路信息提取方法 |
| CN112528803B (zh) * | 2020-12-03 | 2023-12-19 | 中国地质大学（武汉） | 道路特征提取方法、装置、设备及存储介质 |
| CN112598692A (zh) * | 2020-12-21 | 2021-04-02 | 陕西土豆数据科技有限公司 | 基于标记像素矩阵的遥感影像分割后处理算法 |
| CN112668447B (zh) * | 2020-12-24 | 2022-03-15 | 中国科学院地理科学与资源研究所 | 一种基于深度学习的无人机影像道路自动提取方法和系统 |
| CN112686197B (zh) * | 2021-01-07 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
| CN112733702A (zh) * | 2021-01-07 | 2021-04-30 | 华侨大学 | 基于遥感图像的人行道检测方法、装置、设备及存储介质 |
| CN112733800B (zh) * | 2021-01-22 | 2021-10-22 | 中国科学院地理科学与资源研究所 | 基于卷积神经网络的遥感图像道路信息提取方法和装置 |
| CN113361473B (zh) * | 2021-06-30 | 2023-12-08 | 北京百度网讯科技有限公司 | 图像处理、模型训练方法、装置、设备、存储介质及程序 |
| CN114092801A (zh) * | 2021-10-28 | 2022-02-25 | 国家卫星气象中心(国家空间天气监测预警中心) | 基于深度语义分割的遥感影像云检测方法及装置 |
| CN114414090B (zh) * | 2021-12-14 | 2023-04-28 | 厦门大学 | 基于遥感影像和多层感知的地表温度预测方法及系统 |
| CN115019191B (zh) * | 2022-04-22 | 2024-09-06 | 中国石油大学(华东) | 一种基于Hausdorff距离的大件运输关键道路空间通行性判定方法 |
| CN116310358B (zh) * | 2023-02-23 | 2023-12-15 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车螺栓丢失检测方法、存储介质及设备 |
| CN116434065B (zh) * | 2023-04-19 | 2023-12-19 | 北京卫星信息工程研究所 | 全色几何校正遥感影像的水体分割方法 |
| CN116486273B (zh) * | 2023-06-20 | 2023-09-01 | 南昌工程学院 | 一种小样本遥感图像水体信息提取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573701A (zh) * | 2014-12-02 | 2015-04-29 | 华中科技大学 | 一种玉米雄穗性状的自动检测方法 |
| CN107016726A (zh) * | 2015-11-06 | 2017-08-04 | 富士通株式会社 | 叠加显示方法和叠加显示设备 |
| CN108121991A (zh) * | 2018-01-06 | 2018-06-05 | 北京航空航天大学 | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 |
| CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8540158B2 (en) * | 2007-12-12 | 2013-09-24 | Yiwu Lei | Document verification using dynamic document identification framework |
| CN107610141B (zh) * | 2017-09-05 | 2020-04-03 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
-
2019
- 2019-02-01 CN CN201910104050.7A patent/CN109800736B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104573701A (zh) * | 2014-12-02 | 2015-04-29 | 华中科技大学 | 一种玉米雄穗性状的自动检测方法 |
| CN107016726A (zh) * | 2015-11-06 | 2017-08-04 | 富士通株式会社 | 叠加显示方法和叠加显示设备 |
| CN108121991A (zh) * | 2018-01-06 | 2018-06-05 | 北京航空航天大学 | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 |
| CN109255334A (zh) * | 2018-09-27 | 2019-01-22 | 中国电子科技集团公司第五十四研究所 | 基于深度学习语义分割网络的遥感影像地物分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于2D-3D语义传递的室内三维点云模型语义分割;熊汉江 等;《武汉大学学报(信息科学版)》;第43卷(第12期);第2303-2309页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109800736A (zh) | 2019-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| EP3614308B1 (en) | Joint deep learning for land cover and land use classification | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN111914907A (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
| CN111986099A (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN111598098B (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| CN107918776A (zh) | 一种基于机器视觉的用地规划方法、系统及电子设备 | |
| CN114067219A (zh) | 一种基于语义分割与超像素分割融合的农田作物识别方法 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| CN115858840B (zh) | 基于场景的遥感影像镶嵌方法 | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| Arellano-Verdejo et al. | Use of semantic segmentation for mapping Sargassum on beaches | |
| CN118230166A (zh) | 基于改进Mask2YOLO网络的玉米冠层器官识别方法及冠层表型检测方法 | |
| Bhimra et al. | Using 3d residual network for spatio-temporal analysis of remote sensing data | |
| CN115700737A (zh) | 一种基于视频监控的溢油检测方法 | |
| CN115063684A (zh) | 一种基于遥感影像场景划分的农机轨迹识别方法及其应用方法 | |
| Arundel et al. | GeoAI for Spatial Image Processing | |
| CN114140698A (zh) | 一种基于FasterR-CNN的水系信息提取算法 | |
| Dwikarsa et al. | Benthic habitat classification using multiscale GEOBIA on orthophoto images of Karimunjawa waters | |
| Balaji et al. | Deep Learning Technique For Effective Segmentation Of Water Bodies Using Remote Sensing Images | |
| CN117765410B (zh) | 遥感影像双分支特征融合固废识别方法、系统及电子设备 | |
| Awad et al. | Multicomponent image segmentation: a comparative analysis between a hybrid genetic algorithm and self‐organizing maps | |
| Zheng | Evaluating high resolution GeoEye-1 satellite imagery for mapping wildlife in open savannahs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |