CN112733800B - 基于卷积神经网络的遥感图像道路信息提取方法和装置 - Google Patents

基于卷积神经网络的遥感图像道路信息提取方法和装置 Download PDF

Info

Publication number
CN112733800B
CN112733800B CN202110091002.6A CN202110091002A CN112733800B CN 112733800 B CN112733800 B CN 112733800B CN 202110091002 A CN202110091002 A CN 202110091002A CN 112733800 B CN112733800 B CN 112733800B
Authority
CN
China
Prior art keywords
data
road
remote sensing
sample
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110091002.6A
Other languages
English (en)
Other versions
CN112733800A (zh
Inventor
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Geographic Sciences and Natural Resources of CAS
Original Assignee
Institute of Geographic Sciences and Natural Resources of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Geographic Sciences and Natural Resources of CAS filed Critical Institute of Geographic Sciences and Natural Resources of CAS
Priority to CN202110091002.6A priority Critical patent/CN112733800B/zh
Publication of CN112733800A publication Critical patent/CN112733800A/zh
Application granted granted Critical
Publication of CN112733800B publication Critical patent/CN112733800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于卷积神经网络的遥感图像道路信息提取方法和装置，方法包括先获取研究区域的初始遥感图像数据；再对初始遥感图像数据进行预处理，得到样本数据；所述样本数据包括样本训练数据和样本测试数据；根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；所述CNN网络模型包括所述预先构建的卷积神经网络框架模型；根据所述样本测试数据和所述CNN网络模型得到初始道路信息；对所述初始道路信息进行滤波处理，提取得到所述遥感图像道路信息。本申请的方法具有很好的道路信息提取能力，能够有效地、精确地、高性能地提取道路，得到的遥感图像道路信息更加准确、可靠。

Description

基于卷积神经网络的遥感图像道路信息提取方法和装置
技术领域
本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络的遥感图像道路信息提取方法和装置。
背景技术
高分辨率遥感图像含有较为丰富详细的地物信息，作为数据源被广泛应用在土地利用规划、水体道路提取等地学的各领域。道路作为高分辨率遥感图像中主要的地表物体，是城市应急、路径规划、交通导航、资源调配等重要的承载体，其意义不言而喻。从高分遥感图像中提取道路信息比用传统的测绘方法，不仅省时、省力，而且量大面广。但如何准确有效的从高分辨率影像数据中提取道路信息，成为目前研究的热点和难点。
国内外的学者们为从遥感图像中提取道路信息，进行了长期的探索，提出了诸多的高分辨率遥感图像道路信息提取方法，比较有代表性的有模块匹配、知识驱动、面向对象等方法。基于模块匹配的方法是利用遥感图像的几何特征、拓扑关系和辐射特征等固有特征来提取道路信息，但是依赖具有主观性因素的专家知识，容易出现道路信息提取不准确、不完整的情况。基于知识驱动的方法尽管充分考虑道路信息的几何知识和空间信息知识，并融合多源遥感数据等辅助知识，但依然存在计算复杂度较大，过于依赖道路信息的几何特征等缺点。基于面向对象的方法虽然通过分割获取最小对象单元，使用光谱、几何、纹理等相关特征进行预测分类，有效地解决了基于单一像素分类的不足，但仍然存在大量的道路断裂、交叉路口提取不佳的情况。
近年来，由于人工智能的迅猛发展，使用机器学习(Machine Learning，ML)和深度学习(Deep Learning，DL)的方法对高分辨遥感图像进行道路信息提取受到越来越多的学者的追捧和青睐，这一方法逐渐成为当前信息提取方面研究的热点，也存在提取精度和提取效率的难点。基于机器学习的遥感图像道路提取方法需要制作大量的训练样本数据来训练模型，从而达到道路提取的目的。常见的机器学习方法包括K-近邻(K-NearestNeighbors，KNN)、随机森林(Random Forest，RF)和支持向量机(Support Vector Machine，SVM)，然而，这些方法只利用遥感图像的光谱特征和单一的像素，未能充分考虑道路像素点周围的空间信息，常常出现“椒盐”噪声现象。作为深度学习的代表性方法之一，卷积神经网络(Convolutional Neural Network，CNN)具有局部感知和参数共享的特点，表现出强大的局部信息提取能力，并在一定程度上减轻了由于网络复杂引起模型过拟合的现象，有效的从大量的样本数据中学习到相应的特征，被广泛应用在目标检测、图像分类、图像分割等特征提取任务，取得了显著性的成果。目前，基于深度学习语义像素分类的方法有基于端到端(End-to-End)和基于像素块(Patch-Based)两种形式。基于端到端的方法需要构建编码、解码的CNN在小幅图像上训练学习，然后精细化地提取道路，但该方法不仅需要大量的训练样本数据，还需要建立复杂的模型和较深的网络层次，消耗巨大的时间成本，存在道路提取不准确、提取效率低的现象。基于像素块的方法则需要构建CNN以滑动窗口的形式逐个预测像素，适合较大范围的道路信息提取，尽管该方法充分考虑道路的空间信息，但由于受到建筑物等其它地物影响，容易出现误分类情况。
因此，需要提供一种针对上述现有技术中不足的改进技术方案。
发明内容
本发明的目的是提供一种基于卷积神经网络的遥感图像道路信息提取方法和装置，用以克服上述现有技术中存在的问题。
为了实现上述目的，本发明提供如下技术方案：
一种基于卷积神经网络的遥感图像道路信息提取方法，所述方法包括：
步骤1，获取研究区域的初始遥感图像数据；所述初始遥感图像数据包括全色波段影像和多光谱影像；
步骤2，对所述初始遥感图像数据进行预处理，得到样本数据；所述样本数据包括样本训练数据和样本测试数据；
步骤3，根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；所述CNN网络模型包括所述预先构建的卷积神经网络框架模型；
所述卷积神经网络框架模型包括数据输入、特征提取和分类器；所述数据输入用于输入所述样本训练数据或所述样本测试数据，所述特征提取用于对所述样本训练数据或所述样本测试数据进行特征提取操作，所述分类器用于根据特征提取结果输出分类结果；所述特征包括道路和非道路；
步骤4，根据所述样本测试数据和所述CNN网络模型得到初始道路信息；
步骤5，对所述初始道路信息进行滤波处理，提取得到所述遥感图像道路信息。
优选地，所述预处理包括融合处理，所述融合处理是将所述全色波段影像融合进多光谱影像，得到更新遥感图像数据。
优选地，所述预处理还包括像素扩展处理，所述像素扩展处理是指对所述更新遥感图像数据进行以像素为中心，进行邻域扩展的处理，得到所述样本数据。
优选地，所述特征提取操作包括卷积操作、批量归一化操作、激活操作和池化操作。
优选地，所述批量归一化操作是对特征数据进行缩放，使特征数据服从均值为0且方差为1的标准正态分布。
优选地，所述激活操作通过激活函数实现，所述激活函数包括Sigmoid激活函数和ReLU激活函数。
优选地，步骤3中，对所述样本训练数据进行归一处理，根据归一处理后的样本训练数据和所述预先构建的卷积神经网络框架模型得到CNN网络模型。
优选地，所述对所述初始道路信息进行滤波处理，提取得到所述遥感图像道路信息包括：
对所述初始道路信息进行阈值滤波，得到二值图；
再对所述二值图进行形状滤波，提取得到所示遥感图像道路信息。
为了实现上述目的，本发明还提供如下技术方案：
一种基于卷积神经网络的遥感图像道路信息提取装置，所述装置包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现上述所述基于卷积神经网络的遥感图像道路信息提取方法的步骤。
与最接近的现有技术相比，本发明提供的技术方案具有如下优异效果：
本申请提出的基于卷积神经网络的遥感图像道路信息提取方法和装置，对研究区域的初始遥感图像数据进行预处理得到样本数据；所述样本数据包括样本训练数据和样本测试数据；然后根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；再根据所述样本测试数据和所述CNN网络模型得到初始道路信息；最后对所述初始道路信息进行滤波处理，提取得到所述遥感图像道路信息。本申请的方法具有很好的道路信息提取能力，能够有效地、精确地、高性能地提取道路，得到的遥感图像道路信息更加准确、可靠。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。其中：
图1为本申请基于卷积神经网络的遥感图像道路信息提取方法流程图；
图2为本申请实施例中研究区域及其遥感图像示意图；
图3为本申请实施例中对初始遥感图像数据融合处理过程示意图；
图4为本申请实施例中像素扩展原理示意图；
图5为本申请实施例中样本数据的制作示意图；
图6为本申请实施例中研究区域四个波段像素密度统计结果图；
图7为本申请卷积神经网络框架模型结构图；
图8为本申请实施例中遥感图像道路信息提取方法的道路信息提取和验证的过程示意图；
图9为本申请实施例中CNN、SVM、KNN、RF四种模型提取的感兴趣道路区域和大面积的非道路区域图；
图10为本申请实施例中对初始道路信息进行阈值滤波处理的结果图；
图11为本申请实施例中对初始道路信息进行阈值滤波处理的结果图；
图12为本申请实施例中CNN网络模型训练过程中损失值和准确率的变化幅度示意图；
图13为本申请实施例中的CNN、SVM、KNN、RF四种模型得到的ROC曲线示意图；
图14为本申请实施例中CNN、SVM、KNN、RF四种模型精度对比图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。各个示例通过本发明的解释的方式提供而非限制本发明。实际上，本领域的技术人员将清楚，在不脱离本发明的范围或精神的情况下，可在本发明中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本发明包含归入所附权利要求及其等同物的范围内的此类修改和变型。
本申请基于卷积神经网络的遥感图像道路信息提取方法如图1所示，先对研究区域的初始遥感图像数据进行预处理，得到样本数据；所述样本数据包括样本训练数据和样本测试数据；然后根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；再根据所述样本测试数据和所述CNN网络模型得到初始道路信息；最后对所述初始道路信息进行滤波处理，提取得到所述遥感图像道路信息。
方法实施例：
步骤S1，获取研究区域的初始遥感图像数据；所述初始遥感图像数据包括全色波段影像和多光谱影像；
在本申请实施例中，研究部区域选择北京市大兴区北臧村镇，如图2所示，该研究区域中心点的坐标为东经116°16′30″北纬39°41′15″，面积大小约为12.54km2，包含道路、建筑物、绿地、裸地等多种地物类型。
通过高分二号(GF-2)卫星获取研究区域的遥感图像数据，高分二号(GF-2)卫星搭载有0.8m全色和3.2m多光谱2台高分辨率相机，观测幅宽可达45.3km，具有亚米级空间分辨率、大幅宽成像和高定位精度等特点。
由于高分二号(GF-2)卫星搭载有0.8m全色和3.2m多光谱2台高分辨率相机，因此，获取的遥感图像数据包括全色波段影像和多光谱影像。其中，全色波段影像的空间分辨率1米，多光谱影像的空间分辨率为4米。
步骤S2，对所述初始遥感图像数据进行预处理，得到样本数据集；所述样本数据集包括样本训练集和样本测试集；
本步骤旨在对初始遥感图像数据进行预处理，得到后续处理过程需要的样本数据集。
步骤S21，对所述初始遥感图像数据进行预处理，得到更新遥感图像数据；
在本申请实施例中，初始遥感图像数据中的全色波段影像的空间分辨率1米，多光谱影像的空间分辨率为4米，为了提高光光谱影像带空间分辨率，对初始遥感图像数据进行融合处理如图3所示，具体采用Gram-Schmidt图像融合方法将全色波段影像融合进多光谱影像，通过融合处理得到更新遥感图像，更新遥感图像为多光谱影像。本申请通过融合处理得到的更新遥感图像既保持了多光谱图像的光谱特性，也提升了多光谱影像的空间分辨率。
步骤S22，根据所述更新遥感图像数据得到样本数据；样本数据包括样本训练数据和样本测试数据；
在本申请实施例中，按照随机均匀取样原则，在更新遥感图像中选取200组道路样本点和200组非道路样本点，构成样本测试数据；在更新遥感图像中选取200组道路样本点和200组非道路样本点，构成样本训练数据。但单一的像素点未包含其周围的像素信息，且基于单一的像素分类容易出现“椒盐”噪声现象。因此，采用像素扩展方法，将样本数据对应的样本点及周围的像素组成大小为15×15×4(4为高分2号的波段数)的像素块。这样的处理方法得到的像素块样本训练数据既满足本申请中CNN网络模型二维卷积的运算规则，也使得样本数据包含更多的道路空间信息。其中，像素扩展的原理如图4所示，样本数据的制作过程如图5所示。此处的二维卷积的运算规则是指表1中前两次的Conv操作。
在此需要说明的是：像素扩展处理是以像素为中心，进行邻域扩展。比如对于1×1大小的像素点，把它周围的像素点考虑进来，组成N×N大小的像素块。
作为像素扩展值N，取值范围的大小主要考虑以下因素：1、地物的复杂程度，2、图像分辨率的大小，即像元的大小；3、机器的性能，主要CPU或者GPU。
从计算工作量的角度看，像素扩展值不能太大，否则计算机无法承受，但是也不能太小，否则无法达到好的效果，所以虽然理论上可以选取1到无穷大，但是实际上一般都限制在1-5000，实际应用时，常用的是5-40(比如N可以选取5，7，9,11,13,15,17,20,22,24,26,30,33,35,38)，在本申请实施例中选取15作为像素扩展值，即扩大到15*15的像素。
步骤S3，根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；
卷积神经网络是一种深层次的前馈神经网络模型，一般由卷积层、池化层、激活函数、全连接层和分类器等结构单元组成。在模型训练时，图像数据通过卷积计算提取局部区域特征，产生新的特征(特征映射)，紧接着使用激活函数进行非线性映射，然后在最后一次Conv操作中利用池化层对其向下采样，减少特征维度，减少特征维度可以压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。在经过多层的卷积、激活、池化交替操作，最后使用全连接层和分类器对输出进行分类。
步骤31，预先构建卷积神经网络框架模型；
在本申请中，针对道路信息提取的目的，预先构建的卷积神经网络框架模型的结构如图7所示，包括数据输入、特征提取和分类器。数据输入用于输入样本训练数据或样本测试数据，特征提取用于对样本训练数据或样本测试数据进行特征提取操作，分类器用于根据特征提取结果输出分类结果。
数据输入为4×15×15大小的样本训练数据像素块，4表示通道数，即高分2号遥感图像的4个波段，15×15表示样本训练数据像素块的宽和高。
特征提取是由三次连续的卷积、批量归一化(Batch Normalization，BN)、激活函数、池化四部分组成，本申请中也称之为Conv操作(特征提取操作)。
具体的，卷积层接收三维的输入特征数据即样本训练数据，输出相应的特征图。特征数据经过卷积计算之后，都会进行一次批量归一化BN处理。批量归一化BN能够缩放特征数据，并使特征数据服从均值为0且方差为1的标准正态分布，有效地解决了随着网络深度的增加而造成的梯度消失现象，从而能够提升网络模型学习效率，加速收敛过程，增强分类效果。
激活函数将批量归一化BN处理后的特征数据进行非线性映射，使得网络具有非线性因素的特点，提升了卷积神经网络框架模型的学习能力。像素块样本训练数据经过卷积、BN、激活函数后，其特征映射的维度大小不变，为了减少网络模型计算的复杂度，池化层通过向下采样的方式，对特征进行压缩，减小计算量。在最后一次Conv操作中利用池化层对其向下采样，减少特征维度，减少特征维度可以压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。
在本申请实施例中，分类器包括两层全连接神经网络和Softmax，每层全连接神经网络都是由多个神经元组合而成，可以将特征提取的196*1*1参数进行非线性计算，得到两个概率结果。然后由Softmax将神经元输出的两个概率值映射到[0，1]区间内，并且所有映射值之和为1，其中值最大的为道路点。
Figure BDA0002912650660000081
式中：xi为当前将要进行映射的概率，j为道路输出的两个概率，j＝2。
步骤32，根据所述样本训练数据和所述卷积神经网络框架模型得到CNN网络模型；
将步骤2中得到的样本训练数据直接输入卷积神经网络框架模型中进行训练，在卷积神经网络框架模型的训练作用下，得到CNN网络模型。
在一些优选实施方式中，本申请对研究区域的更新遥感图像中四个波段像素值进行分析，如图6所示，四个波段像素值具有范围跨度大、分布较为集中的特点，若直接将样本训练数据输入到卷积神经网络框架模型进行训练，会造成学习速度变慢、模型精度降低等情况。为解决上述问题，避免由于奇异的样本数据引起后续卷积神经网络框架模型训练过程无法收敛的现象，本申请采用数据归一化处理，将更新遥感图像的样本数据集进行归一处理。具体采用z-score标准化对样本训练数据进行处理，使得归一化后的数据符合均值为0、标准差为1的标准正态分布。
其中，z-score标准化公式：
Figure BDA0002912650660000082
式中：x*表示归一化的像素值，x为初始像素值，μ为研究区域的所有像素值的均值，δ为研究区域的所有像素值的标准差。
将进行归一化后的样本训练数据代入卷积神经网络框架模型进行训练，得到CNN网络模型。
表1
Figure BDA0002912650660000091
注：None表示模型训练中像素块的个数。
本申请CNN网络模型结构的具体参数如表1所示。在特征提取部分，卷积层均采用3×3大小的卷积核，设定步长为1，并使用Padding操作保持特征图在卷积运算过程中的维度大小不变。从表1可以发现，卷积运算增加了输出数据特征的维度，因此本申请使用了池化操作减小了特征图的宽和高，去除冗余的特征信息。特别是在前两次的Conv操作中，均使用了大小为2×2、步长为2的最大池化，可以将特征图维度缩小1/4；而在第三次Conv操作中，由于Conv3卷积后输出特征的宽高维度为3×3，为了保留更多的特征信息，决定使用了3×3大小的最大池化。
具体在样本训练数据通过数据输入特征提取部分，然后执行特征提取的第一次特征提取步骤即Conv1，卷积层采用3×3大小的卷积核，大小为2×2、步长为2的最大池化；第一次特征提取步骤Conv1执行完，再执行第二次特征提取步骤Conv2，卷积层仍为3×3大小的卷积核，大小为2×2、步长为2的最大池化；第二次特征提取步骤Conv2执行完，最后再执行第三次特征提取步骤Conv3，卷积层采用3×3大小的卷积核，大小为3×3、步长为3的最大池化，特征提取的输出结果为宽高维度为3×3的图像。
在CNN网络模型中，为了避免单纯的线性组合，一般会添加激活函数进行非线性映射，而激活函数的选取对于CNN模型有着重要的影响。考虑到道路提取属于二值法分类，本申请选取了Sigmoid、ReLU两种激活函数。Sigmoid激活函数将特征值非线性映射到(0，1)区间。不同的是，ReLU激活函数在大于0的区域上恒等映射，在小于0的区域上映射为0。基于本申请的CNN网络模型设计的特点，在第一、二次Conv操作上使用了Sigmoid激活函数，第三次使用了ReLU激活函数，从而保证了道路信息精准的提取。
Sigmoid激活函数为
Figure BDA0002912650660000101
ReLU激活函数为
Figure BDA0002912650660000102
式中：x为特征值。
步骤4，根据所述样本测试数据和所述CNN网络模型得到初始道路信息；
样本测试数据即为研究区域的样本数据，将样本测试数据代入至CNN网络模型中，输出就能得到遥感图像道路信息。
本申请实施例中，通过CNN网络模型和三种传统的机器学习方法(KNN、RF和SVM)提取处来的道路概率位于[0，1]区间内，经对比分析本申请CNN网络模型提取得到道路信息更加准确、可靠。但是CNN网络模型输出得到的遥感图像道路信息中还出现椒盐噪声，而且也受少量建筑物等其它地物的影响。为此，需要对CNN网络模型得到的初始道路信息进行优化。
一些优选实施例，为了提高CNN网络模型的可靠性，使用准确率(Accuracy，ACC)、召回率(Recall，R)、精确率(Precision，P)、F1分数、ROC曲线和AUC六种评价指标进行评价，本申请还可以根据样本测试数据的真实情况和模型预测的结果进行对比验证。根据样本测试数据的真实情况和模型预测的结果，建立如表2所示的混淆矩阵。
表2
Figure BDA0002912650660000111
注：TP，FN，FP，TN分别表示真正例、假反例、假正例、真反例。
根据表2展示的结果，可以得到准确率、召回率和精确率的计算公式：
Figure BDA0002912650660000112
Figure BDA0002912650660000113
Figure BDA0002912650660000114
ACC表示为模型预测结果中正确的比值，但并不能完全描述模型的好坏。由于P和R是一组矛盾的评价指标，本申请中对P和R进行加权平均，计算F1分数。F1分数调和平均了精确率和召回率，反映了模型分类识别的性能。
Figure BDA0002912650660000115
ROC是以假正例率(False Positive Rate，FPR)为横坐标、真正例率(TruePositive Rate，TPR)为纵坐标建立的曲线。AUC为ROC曲线下的面积，其值范围在[0.5，1]之间，值越大，说明CNN模型分类的准确性越好。
Figure BDA0002912650660000116
Figure BDA0002912650660000117
样本测试数据的真实情况和模型预测的结果进行对比验证结果一致，因此，本申请的CNN网络模型具有高的精确度和准确性。
步骤5，对所述遥感图像道路信息进行滤波处理，提取得到遥感图像道路信息。
基于CNN网络模型的道路信息提取方法本质上仍然属于监督学习领域的像素分类，还是会出现误分类的现象以及出现“椒盐”噪声，为了进一步优化道路提取的结果，再经过后续的优化处理会提高遥感图像道路信息的精准度。
在本申请实施例中，滤波处理包括阈值滤波和形状滤波。
步骤S51，对初始道路信息进行阈值滤波，得到二值图；
先借助ArcGIS软件，根据像素值的大小，将初始道路信息分为感兴趣道路区域、疑似道路区域和非道路区域。
然后在感兴趣道路区域和疑似道路区域之间，设定一个阈值，将大于阈值的像素值设定为道路点并取值为1，小于阈值时判断为非道路点并取值为0。
步骤S52，对所述二值图进行形状滤波。
经过阈值滤波处理得到的二值图中仍然存在建筑物误分类、其它地物类型干扰的情况。建筑物面积较小，常常以矩形的形状的呈现，而道路一般具有狭窄、长条、面积小的特征。基于两者不同的性质，可以通过形状滤波方法中的线性特征指数(Linear-FeatureIndex，LFI)和面积阈值，有效去除建筑物等其它地物的影响。
对二值图进行8连通区域分析计算，计算每个连通区域的LFI指数，之后设置LFI阈值和面积阈值，将同时大于两个阈值的连通区域判断为道路区域，否则为非道路区域。
Figure BDA0002912650660000121
式中：L，W为连通区域最小外接矩形的长宽大小，N为连通区域的面积。
本申请通过阈值滤波和形状滤波对初始道路信息进行滤波处理得到的遥感图像道路信息不受椒盐噪声和其他地物的影响，因此，提取得到的遥感图像道路信息更加准确、可靠。
装置实施例：
本申请还提出一种基于卷积神经网络的遥感图像道路信息提取装置，其特征在于，所述装置包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下方法步骤：
获取研究区域的初始遥感图像数据；所述初始遥感图像数据包括全色波段影像和多光谱影像；
对所述初始遥感图像数据进行预处理，得到样本数据；所述样本数据包括样本训练数据和样本测试数据；
根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；
所述卷积神经网络框架模型包括数据输入、特征提取和分类器；所述数据输入用于输入所述样本训练数据或所述样本测试数据，所述特征提取用于对所述样本训练数据或所述样本测试数据进行特征提取操作，所述分类器用于根据特征提取结果输出分类结果；所述特征包括道路和非道路；
根据所述样本测试数据和所述CNN网络模型得到初始道路信息；
对所述初始道路信息进行滤波处理，提取得到所述遥感图像道路信息。
该方法的详细过程已在方法实施例中详细介绍，此处不再赘述。
在本申请实施例中，为了验证上述方法的正确性，通过具体的实验进行验证，如图所示8为遥感图像道路信息提取和验证的过程，首先使用图像融合方法提升多光谱遥感影像的空间分辨率，再按照随机取样的原则和像素扩展的方法制作400组样本训练数据集和200组测试数据集。基于windows操作平台和Pytorch深度学习框架设计如图7所示的CNN网络模型，并选用Python3.7编程语言和Sklearn库构建KNN、RF和SVM三种机器学习算法。然后将样本训练数据输入到构建的各模型中进行训练学习，在训练CNN时，设置学习率为0.01，利用随机梯度下降(Stochastic Gradient Descent，SGD)优化函数和交叉熵损失函数共计训练100次。训练完成的CNN网络模型对预处理后的遥感图像进行道路提取实验，并使用阈值滤波和形状滤波优化道路提取结果。最后将样本测试集输入到CNN网络模型中，得到的预测结果与真实标签对比，采用准确率、召回率、精确率、F1分数、AUC和ROC曲线指标综合评估模型分类检测能力。
(1)遥感图像道路信息提取结果
将研究区域的遥感图像数据输入到训练完成的CNN、SVM、KNN、RF四个模型中，得到道路信息提取的结果图。为了较好的展示道路的提取结果，本文借助ArcGIS软件，将概率结果分为3类：感兴趣道路区域、疑似道路区域和非道路区域，并与研究区域图像叠加分析。
如图9所示(a)CNN，(b)SVM，(c)KNN，(d)RF模型道路提取结果，CNN、SVM、KNN、RF四种模型都能提取感兴趣道路区域和大面积的非道路区域，但SVM、KNN、RF含有较多的疑似道路区域(如图中E、F、G等区域)。其中CNN网络模型能较好的提取感兴趣道路区域，避免了大面积的疑似道路区域，具有较好的提取效果和能力。但是，CNN模型在一些出现裸地和建筑物错分现象以及小部分道路漏分的情况。SVM算法也能较好的区分感兴趣道路区域和非道路区域，但是主干道路、裸地部分出现了大量的疑似道路区域，在道路的交叉路口处，出现断裂、粘连的现象，未能较好的体现道路提取的完整性和准确性。从图9中(c)、(d)道路提取结果图可以发现，KNN和RF两种机器学习方法虽然提取了部分道路，却存在大面积的疑似道路区域(如图中F、G区域所示)，将大部分的裸地、建筑物错分为道路区域，并且出现了严重的椒盐噪声、道路粘连现象(如图中H区域所示)，不能较好的提取道路。
总体而言，三种机器学习方法尽管能提取道路，但存在严重的椒盐噪声、建筑物错分、道路漏分等现象。相比于SVM、KNN、RF算法，CNN方法借助其像素块的空间信息和卷积空间运算的优势，消除了大面积的椒盐现象，并能较好的提取出道路。为了进一步优化道路提取的结果，有必要进行滤波处理操作，以避免大面积连续道路提取可能出现的误分类现象。
(2)滤波处理操作结果
为了消除椒盐噪声、建筑物等其他地物的影响，使用阈值滤波和形状滤波的滤波处理方法优化了道路提取的结果。本申请使用卷积神经网络提取的道路结果，经过测试，设定阈值滤波的阈值为0.97、形状滤波的LFI指数阈值为7、连通区域面积阈值为200，将小于阈值的部分划为非道路区域，大于阈值的部分划分为感兴趣道路区域。
图10为本申请实施例中对CNN网络模型得到的初始道路信息进行阈值滤波处理的结果图，经过阈值滤波处理后，消除了部分疑似道路区域，但仍然存在建筑物等其他地物误分类的现象；将经过阈值滤波处理的结果图进行形状滤波处理，形状滤波得到的结果图如图11所示。
(3)精度分析与比较
如图12所示为CNN网络模型训练过程损失值和准确率的变化幅度示意图，其中，损失值随着训练次数的增加逐渐的减小、分类准确率在逐步上升，表明CNN模型训练正常。
为测试CNN、SVM、KNN、RF四种模型的优劣性，在研究区域中随机均匀地选取了100组道路样本点和100组非道路样本点，组成测试数据集。将测试数据集输入到训练完成的四个模型中，得到样测试本预测结果。根据混淆矩阵的规则和评价指标计算公式，得到如表3所示的测试结果评价、如图13所示的ROC曲线和如图14所示的模型精度对比图。
表3
Figure BDA0002912650660000151
注：*代表评价指标中最好的结果。
由表3可知，RF模型的正确率为91％，即测试集样本错分9％，P为94.57％，道路预测结果(模型将样本预测为道路的情况)错分5.43％，R为87％，道路样本漏分13％，F1分数为0.9062，AUC为0.9705；SVM模型的正确率为94.5％，即测试样本错分5.5％，P为0.9684，道路预测结果错分5.43％，R为0.92，道路样本漏分8％，F1分数为0.9436，AUC为0.9810；KNN模型的正确率为90％，即测试样本错分10％，P为0.8922，道路预测结果错分10.78％，R为0.91，道路样本漏分9％，F1分数为0.901，AUC为0.94；CNN模型的正确率为96％，即测试样本错分4％，P为1，道路预测结果无错分，R为0.92，道路样本漏分8％，F1分数为0.9583，AUC为0.99。
从图13可以看出，SVM、KNN、RF的ROC曲线位于CNN的下方，但RF(0.9705)、SVM(0.981)、KNN(0.94)的AUC都大于0.90，说明传统的机器学习方法在测试集的分类能力较好，但却稍劣于CNN方法。结合图14可知，RF、SVM、KNN和CNN的ACC都在90％以上，表明四个模型能较好的将测试数据集进行分类。其中，CNN(96.0％)拥有最高的ACC，说明在测试样本中分类正确的个数多于RF(91.0％)、SVM(94.5％)和KNN(90.0％)三种机器学习模型。另外，CNN拥有最高的F1分数(0.9583)和最大的AUC(0.99)，均大于其他三种模型，说明CNN模型在测试集上的分类性能较好。
CNN模型在测试数据集上的各种评价指标均优于RF、SVM、KNN三种传统的机器学习方法，并且评价值都在90％以上，说明基于像素块的CNN方法具有很好的道路信息提取能力，适合提取遥感影像的地物特征提取。
与现有技术相比，本发明基于卷积神经网络的遥感图像道路信息提取方法和装置，本申请对获取研究区域的初始遥感图像数据进行预处理，得到样本数据；所述样本数据包括样本训练数据和样本测试数据；然后根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；再根据所述样本测试数据和所述CNN网络模型得到初始道路信息；最后对所述初始道路信息进行滤波处理，提取得到所述遥感图像道路信息。其实质是基于像素块的CNN并结合滤波后处理的遥感道路信息提取方法。该方法使用CNN网络模型训练学习像素块样本的相应特征，然后保存模型进行遥感道路信息提取，最后通过阈值滤波和形状滤波后处理方法优化道路提取结果。
为了验证本申请方法的准确性，使用支持向量机(SVM)、随机森林(RF)、K-近邻(KNN)三种算法和基于像素块的卷积神经网络(CNN)模型对遥感图像道路信息提取，并对比分析了机器学习和深度学习在道路提取中的优缺点，并通过阈值滤波和形状滤波优化道路提取结果，最后进行道路提取结果评价、后处理分析和模型精度评估，得到以下结果：
(1)SVM、KNN和RF三种机器学习方法虽然能区分部分感兴趣道路区域和非道路区域，但是存在大面积的疑似道路区域。尽管可以通过阈值滤波的方式滤除疑似道路区域，但是在感兴趣道路区域中存在交叉路口粘连、道路断裂的现象，不能较好的提取道路信息。
(2)相比于传统的机器学习方法，CNN方法充分利用卷积运算的空间优势和像素块的更多的空间信息，较好的提取了感兴趣道路区域和非道路区域，很好的避免了大面积的疑似道路区域和粘连现象，消除了大面积的椒盐噪声。
(3)阈值滤波过滤了疑似道路区域，形状滤波消除了建筑物、裸地等其它地物的影响，提升了道路提取的效果，证明了后处理方法的有效性。
(4)CNN模型在测试集上的提取效果最好、分类精度最高，其中正确率高达96％，同时具有0.9583的F1分数和0.99的AUC，表明了CNN模型在道路提取的效果要优于三种传统的算法。
综上，本申请是一种有效、可信的遥感图像道路提取方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均在本发明待批权利要求保护范围之内。

Claims (3)

1.一种基于卷积神经网络的遥感图像道路信息提取方法，其特征在于，所述方法包括：
步骤1，获取研究区域的初始遥感图像数据；所述初始遥感图像数据包括全色波段影像和多光谱影像；
步骤2，对所述初始遥感图像数据进行预处理，得到样本数据；所述样本数据包括样本训练数据和样本测试数据；其中，所述预处理包括融合处理和像素扩展处理，所述融合处理是将所述全色波段影像融合进多光谱影像，得到融合后的遥感图像数据；所述像素扩展处理是指对所述融合后的遥感图像数据进行以像素为中心，进行邻域扩展的处理，得到所述样本数据；所述样本数据的像素扩展值为15，所述样本数据为4×15×15大小的像素块；并按照公式：
Figure FDA0003230183770000011
对样本训练数据进行处理；
式中，x*表示归一化的像素值，x为初始像素值，μ为研究区域的所有像素值的均值，δ为研究区域的所有像素值的标准差；
步骤3，根据所述样本训练数据和预先构建的卷积神经网络框架模型得到CNN网络模型；所述CNN网络模型包括所述预先构建的卷积神经网络框架模型；
所述卷积神经网络框架模型包括数据输入、特征提取和分类器；所述数据输入用于输入所述样本训练数据或所述样本测试数据，所述特征提取用于对所述样本训练数据或所述样本测试数据进行三次连续的特征提取操作，所述特征提取操作由卷积、批量归一化、激活函数、池化四部分组成，其中，三次连续的特征提取操作中的前两次特征提取操作使用的Sigmoid激活函数，第三次使用ReLU激活函数；
Sigmoid激活函数为：
Figure FDA0003230183770000012
ReLU激活函数为：
Figure FDA0003230183770000021
式中，x为特征值；
所述分类器用于根据特征提取结果输出分类结果；所述特征包括道路和非道路，所述分类器包括：两层全连接神经网络和SoftMax，每层全连接神经网络由多个神经元组合而成，可以将特征提取的196*1*1参数进行非线性计算，然后由SoftMax将神经元输出的两个概率值映射到[0，1]区间内，并且映射值之和为1；
步骤4，根据所述样本测试数据和所述CNN网络模型得到初始道路信息；其中，所述初始道路信息为遥感图像道路信息；
步骤5，对所述初始道路信息进行阈值滤波，得到二值图，具体为：根据所述初始道路信息中遥感图像的像素值的大小，将初始道路信息分为感兴趣道路区域、疑似道路区域和非道路区域；在感兴趣道路区域和疑似道路区域之间，设定道路阈值，将大于道路阈值的像素值设定为道路点并取值为1，小于道路阈值时判断为非道路点并取值为0；
然后，通过线性特征指数和面积阈值，对所述二值图进行形状滤波，具体为：对二值图进行8连通区域分析计算，得到每个连通区域的LFI指数，并将同时大于设定的LFI阈值和面积阈值的连通区域判断为道路区域，否则为非道路区域，得到所述遥感图像道路信息；按照公式：
Figure FDA0003230183770000022
计算连通区域的LFI指数；
式中：L、W为连通区域最小外接矩形的长宽大小，N为连通区域的面积；其中，道路阈值为0.97，设定的LFI阈值为7，设定的连通区域的面积阈值为200。
2.根据权利要求1所述的基于卷积神经网络的遥感图像道路信息提取方法，其特征在于，所述批量归一化操作是对特征数据进行缩放，使特征数据服从均值为0且方差为1的标准正态分布。
3.一种基于卷积神经网络的遥感图像道路信息提取装置，其特征在于，所述装置包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现上述权利要求1-2任一所述基于卷积神经网络的遥感图像道路信息提取方法的步骤。
CN202110091002.6A 2021-01-22 2021-01-22 基于卷积神经网络的遥感图像道路信息提取方法和装置 Active CN112733800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110091002.6A CN112733800B (zh) 2021-01-22 2021-01-22 基于卷积神经网络的遥感图像道路信息提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110091002.6A CN112733800B (zh) 2021-01-22 2021-01-22 基于卷积神经网络的遥感图像道路信息提取方法和装置

Publications (2)

Publication Number Publication Date
CN112733800A CN112733800A (zh) 2021-04-30
CN112733800B true CN112733800B (zh) 2021-10-22

Family

ID=75593753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110091002.6A Active CN112733800B (zh) 2021-01-22 2021-01-22 基于卷积神经网络的遥感图像道路信息提取方法和装置

Country Status (1)

Country Link
CN (1) CN112733800B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343858B (zh) * 2021-06-10 2024-03-12 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN113569724B (zh) * 2021-07-27 2022-04-19 中国科学院地理科学与资源研究所 基于注意力机制和扩张卷积的道路提取方法及系统
CN114694031B (zh) * 2022-04-24 2023-05-02 电子科技大学 一种基于多任务注意力机制的遥感图像典型地物提取方法
CN114998770B (zh) * 2022-07-06 2023-04-07 中国科学院地理科学与资源研究所 一种公路标识提取方法及系统
CN115861328A (zh) * 2023-03-01 2023-03-28 中国科学院空天信息创新研究院 墓葬检测方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211150A (ja) * 2008-02-29 2009-09-17 Hitachi Software Eng Co Ltd 道路ネットワークの抽出装置
CN108509826A (zh) * 2017-02-27 2018-09-07 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
CN110781776A (zh) * 2019-10-10 2020-02-11 湖北工业大学 一种基于预测和残差细化网络的道路提取方法
KR102091580B1 (ko) * 2019-07-09 2020-03-20 주식회사 모빌테크 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704840A (zh) * 2017-10-24 2018-02-16 汕头大学 一种基于深度学习的遥感图像道路检测方法
CN108256424A (zh) * 2017-12-11 2018-07-06 中交信息技术国家工程实验室有限公司 一种基于深度学习的高分辨率遥感图像道路提取方法
CN109800736B (zh) * 2019-02-01 2023-07-21 东北大学 一种基于遥感影像和深度学习的道路提取方法
CN110298321B (zh) * 2019-07-02 2021-03-23 中国科学院空天信息创新研究院 基于深度学习图像分类的道路阻断信息提取方法
CN111738113B (zh) * 2020-06-10 2023-07-07 杭州电子科技大学 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211150A (ja) * 2008-02-29 2009-09-17 Hitachi Software Eng Co Ltd 道路ネットワークの抽出装置
CN108509826A (zh) * 2017-02-27 2018-09-07 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
KR102091580B1 (ko) * 2019-07-09 2020-03-20 주식회사 모빌테크 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
CN110781776A (zh) * 2019-10-10 2020-02-11 湖北工业大学 一种基于预测和残差细化网络的道路提取方法

Also Published As

Publication number Publication date
CN112733800A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112733800B (zh) 基于卷积神经网络的遥感图像道路信息提取方法和装置
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN111259906B (zh) 含多级通道注意力的条件生成对抗遥感图像目标分割方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN114926746B (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
Ou et al. A CNN framework with slow-fast band selection and feature fusion grouping for hyperspectral image change detection
Raghavan et al. Optimized building extraction from high-resolution satellite imagery using deep learning
CN113569724B (zh) 基于注意力机制和扩张卷积的道路提取方法及系统
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN111950488A (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
Guo et al. Dual graph U-Nets for hyperspectral image classification
CN116662468A (zh) 基于地理对象空间模式特征的城市功能区识别方法及系统
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN115019163A (zh) 基于多源大数据的城市要素识别方法
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
Kumawat et al. Time-variant satellite vegetation classification enabled by hybrid metaheuristic-based adaptive time-weighted dynamic time warping
CN116311387B (zh) 一种基于特征交集的跨模态行人重识别方法
Albalooshi et al. Deep belief active contours (DBAC) with its application to oil spill segmentation from remotely sensed sea surface imagery
CN112446256A (zh) 一种基于深度isa数据融合的植被类型识别方法
CN115761502A (zh) 基于混合卷积的sar图像变化检测方法
CN112464997B (zh) 基于模糊-贪婪搜索决策的多传感器协同监测方法及系统
CN115424091A (zh) 一种基于SMCA-YOLOv5的轻量化军事目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant