CN113239736B - 一种基于多源遥感数据的土地覆盖分类标注图获取方法 - Google Patents

一种基于多源遥感数据的土地覆盖分类标注图获取方法 Download PDF

Info

Publication number
CN113239736B
CN113239736B CN202110414044.9A CN202110414044A CN113239736B CN 113239736 B CN113239736 B CN 113239736B CN 202110414044 A CN202110414044 A CN 202110414044A CN 113239736 B CN113239736 B CN 113239736B
Authority
CN
China
Prior art keywords
feature
resolution
neural network
remote sensing
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110414044.9A
Other languages
English (en)
Other versions
CN113239736A (zh
Inventor
张新长
黄健锋
孙颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110414044.9A priority Critical patent/CN113239736B/zh
Publication of CN113239736A publication Critical patent/CN113239736A/zh
Application granted granted Critical
Publication of CN113239736B publication Critical patent/CN113239736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统，该方法包括如下步骤：采集高分辨率遥感影像和机载激光雷达点云；从高分辨率遥感影像和机载激光雷达点云中提取特征组合图像；对特征组合图像进行随机编辑得到多个训练样本对全卷积神经网络进行训练；使用网络深度为16层以上的卷积神经网络提取特征组合图像的多层级特征，并对多层级特征进行卷积操作，输出低分辨率的土地覆盖分类标注图；对低分辨率的土地覆盖分类标注图进行多次上采样操作，利用注意力引导特征融合模块和多分支感知特征融合模块进行特征选取融合，获得高分辨率的土地覆盖分类标注图。

Description

一种基于多源遥感数据的土地覆盖分类标注图获取方法
技术领域
本发明涉及遥感科学和计算机视觉技术领域，特别涉及一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统。
背景技术
随着遥感对地观测技术的快速发展，先进的机载传感器为我们提供了亚米级甚至厘米级的高空间分辨率遥感数据，如高分辨率光学传感器和激光雷达探测器分别提供了高分辨率遥感图像和激光雷达点云。利用高分辨率遥感图像和激光雷达点云等多源遥感数据进行对地观测，已成为我们了解地球生态环境和人类活动的重要方式。作为遥感科学和计算机视觉的前沿研究方向之一，对多源高分辨率遥感数据进行语义分割(像元分类)从而获得地表覆盖信息，可以在国土空间规划、精细农业等科学和生产领域发挥重要作用。然而多源高分辨率遥感数据的高度细节化和光谱可分性弱化等问题，给语义分割任务带来了极大挑战。
过去十几年里，许多新型的遥感图像语义分割方法相继被提出，包括基于统计机器学习的分类方法以及面向对象的分类方法。这些方法对低/中层次的手工设计特征过于依赖，有时难以应对复杂场景下的地物分类问题。近年来，深度卷积神经网络(CNNs)在高分辨率遥感图像处理和分析中得到广泛应用，例如场景分类、地物目标识别以及语义分割等。在语义分割应用中，从只对输入图像中心像元进行分类的CNNs模型逐步发展到了对输入图像所有像元进行密集分类的全卷积神经网络(FCNs)模型。如今，全卷积神经网络(FCNs)模型已成为了高分辨率遥感图像土地覆盖分类的重要手段之一。
全卷积神经网络(FCNs)模型通常具有编码器——解码器的结构，可进行端到端的语义分割训练和预测，避免了繁琐的特征设计以及图像预先分割等操作。然而，全卷积神经网络(FCNs)模型分类结果比较粗糙，其原因是它在学习图像高层次语义特征时丢失了大量的空间细节信息，导致在上采样或反卷积过程中无法有效恢复分割对象的边缘细节，致使无法获得高分辨率的土地覆盖分类标注图。
发明内容
本发明要解决的技术问题是如何获取高分辨率的土地覆盖分类标注图。
为解决上述技术问题，本发明提供一种基于多源遥感数据的土地覆盖分类标注图获取方法，包括如下步骤：
S1.采集多源遥感数据，所述多源遥感数据包括高分辨率遥感影像和机载激光雷达点云；
S2.从所述高分辨率遥感影像和所述机载激光雷达点云中提取特征组合图像；
S3.对所述特征组合图像进行随机编辑得到多个训练样本，将多个训练样本输入到全卷积神经网络中对所述全卷积神经网络进行训练，使得所述全卷积神经网络能够表达所输入的特征组合图像的多层级特征；
S4.使用网络深度为16层以上的卷积神经网络从所述全卷积神经网络中提取所输入的特征组合图像的多层级特征，并对所述多层级特征进行卷积操作，输出低分辨率的土地覆盖分类标注图；
S5.对所述低分辨率的土地覆盖分类标注图进行多次上采样操作，每次对所述低分辨率的土地覆盖分类标注图进行上采样操作的过程中，利用所述全卷积神经网络的注意力引导特征融合模块，对所述多层级特征进行特征选取与特征融合，每次对所述低分辨率的土地覆盖分类标注图进行上采样操作之后，利用所述全卷积神经网络的多分支感知特征融合模块，对上采样后的土地覆盖分类标注图与选取到的特征进行相互融合，获得高分辨率的土地覆盖分类标注图。
优选地，所述步骤S2具体地：从所述高分辨率遥感影像中提取红、绿、蓝三波段数据，从所述机载激光雷达点云中提取归一化数字表面模型，将空间分辨率一致的红、绿、蓝三波段数据和归一化数字表面模型进行叠置组合，得到特征组合图像。
优选地，所述“从机载激光雷达点云中提取归一化数字表面模型”具体地：剔除所述机载激光雷达点云中的离散异常点；区分所述机载激光雷达点云中的地面点和非地面点；通过自然邻域插值法分别将地面点和非地面点栅格化成数字高程模型和数字表面模型，计算得到数字高程模型和数字表面模型之间的差值，该差值即为归一化数字表面模型。
优选地，所述步骤S3中，对所述特征组合图像所进行的随机编辑操作包括随机裁剪、旋转、翻转和亮度调整。
优选地，所述网络深度为16层以上的卷积神经网络所经过的卷积模块替换改进具体为：将原始网络深度为16层以上的卷积神经网络中的全连接层以及Softmax分类层替换成两个新增的卷积模块，两个新增的卷积模块均输出通道数为1024的特征图；在第三个卷积模块到最后一个卷积模块之后添加一个Dropout层。
优选地，所述注意力引导特征融合模块用于缩小网络深度为16层以上的卷积神经网络中不同层级特征之间的语义差异，并辅助选取网络深度为16层以上的卷积神经网络中的重要特征；在所述步骤S5中，所述注意力引导特征融合模块的输入分别为网络深度为16层以上的卷积神经网络中的低层级特征和高层级特征；所述注意力引导特征融合模块通过“聚合”与“扩张”操作将高层级特征“压缩”成一维加权向量，并将一维权重向量与低层级特征进行相乘，得到加权融合后的特征；所述加权融合后的特征经过卷积操作后传递给了多分支感知特征融合模块。
优选地，所述多分支感知特征融合模块的输入特征分别是上采样后的土地覆盖分类标注图和由注意力引导特征融合模块输出并经过选取后的加权特征；在所述步骤S5中，所述多分支感知特征融合模块先将两种输入特征进行相加操作，然后经过“聚合”与“扩张”操作得到各自的特征权重向量，再分别将得到的特征权重向量与两种输入特征进行相乘(加权)，然后将两种加权后的输入特征进行相加，得到融合后的特征，再通过卷积操作将融合后的特征转化得到更清晰的、尺寸更大的高分辨率的土地覆盖分类标注图。
优选地，在所述步骤S5中，所述上采样操作进行五次。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的土地覆盖分类标注图获取方法。
本发明还提供一种基于多源遥感数据的土地覆盖分类标注图获取系统，包括相互连接的计算机可读存储介质和处理器，计算机可读存储介质如上所述。
本发明具有以下有益效果：在输出低分辨率的土地覆盖分类标注图之后，对所述低分辨率的土地覆盖分类标注图进行多次上采样操作，每次上采样操作过程中，利用能缩小不同层级特征之间的语义差异并辅助选取重要特征的注意力引导特征融合模块，对所述多层级特征进行特征选取与特征融合，并利用能够将上采样后的标注图与选取到的特征进行融合的多分支感知特征融合模块，对上采样后的土地覆盖分类标注图与选取到的特征进行融合，就能获取到更清晰的、尺寸更大的高分辨率的土地覆盖分类标注图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是基于多源遥感数据的土地覆盖分类标注图获取方法的流程图；
图2是全卷积神经网络训练过程示例图；
图3是全卷积神经网络的架构图；
图4是注意力引导特征融合模块的示例图；
图5是多分支感知特征融合模块的示例图。
具体实施方式
下面将结合实施例及附图，对本发明创造的技术方案进行详细描述，显然，所描述的实施例仅仅是本发明创造的一部分实施例，而不是全部的实施例。基于本发明创造中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明创造保护的范围。
本实施例提供一种基于多源遥感数据的土地覆盖分类标注图获取系统，该系统包括机载传感器、全卷积神经网络、相互连接的计算机可读存储介质和处理器，该机载传感器包括高分辨率光学传感器和激光雷达探测器，该全卷积神经网络包括注意力引导特征融合模块和多分支感知特征融合模块，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如图1所示的基于多源遥感数据的土地覆盖分类标注图获取方法，该方法具体包括如下步骤S1、S2、S3、S4、S5：
S1.采集多源遥感数据，该多源遥感数据包括高分辨率遥感影像和机载激光雷达点云。
机载传感器是安装在飞机或无人机上的遥感对地探测传感器，高分辨率光学传感器和激光雷达探测器都是常规的机载传感器，利用机载传感器可采集多源遥感数据，例如高分辨率遥感影像、机载激光雷达点云。本实施例中，利用高分辨率光学传感器对地观测采集得到高分辨率遥感影像，利用机载激光雷达探测器对地观测采集得到机载激光雷达点云。其中高分辨率遥感影像指的是垂直分辨率大于等于720的遥感影像。
S2.从高分辨率遥感影像和机载激光雷达点云中提取特征组合图像。
高分辨率遥感影像具有数据量大、光谱波段少、地物类型多样、目标尺度不一、几何纹理特征丰富、高度信息缺失等特点，其“同物异谱、同谱异物”现象也极大地增加了影像解译的难度。同物异谱是指同一种地物由于地理区位不同、环境因素不同等，在影像上表现形式不一；同谱异物是指不同地物在影像上显示表现形式相同。机载激光雷达点云通常包含三维点云坐标、回波强度、回波次数以及扫描倾角等信息。三维点云坐标是根据GPS接收机、惯性测量单元(INS)以及激光测距仪所记录的数据解算出来的，具有离散特性，而且竖直方向坐标精度一般高于水平方向的精度。
本实施例通过组合高分辨率遥感影像和机载激光雷达点云这两种异构数据，充分发挥两者特征互补的优势，特征组合图像。为此，需要先从高分辨率遥感影像中提取红(R)、绿(G)、蓝(B)三波段数据，并从机载激光雷达点云中提取归一化数字表面模型(nDSM)，再将红(R)、绿(G)、蓝(B)三波段数据与归一化数字表面模型(nDSM)进行叠置组合以得到特征组合。
其中，从机载激光雷达点云中提取归一化数字表面模型(nDSM)具体包括以下步骤：
(1)剔除机载激光雷达点云中的离散异常点；
(2)区分机载激光雷达点云中的地面点和非地面点；
(3)通过自然邻域插值法分别将地面点和非地面点栅格化成数字高程模型(DEM)和数字表面模型(DSM)；
(4)计算得到数字高程模型(DEM)和数字表面模型(DSM)之间的差值，该差值即为归一化数字表面模型(nDSM)。
所得到的归一化数字表面模型(nDSM)空间分辨率与高分辨率遥感影像一致，而红(R)、绿(G)和蓝(B)三波段数据可直接从高分辨率遥感影像中提取得到，因此可将归一化数字表面模型(nDSM)与红(R)、绿(G)和蓝(B)三波段数据进行叠置组合，得到特征组合图像(R-G-B-nDSM)，以该特征组合图像(R-G-B-nDSM)作为全卷积神经网络的输入数据源。
S3.对特征组合图像进行随机编辑操作得到多个训练样本，将多个训练样本输入到全卷积神经网络中对全卷积神经网络进行训练，使得全卷积神经网络能够表达所输入的特征组合图像的多层级特征。
对全卷积神经网络进行训练需要大量的训练样本，因此在向全卷积神经网络输入特征组合图像之前，需要对特征组合图像随机进行裁剪、旋转、翻转、亮度调整等图像编辑操作，得到大量的训练样本，例如见图2：采用人工或半自动化的方式对遥感数据覆盖范围内的地物特征组合图像进行分类标注，并栅格化成二值或多值的单波段标签图像，背景类别一般用0表示；分别将输入的特征组合图像以及标签图像裁剪成480×480像元大小的多个训练样本，将多个训练样本按照50％、10％、40％的比例划分成训练集、验证集以及测试集，用于全卷积神经网络的训练。这样在对全卷积神经网络进行训练时，每次输入到全卷积神经网络中的训练样本都有不同的组合形式，这样有助于增强训练样本的特征多样性，避免训练时出现过拟合现象。
在对全卷积神经网络进行训练之后，全卷积神经网络中基于输入的特征组合图像学习能反映图像特征的神经元权重值，这样全卷积神经网络中原本随机化产生的神经元权重值就变得规则化，使得全卷积神经网络能够表达所输入的特征组合图像的多层级特征。
S4.使用网络深度16层以上且经过卷积模块替换改进的卷积神经网络从全卷积神经网络中提取所输入的特征组合图像的多层级特征，并对多层级特征进行卷积操作，输出低分辨率的土地覆盖分类标注图。
VGGNet是一种网络深度可达到16～19层的卷积神经网络(包括VGG-16网络、VGG-19网络)，其最大特点是采用了带有小尺寸滤波器(3×3)的卷积层进行图像特征提取。VGGNet主要由5个卷积模块、3个全连接层以及1个Softmax分类层构成，每个卷积模块分别含有1～4个卷积层，卷积层后面均连接ReLU激励函数。卷积模块内部运算后得到与输入特征相同大小的特征图，而在上一个卷积模块和下一个卷积模块之间则利用最大池化层进行二倍下采样。整个网络共进行了5次池化操作，因此，特征图的大小缩小到原来的1/32大小，但特征通道数从原来的3个提升到了512个。最后利用三个全连接层将高维特征图转换成高维特征向量(共4096维)，并通过Softmax层计算所属类别概率。随着网络深度增加到16层(VGG-16)，VGGNet的图像分类性能达到峰值，此后分类精度趋于饱和。
在本实施例中，如图3所示，对VGG-16网络(即网络深度为16层的卷积神经网络)作出如下改进：将原始VGG-16网络中的全连接层以及Softmax分类层替换成两个新增的卷积模块，两个新增的卷积模块均输出通道数为1024的特征图；在第三个卷积模块到最后一个卷积模块之后添加一个Dropout层。
然后采用改进后的VGG-16网络通过多次卷积和池化操作从全卷积神经网络中学习所输入的特征组合图像的多层级特征，并在最后一个卷积模块中输出通道数为1024的、尺寸大小为输入图像1/32的特征图，然后通过卷积操作将输出的特征图转化成低分辨率的土地覆盖分类标注图以进行输出。在转化过程中特征图的尺寸大小不变，但通道数从1024变成了与分类类别数一致。
S5.对低分辨率的土地覆盖分类标注图进行多次上采样操作，每次对低分辨率的土地覆盖分类标注图进行上采样操作的过程中，利用全卷积神经网络的注意力引导特征融合模块，对多层级特征进行特征选取与特征融合，每次对低分辨率的土地覆盖分类标注图进行上采样操作之后，利用全卷积神经网络的多分支感知特征融合模块，对上采样后的土地覆盖分类标注图与选取到的特征进行相互融合，获得高分辨率的土地覆盖分类标注图。
当从改进后的VGG-16网络中得到低分辨率的土地覆盖分类标注图之后，对低分辨率的土地覆盖分类标注图进行五次二倍上采样操作(即双线性插值法)和卷积操作以逐步扩大该低分辨率的土地覆盖分类标注图，从而得到原始分辨率的输出结果。然而，由于VGG-16网络的低层级特征在上采样过程中没有被充分利用，使得大量图像空间细节信息丢失，导致网络输出的分类结果相当粗糙。为此，本实施例中设计了两种类型的特征融合模块来优化低分辨率的土地覆盖分类标注图。其中，第一种特征融合模块是注意力引导特征融合模块，如图4所示，该注意力引导特征融合模块(见图4b)主要借鉴了“聚合-扩张”(Squeeze-and-excitation，SE)模块(见图4a)，借助通道注意力机制来实现VGG-16网络中上下层级特征的选取与融合，并以递归嵌套的方式应用到逐次上采样过程中，这种特征融合方式能有效地提高低层级特征的分类确信度，并对低层级特征进行重要性排序，以减少非重要特征在网络中的传递。第二种特征融合模块是多分支感知特征融合模块(见图5)，它能够将上采样的标注图与加权融合后的选取特征进行融合，生成尺寸更大、细节信息更丰富的标注图。
下面对两种特征融合模块分别进行说明：
(1)注意力引导特征融合模块主要用于缩小VGG-16网络中不同层级特征之间的语义差异，并辅助选取VGG-16网络中的重要特征。该模块的输入分别为VGG-16网络中的低层级特征和高层级特征(见图4b)。
具体地，假定
Figure GDA0004173654310000071
和/>
Figure GDA0004173654310000072
分别为VGG-16网络的低层级和高层级特征，C1和C2为1和u的通道数。则该模块首先通过“聚合”与“扩张”操作将高层级特征u“压缩”成一维加权向量，计算方式如下：
Figure GDA0004173654310000073
g′＝Fex(q′，W′)＝σ(W′2δ(W′1q′))
式中，g′为压缩后得到的权重向量；
Figure GDA0004173654310000074
和/>
Figure GDA0004173654310000075
分别表示与ReLU激励层相邻的两个全连接层。由于权重向量g′的通道数与低层级特征1的通道数相同，因此可以通过矩阵相乘的方式将权重向量g′与低层级向量1进行合并，计算如下：
v′c＝Fsc(Ic，g′c)＝g′clc
式中，
Figure GDA0004173654310000076
表示加权后的融合特征，即为模块的输出结果。注意力引导特征融合模块的输出结果经过卷积操作(特征选取)后传递给了多分支感知特征融合模块。
(2)多分支感知特征融合模块(见图5)与注意力引导特征融合模块相似，均借鉴了SE模块的通道注意力机制。所不同的是，多分支感知特征融合模块的输入分别是上采样后的标注图以及注意力引导特征融合模块输出并经过选取后的网络传递过来的加权特征，它们所涵盖的分类语义信息和空间细节信息差异明显，关联性较弱。因此，在进行特征融合时需要重点处理。本发明实施例结合了Inception Net的多分支结构和SE模块，基于通道注意力机制对不同分支的输入进行加权与融合，最终生成尺寸更大、细节信息更丰富的高分辨率的土地覆盖分类标注图。具体过程如下：
多分支感知特征融合模块的输入特征分别为二倍上采样后的土地覆盖分类标注图以及由注意力引导特征融合模块输出并经过选取后的特征；这两种输入特征首先进行相加操作，然后经过“聚合”与“扩张”操作得到各自的特征权重向量；分别将得到的特征权重向量与两种输入特征进行相乘(加权)，然后将两种加权后的输入特征进行相加，得到融合后的特征；通过卷积操作将融合后的特征转化得到更清晰的、尺寸更大的高分辨率的土地覆盖分类标注图。
因此，对所述低分辨率的土地覆盖分类标注图进行多次上采样操作时，在每次上采样过程中，先利用注意力引导特征融合模块对多层级特征进行选取与融合，并利用多分支感知特征融合模块将上采样后的土地覆盖分类标注图与选取到的特征进行融合，以优化低分辨率标注图，该上采样过程迭代执行五次之后，得到高分辨率的土地覆盖分类标注图。
如图3所示，全卷积神经网络在渐进上采样过程中产生了六个尺寸逐渐递大的标注图，这些不同尺寸的标注图其特征通道数与分类类别数相同。为了进行监督训练，最直接的做法是计算最后一个尺寸的标注图(与原图大小一致)与标签图像之间的分类损失。然而，这种做法可能无法充分顾及不同尺寸标注图之间的联系，或者有效利用分割地物在不同尺寸上的几何相似性。因此，本发明实施例将多尺度监督分类方法应用于全卷积神经网络中，使得每个尺寸下的标注图都进行监督分类。
假设
Figure GDA0004173654310000081
为网络中第d个上采样之后的低分辨率标注图，s表示相对于原图的缩放系数。为了对/>
Figure GDA0004173654310000082
进行监督学习，首先将/>
Figure GDA0004173654310000083
直接上采样至与原图尺寸一致，计算公式如下：
Figure GDA0004173654310000084
式中，UPs表示双线性二次插值上采样层(上采样倍数为s)，Fd为
Figure GDA0004173654310000085
上采样s倍之后得到的结果；f6是网络输出的最后一个尺寸的标注图，大小与原图一致，因此不需要执行上采样操作。每个尺寸的低分辨率标注图其上采样倍数与各自的缩放系数相同。
逐一得到上采样标注图Fd之后，利用像元级交叉熵损失函数计算每个标注图与标签图像之间的分类误差。假设x(n)和y(n)分别为输入图像中第n个像元以及该像元的预测类别，则Fd与标签图像之间的损失值计算如下：
Figure GDA0004173654310000086
Figure GDA0004173654310000087
式中，k表示真实分类类别；N表示输入图像的像元个数；
Figure GDA0004173654310000091
和/>
Figure GDA0004173654310000092
分别表示第d个尺寸标注图中第n个像元的特征响应值以及相对应的第k类分类概率；lossd表示第d个尺寸标注图对应的交叉熵损失值；I{y(n)＝k}为指示函数，它用于判断像元的预测类别是否与该像元对应的真实类别一致，如果一致，则指示函数值为1，否则为0。
最后，将所有尺寸标注图的损失值求和，得到网络前向传播的总损失，然后采用反向传播算法更新网络参数。
Figure GDA0004173654310000093
综上，本实施例中将多源高分辨率遥感数据与深度语义分割技术相结合，用于获取高分辨率的土地覆盖分类标注图。首先，从高分辨率遥感影像和机载激光雷达点云等多源遥感数据中获得与土地覆盖分类相关的特征组合图像；然后通过不同的图像增强方式对特征组合图像对进行扩增，以增强特征组合图像的多样性；接着，将特征组合图像输入到全卷积神经网络中，对全卷积神经网络进行训练，使得全卷积神经网络能够表达所输入的特征组合图像的多层级特征，然后使用改进后的VGG-16从全卷积神经网络中提取所输入的特征组合图像的多层级特征，并对多层级特征进行卷积操作以输出低分辨率的土地覆盖分类标注图；最后，结合两种不同类型的特征融合模块对低分辨率的土地覆盖分类标注图进行逐步优化，从而获得高分辨率的土地覆盖分类标注图。与现有分类方法相比，本实施例所提供的方法能搞获得高分辨率的土地覆盖分类标注图。
本领域普通技术人员可理解上述实施例的各种方法中全部或部分步骤是可以通过计算机程序来指令相关的硬件完成的，该计算机程序可以存储于任一计算机可读存储介质中，计算机可读存储介质包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
另外，以上对本实施例所提供的面向多源遥感数据城市土地覆盖分类的全卷积神经网络进行了详细说明，并对本发明的技术原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明创造的方法及其核心思想；同时，对于本领域的普通技术人员，依据本发明创造的思想，在具体实施方式及应用范围上均会有改变之处。综上，以上实施例内容不应理解为对本发明的限制。

Claims (7)

1.一种基于多源遥感数据的土地覆盖分类标注图获取方法，其特征是，包括如下步骤：
S1.采集多源遥感数据，所述多源遥感数据包括高分辨率遥感影像和机载激光雷达点云；
S2.从所述高分辨率遥感影像和所述机载激光雷达点云中提取特征组合图像；
S3.对所述特征组合图像进行随机编辑操作得到多个训练样本，将多个训练样本输入到全卷积神经网络中对所述全卷积神经网络进行训练，使得所述全卷积神经网络能够表达所输入的特征组合图像的多层级特征；
S4.使用网络深度为16层以上且经过卷积模块替换改进的卷积神经网络从所述全卷积神经网络中提取所输入的特征组合图像的多层级特征，并对所述多层级特征进行卷积操作，输出低分辨率的土地覆盖分类标注图；
S5.对所述低分辨率的土地覆盖分类标注图进行多次上采样操作，每次对所述低分辨率的土地覆盖分类标注图进行上采样操作的过程中，利用所述全卷积神经网络的注意力引导特征融合模块，对所述多层级特征进行特征选取与特征融合，每次对所述低分辨率的土地覆盖分类标注图进行上采样操作之后，利用所述全卷积神经网络的多分支感知特征融合模块，对上采样后的土地覆盖分类标注图与选取到的特征进行相互融合，获得高分辨率的土地覆盖分类标注图；
所述网络深度为16层以上的卷积神经网络所经过的卷积模块替换改进具体为：将原始网络深度为16层以上的卷积神经网络中的全连接层以及Softmax分类层替换成两个新增的卷积模块，两个新增的卷积模块均输出通道数为1024的特征图；在第三个卷积模块到最后一个卷积模块之后添加一个Dropout层；
所述注意力引导特征融合模块用于缩小网络深度为16层以上的卷积神经网络中不同层级特征之间的语义差异，并辅助选取网络深度为16层以上的卷积神经网络中的重要特征；所述多分支感知特征融合模块的输入特征分别是上采样后的土地覆盖分类标注图和由注意力引导特征融合模块输出并经过选取后的加权特征；
在所述步骤S5中，所述注意力引导特征融合模块的输入分别为网络深度为16层以上的卷积神经网络中的低层级特征和高层级特征；所述注意力引导特征融合模块通过聚合与扩张操作将高层级特征压缩成一维加权向量，并将一维权重向量与低层级特征进行相乘加权，得到加权融合后的特征；所述加权融合后的特征经过卷积操作后传递给了多分支感知特征融合模块；所述多分支感知特征融合模块先将两种输入特征进行相加操作，然后经过聚合与扩张操作得到各自的特征权重向量，再分别将得到的特征权重向量与两种输入特征进行相乘加权，然后将两种加权后的输入特征进行相加，得到融合后的特征，再通过卷积操作将融合后的特征转化得到更清晰的、尺寸更大的高分辨率的土地覆盖分类标注图。
2.根据权利要求1所述的土地覆盖分类标注图获取方法，其特征是，所述步骤S2具体地：从所述高分辨率遥感影像中提取红、绿、蓝三波段数据，从所述机载激光雷达点云中提取归一化数字表面模型，将空间分辨率一致的红、绿、蓝三波段数据和归一化数字表面模型进行叠置组合，得到特征组合图像。
3.根据权利要求2所述的土地覆盖分类标注图获取方法，其特征是，从机载激光雷达点云中提取归一化数字表面模型具体地：剔除所述机载激光雷达点云中的离散异常点；区分所述机载激光雷达点云中的地面点和非地面点；通过自然邻域插值法分别将地面点和非地面点栅格化成数字高程模型和数字表面模型，计算得到数字高程模型和数字表面模型之间的差值，该差值即为归一化数字表面模型。
4.根据权利要求1所述的土地覆盖分类标注图获取方法，其特征是，所述步骤S3中，对所述特征组合图像所进行的随机编辑操作包括随机裁剪、旋转、翻转和亮度调整。
5.根据权利要求1所述的土地覆盖分类标注图获取方法，其特征是，在所述步骤S5中，所述上采样操作进行五次。
6.计算机可读存储介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的土地覆盖分类标注图获取方法。
7.一种基于多源遥感数据的土地覆盖分类标注图获取系统，包括相互连接的计算机可读存储介质和处理器，其特征是，计算机可读存储介质如权利要求6所述。
CN202110414044.9A 2021-04-16 2021-04-16 一种基于多源遥感数据的土地覆盖分类标注图获取方法 Active CN113239736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110414044.9A CN113239736B (zh) 2021-04-16 2021-04-16 一种基于多源遥感数据的土地覆盖分类标注图获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110414044.9A CN113239736B (zh) 2021-04-16 2021-04-16 一种基于多源遥感数据的土地覆盖分类标注图获取方法

Publications (2)

Publication Number Publication Date
CN113239736A CN113239736A (zh) 2021-08-10
CN113239736B true CN113239736B (zh) 2023-06-06

Family

ID=77128459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110414044.9A Active CN113239736B (zh) 2021-04-16 2021-04-16 一种基于多源遥感数据的土地覆盖分类标注图获取方法

Country Status (1)

Country Link
CN (1) CN113239736B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620149B (zh) * 2022-12-05 2023-07-11 耕宇牧星(北京)空间科技有限公司 一种基于遥感图像的道路检测方法
CN116168301B (zh) * 2023-04-25 2023-07-11 耕宇牧星(北京)空间科技有限公司 一种基于嵌套编码器网络的农田施肥栅格检测方法
CN116664989B (zh) * 2023-07-28 2023-09-29 四川发展环境科学技术研究院有限公司 基于环境要素智能识别监测系统的数据分析方法及系统
CN117576483B (zh) * 2023-12-14 2024-06-14 中国石油大学(华东) 基于多尺度卷积自编码器的多源数据融合地物分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178316A (zh) * 2020-01-06 2020-05-19 武汉大学 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法
CN112560967A (zh) * 2020-12-18 2021-03-26 西安电子科技大学 一种多源遥感图像分类方法、存储介质及计算设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230329B (zh) * 2017-12-18 2021-09-21 孙颖 基于多尺度卷积神经网络的语义分割方法
CN109934153B (zh) * 2019-03-07 2023-06-20 张新长 基于门控深度残差优化网络的建筑物提取方法
CN111832620A (zh) * 2020-06-11 2020-10-27 桂林电子科技大学 一种基于双注意力多层特征融合的图片情感分类方法
CN112347888B (zh) * 2020-10-29 2023-08-08 河海大学 基于双向特征迭代融合的遥感图像场景分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法
CN111178316A (zh) * 2020-01-06 2020-05-19 武汉大学 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法
CN112560967A (zh) * 2020-12-18 2021-03-26 西安电子科技大学 一种多源遥感图像分类方法、存储介质及计算设备

Also Published As

Publication number Publication date
CN113239736A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
Shendryk et al. Deep learning for multi-modal classification of cloud, shadow and land cover scenes in PlanetScope and Sentinel-2 imagery
Wu et al. A geographic information-driven method and a new large scale dataset for remote sensing cloud/snow detection
Dibs et al. Multi-fusion algorithms for detecting land surface pattern changes using multi-high spatial resolution images and remote sensing analysis
CN113609889B (zh) 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN111783523B (zh) 一种遥感影像旋转目标检测方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN111814771B (zh) 图像处理的方法及装置
Raghavan et al. Optimized building extraction from high-resolution satellite imagery using deep learning
CN110991430B (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
Zhao et al. Airborne multispectral LiDAR point cloud classification with a feature reasoning-based graph convolution network
Xu et al. Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
Malik et al. Computer vision models for comparing spatial patterns: understanding spatial scale
CN114612315B (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
Deepthi et al. Detection and classification of objects in satellite images using custom CNN
Kazimi et al. Semantic segmentation of manmade landscape structures in digital terrain models
CN111274936B (zh) 多光谱图像地物分类方法、系统、介质及终端
Damodaran et al. Attribute profiles on derived features for urban land cover classification
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
Ebert-Uphoff et al. Evaluation, tuning and interpretation of neural networks for meteorological applications
Fawzy et al. A Shallow Neural Network Model for Urban Land Cover Classification Using VHR Satellite Image Features
CN114663654A (zh) 一种改进YOLOv4网络模型及小目标检测方法
CN113627292A (zh) 基于融合网络的遥感图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant