CN116597143A - 基于图卷积神经网络的高分辨率遥感图像语义分割方法 - Google Patents

基于图卷积神经网络的高分辨率遥感图像语义分割方法 Download PDF

Info

Publication number
CN116597143A
CN116597143A CN202310602675.2A CN202310602675A CN116597143A CN 116597143 A CN116597143 A CN 116597143A CN 202310602675 A CN202310602675 A CN 202310602675A CN 116597143 A CN116597143 A CN 116597143A
Authority
CN
China
Prior art keywords
remote sensing
loss function
gcn
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310602675.2A
Other languages
English (en)
Inventor
张峰
杨子萌
吴秋兰
尚素雅
常小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Agricultural University
Original Assignee
Shandong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Agricultural University filed Critical Shandong Agricultural University
Priority to CN202310602675.2A priority Critical patent/CN116597143A/zh
Publication of CN116597143A publication Critical patent/CN116597143A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及高分辨率卫星和遥感技术领域，具体是一种基于图卷积神经网络的高分辨率遥感图像语义分割方法，其主要包括构建基于图卷积神经网络和高程数据的高分辨率遥感图像语义分割模型，本技术方案由于高程对特征信息的影响会导致高差较大的情况下同一地物的训练效果不理想。基于卷积神经网络结合图卷积神经网络建立了针对遥感图像的语义分割模型DGCN，在特征提取阶段加入了DEM信息，优化了训练效果，在GCN模块中使用针对边界信息的损失函数对目标地物及其之间的空间关系特征进行优化学习，采用分层融合方法进行特征融合与分类，优化原有特征信息中的空间关系信息。

Description

基于图卷积神经网络的高分辨率遥感图像语义分割方法
技术领域
本发明涉及高分辨率卫星和遥感技术领域，具体是一种基于图卷积神经网络的高分辨率遥感图像语义分割方法。
背景技术
随着高分辨率卫星和遥感技术的不断发展，遥感数据的空间分辨率不断提高，这也促进了遥感影像解译方法和速度的进步。在遥感图像解译中，遥感图像分割是一个重要的挑战，它指的是根据每个像素在不同波段的光谱亮度、空间结构特征或其他信息，按照一定的规则或算法将其分为不同的类别(Xing etal.,2014)，它在变化检测、像素提取、要素信息提取等诸多领域发挥着重要作用(Xu etal.,2021)。随着计算机视觉技术的不断发展，图像分割已经从传统方法逐渐向深度学习方法过渡。然而，遥感图像不同于自然图像，遥感图像具有成像范围广，背景复杂多样的特点，遥感图像具有更多的光谱通道，图像结构比自然图像更为复杂(Chen etal.,2022；Li etal.,2019)。特别是在高分辨率遥感图像HRRSIs中，不同地物的差异更加明显。卷积神经网络(CNN)由于其优秀的特征提取能力，在图像分类的各个领域都取得了较为成功的应用，如图像识别(Liu etal.,2017)，目标检测(Sultana etal.,2020)和自然语言处理(Chaietal.,2019)。遥感图像语义分割可识别和分类城市设施，包括建筑、道路、植被等，有助于城市管理部门提高治理效率和监管精准度。此外，提取不同类型的地物信息，作为地理信息的基础数据，可以为城市规划、土地利用和生态环境治理等领域提供数据支持。
传统的遥感图像分类方法主要依靠手工设计的特征和分类器，不能很好地处理同一区域不同高程下的遥感图像。近年来，一些新的方法被提出来应对这个问题。由于小目标的语义分割需要采用更加精细的算法和技术，从图像中提取出更加细节化和精确的信息，具有重要的应用价值和研究意义。例如，在城市规划中，识别出建筑物、道路等小目标，可以提高规划的精度和效率。目前，随着深度学习等技术的不断发展，针对小目标的语义分割算法也在不断优化和完善。
地形变化对地物光谱反射率特征的影响会导致遥感影像“同物异谱”或“同谱异物”现象严重(徐文娜,2020)，对遥感图像分类的准确性产生重大影响。早在1978年，就有学者提出在遥感图像中区分滑坡疤痕与其他贫瘠区域时，依靠单一的低光谱分辨率遥感图像是不可靠的(Sauchyn etal.,1978；Epp etal.,1988)。我国学者在遥感图像分类中使用了地面高程信息、坡度、坡向和太阳入射角等辅助数据。他们利用太阳高度角、太阳方位角和像素大小等信息作为校准参数对图像进行了校正，并使用地面高程信息对遥感图像的亮度进行了辐射校正，以减少地形起伏对地物光谱特征变化对遥感图像分类精度的影响(杨泽运等,2004)。一些学者对现有分类方法的优缺点和数学方法的问题进行了分析，提出了一种改进的多尺度数学形态学滤波算法，利用一个粗糙的地面不规则三角网(TIN)来确定实验区域的地形特征，该算法选择适当的地形坡度参数，用于计算多尺度数学形态学滤波中的高差阈值，以有效区分地面点和地物点，并且保留了地形的细节信息(罗伊萍等,2009)。地形复杂的区域植被的光谱特性受到坡度的影响。因此，利用数字高程模型(DEM)提取坡度信息，并结合其他遥感数据和植被指数，可以更准确地提取植被覆盖面积。与单独使用单景遥感图像相比，多源信息复合可以显著提高土地分类估算的准确性(张思琪,2016；董芳,2012)。陶宇等人提出了一种新的城市道路分类方法，从DEM建模视角出发，分析城市道路的构成和形态特征。该方法弥补了现有道路分类方法的不足之处，构建的道路DEM更加符合实际实验区的道路形态，避免了局部路面的异常突变。此外，该方法构建的城市道路要素框架结构明显，能够更精细地表达城市道路地形，为雨洪模拟和水文分析等提供了重要基础。(陶宇等,2020)。由于我国地域辽阔，地形地貌错综复杂，在我国国土地覆盖分类与变化监测遥感研究中，将高程数据作为辅助数据，可以有效提高分类精度(骆成凤,2005)。国外学者通过融合多源遥感特征的方法，证明加入高程数据可以有效提高土地覆盖分类的精度。已有研究将Landsat-8OLI数据、中分辨率成像光谱仪(MODIS)、中国环境1A系列(HJ-1A)、先进的星载热发射与反射(ASTER)数字高程模型(DEM)数据融合，再通过融合多个数据集，得到了包含时间、光谱、角度和地形特征的全面数据集，这大大提高了土地覆盖分类的精度(Sturdivant etal.,2017；Chen etal.,2017；Mao etal.,2021；Li et al.,2017)。这些传统的图像分割方法也可以用于大高差遥感图像的处理，如基于区域的分割方法、基于边缘的分割方法和基于阈值的分割方法等(秦肖伟等,2023；薛源等,2023)。
这些方法在一定程度上可以解决大高差遥感图像分割的问题，但是相比于基于深度学习的方法，它们通常需要更多的先验知识和手工特征提取，因此在实际应用中受到了一定的限制。随着计算机视觉(CV)的不断发展，用于图像语义分割的深度学习方法在遥感图像中得到应用，并且已有学者将高程数据和其他遥感数据结合，采用深度学习模型对遥感图像进行分割(马妍等,2023；Li etal.,2022；Zhu etal.,2017)。在基于高分辨率卫星影像和数字高程模型数据时，与最近邻分类法相比，采用卷积神经网络方法在提取目标物边界时表现更为优异(贾文翰等,2021)。在丘陵地区的应用中，在遥感图像中加入高程和坡度信息的反向传播(BP)人工神经网络分类方法在面积精度和空间精度上远远高于只利用光谱信息的BP神经网络分类方法，并且可以更好地提取水系网络(薛强等,2023；刘畅等,2023；Rouibah etal.,2022)。由于遥感影像中的地物形态复杂、分布无序，已有分割模型难以实现海拔较高的城市地物分类精度，通过融合激光雷达数据和遥感影像，结合遥感图像的位置和高程信息以及遥感影像的光谱和纹理信息对地物进行分类，从而实现了更高的分类精度(Costa etal.,2022；Zhang etal.,2020)。在湿地生态系统可持续管理方法中，加入高程数据对双边语义分割模型在输入数据和完成训练过程后的预测阶段至关重(Phametal.,2022)。
上述的研究中，在深度语义分割模型中加入DEM数据的方法大多应用于单一地物的信息提取，并且应用范围较小，在整体海拔较高并且高差较大的地区的语义分割模型较少。
发明内容
本发明的目的在于提供一种有效解决分割结果中地物内部噪声和目标地物间的边界不准确的问题的基于图卷积神经网络和高程数据的高分辨率遥感图像语义分割方法。
为实现上述目的，本发明提供如下技术方案：
一种基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，包括以下步骤：
(a)遥感图像数据的获取，其中包括使用高分辨率遥感图像分割公开数据集或下载高分辨率遥感图像，下载或从遥感数据中提取对应地区的高程数据；
(b)数据预处理与数据集构建，包括对获取的原始遥感图像进行预处理，利用Arcgis对裁剪后的遥感图像进行标注，并将矢量要素转换为栅格，生成掩膜栅格图作为标签，对获取的遥感图像数据进行预处理，包括图像裁剪、尺寸调整，并将数据集分为训练集、验证集、和测试集三个子集；
(c)构建基于图卷积神经网络和高程数据的高分辨率遥感图像语义分割模型，用ResNet101和DeepLabV3+作为主干网络，将高程数据做归一化处理，输入层除了原有的红、绿、蓝、近红外波段以外再增加一个高程数据；使用图卷积神经网络(GCN)来获取图节点的分类结果Y，首先，每个节点将其特征信息变换后发送给邻居节点；其次，每个节点将邻居节点的特征信息进行聚集，以完成节点局部结构信息的融合；最后，通过激活函数对聚集的信息进行非线性变换，借助代表节点间关系的邻接矩阵A来计算GCN各层的特征，层与层之间的传播方式如下：
Y＝g(H，A) (1)
其中其中I为单位矩阵；/>是/>的度矩阵；σ为激活函数，W为参数矩阵，为拉普拉斯矩阵；对于输入层，H(0)＝X(0)；H(l)是GCN第l层的特征值。
GCN的训练中采用针对边界的损失函数来优化学习，将交叉熵损失函数、自引导交叉熵损失函数和边界损失函数BoundaryLoss进行结合并针对不同边界特点对每个损失函数赋予不同权重参数。边界损失函数具体表达如下：
其中{·}表示逻辑函数，d(·)表示两个像素之间的欧氏距离，θ是固定参数，表示欧氏距离的阈值，表示边界部分的语义分割结果，f表示边界部分的标签。
将GCN模块提取到的目标间关系特征与图像语义特征提取模块得到的特征进行融合，通过上采样过程得到最终的预测结果。其中GCN模型在第1层卷积中学习到的特征可以表示为：
其中W0和与公式(2)代表的含义相同。其次为了保证特征提取模型与GCN模型在学习得到的图像特征在维度上的一致性，本文在GCN模块中增加了全连接层，该过程表示如下：
最后将图像特征提取模块和图卷积神经网络模块获得的特征值和关系信息相结合，可表示为：
其中H(L)为GCN模块提取得到的关系特征，V(L′)为样本特征，L′为特征提取模块中ResNet101和DeepLab V3+网络的层数
(d)参数设置，其中图像深度特征提取部分使用随机梯度下降法(SGD)作为优化器，损失函数选择交叉熵损失函数，训练迭代次数设置为50，批大小设置为8，GCN模块的训练中使用Adam作为优化器进行梯度下降，损失函数选用交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss，模型训练迭代次数设置为40；
(e)模型训练与分割，将训练集和验证集输入模型进行训练与验证得到训练参数，并对测试集中图片进行分割；
(f)使用总体精度OA(Overall Accuracy)、平均交并比mIoU(mean Intersectionover Union)以及F1-Score作为评价指标；
(g)根据S2-3中的原图和裁剪过程，对分割后的结果图进行拼接。
优选地，其中在步骤(b)，预处理过程包括重采样辐射定标、大气校正、几何校正、图像融合、图像镶嵌、数据增强、裁剪。
优选地，其中在步骤(c)，卷积部分引入了自适应平均池化层，将输出尺寸指定为一维，保持输出特征数不变。
优选地，其中在步骤(c)中，使用图卷积神经网络(GCN)来获取图节点的分类结果，每个节点将其特征信息变换后发送给邻居节点，然后每个节点将邻居节点的特征信息进行聚集，以完成节点局部结构信息的融合。
优选地，其中GCN模块在训练中采用针对边界的损失函数来优化学习，将交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss进行结合并针对不同边界特点对每个损失函数赋予不同权重参数。
优选地，其中在步骤(d)中，学习率设置为e-5，权重衰减设置为0.0005，GCN模块训练中的参数θ设置为10，学习率在卷积层设置为e-5，权重衰减设置为0.0005。
优选地，其中在步骤(e)中，将训练集和验证集输入模型进行训练与验证得到训练参数，并对测试集中图片进行分割。
优选地，其中在步骤(f)中，采用总体精度OA(Overall Accuracy)、平均交并比mIoU(mean Intersection over Union)以及F1-Score作为评价指标，计算公式如下:
其中m表示类别数，TP表示正确分类的像素数，FP表示背景判定为目标的像素数，FN表示目标判定为背景的像素数，TN表示目标判定为背景的像素数；
优选地，其中在步骤(g)中，根据原图和裁剪过程，对分割后的结果图进行拼接。
本技术方案的模型构建针对已有的GCN和CNN结合的语义分割模型中存在的地物边界信息缺失和地物内噪声增加等问题，本文构建了基于GCN和CNN结合的语义分割模型DGCN。该模型选择能有效优化地物边界分割效果的DeepLab V3+网络和能够得到更多特征信息的ResNet101网络(He etal.,2016)作为基础模型，在特征提取阶段加入DEM数据提取各层语义信息和空间关系信息，在GCN训练阶段采用针对边界的损失函数优化边界信息，优化地物间空间关系，再用分层特征融合的方法先细化再融合全连接层得到的各层特征信息，可以有效地解决这些问题。DGCN网络总体结构如图1所示，它主要包含了图像特征提取模块、图卷积神经网络模块和图像特征融合分类模块三个主要部分。特征提取的主干网络采用了Resnet101和DeepLab V3+，具体来说，是将带有标签的图像数据输入到主干网络中，进行图像特征的提取。获得的特征矩阵与原有的标签输入GCN分类器进行卷积处理。再将特征提取模块得到特征图和GCN模块得到的目标间空间关系信息进行融合(Bilinski etal.,2018；Yu etal.,2018)，通过上采样过程得到最终的预测结果，整个网络是一个统一的框架，以端到端的方式进行训练。
本技术方案的图像特征取模块接收经过预处理的图像数据，利用神经网络学习样本的隐含特征，并将这些特征通过全连接层映射到图像标签中。卷积神经网络在图像的特征学习方面一直表现优异，基于ResNet101能够提取不同深度特征以及缓解梯度弥散的优势，DeepLab V3+网络在DeepLab V3的基础上添加了一个简单有效的解码器模块，优化了目标边界分割的能力，本文选用ResNet101和DeepLab V3+作为主干网络，将高程数据做归一化处理，输入层除了原有的波段以外再增加一个高程数据。此外，在卷积部分引入了自适应平均池化层，将输出尺寸指定为一维，但保持输出特征数不变。接下来，使用全连接层，将其输出维数修改为适应于语义标签类别数量的大小。通过应用激活函数来获得输入样本分类的概率，用于预测生成图像的分类。
本技术方案的卷积神经网络使用图卷积神经网络f(X,A)来获取图节点的分类结果Y。在特征学习过程中，GCN也采用卷积操作来进行特征提取，这种在图结构数据上的卷积操作称之为图卷积(欧阳松,2021)。如图2所示，图卷积中输入的是图形数据，节点特征信息的抽取变换分为三步：首先，每个节点将其特征信息变换后发送给邻居节点；其次，每个节点将邻居节点的特征信息进行聚集，以完成节点局部结构信息的融合；最后，通过激活函数对聚集的信息进行非线性变换，以增强模型的表达能力。
GCN也是一个神经网络层，在计算各层的特征时，需要借助代表节点间关系的邻接矩阵，层与层之间的传播方式如下：
Y＝g(H，A) (1)
其中其中I为单位矩阵；/>是/>的度矩阵；σ为激活函数，w为参数矩阵，为拉普拉斯矩阵；对于输入层，H(0)＝X(0)；H(l)是GCN第l层的特征值。
GCN模块的训练中提出针对边界的损失函数来优化学习，将交叉熵损失函数、自引导交叉熵损失函数(Yang et al.,2019)和边界损失函数Boundary Loss(Bokhovkinetal.,2019)进行结合并针对不同边界特点对每个损失函数赋予不同权重参数，改善边界分类不准确的问题。边界损失函数具体表达如下：
其中{·}表示逻辑函数，d(·)表示两个像素之间的欧氏距离，θ是固定参数，表示欧氏距离的阈值，表示边界部分的语义分割结果，f表示边界部分的标签。
本技术方案特征融合与分类对于遥感图像的语义分割，其目标就是确定图像中所有内容的准确定位与目标物的分类，在不同的网络模型结构和特征提取方式中，浅层低级特征信息和深层语义特征信息是影响图像分割精度的主要因素(赵小强等,2021)。将遥感图像中不同地物之间的关系信息与原有特征信息融合，可以有效提高半监督分类模型的分类精度(刘威等,2022)，受这一思想启发，本章分类器将GCN模块提取到的目标间关系特征与图像语义特征提取模块得到的特征进行融合，通过上采样过程得到最终的预测结果。具体做法是先将图像特征提取出的特征图展开成m×n×Fl的一维向量，其中Fl表示在第l层卷积提取到的特征图个数,再将这个一维向量输入到GCN模型中，经过图卷积操作获取不同地物特征间的关系信息，其中GCN模型在第一层卷积中学习到的特征
可以表示为其中W0和/>与公式(2)代表的含义相同。其次为了保证特征提取模型与GCN模型在学习得到的图像特征在维度上的一致性，本文在GCN模块中增加了全连接层，该过程表示如下：
最后将图像特征提取模块和图卷积神经网络模块获得的特征值和关系信息相结合，可表示为：
其中H(L)为GCN模块提取得到的关系特征，V(L′)为样本特征，L′为特征提取模块中ResNet101和DeepLabV3+网络的层数.
实验设计，在DeepGlobe(Demir et al.,2018)和ISPRS(Rottensteiner et al.,2009)两个公开的遥感图像数据集上进行了实验。
DeepGlobe土地覆盖分类数据集提供了1146张大小为2448×2448像素的卫星图像和和DSM数据，图像是像素分辨率为0.5m的RGB图像。该数据集具有土地覆盖类型多样和注释密度高的特点，标注了农业用地、城镇、水体、树木、草地、裸土、和未知等7个分类，如表2所示。原始数据集已经被分为训练集、验证集和测试集三个子集，分别包含803、171和172张影像，本章中将三个子数据集中的图像裁剪为256×256像素的图像，重新作为训练集、验证集和测试集。
如图3所示。ISPRS语义分割数据集包括Vaihingen和Potsdam的航空影像数据。Vaihingen地区
包含33张带有语义标签的遥感图像和DSM数据，空间分辨率为0.09米。这些遥感图像包含近红外(IR)、红(R)和绿(G)三个波段，图像尺寸为(1000～4000)像素×(1000～4000)像素。Potsdam地区则包含38张带有语义标签的遥感图像，空间分辨率为0.05米，图像尺寸为6000×6000像素。这些遥感图像包含红(R)、绿(G)和蓝(B)三个波段。标注了地面、建筑用地、树木、汽车、低矮植被、和未知等6个分类，数据设置如表3所示。由于ISPRS语义分割数据集中的高分辨率图像数据单幅影像尺寸过大，将数据集中的图像裁剪成尺寸为256×256像素的图像。为了防止过拟合，采用镜像翻转和旋转增加了训练样本数量，最终得到20000张256×256的图像进行训练。
Table 3 ISPRS data swt settings
实验设置与评价指标：在ResNet101和DeepLab V3+网络的基础上设计了两个对应的DGCN，分别是DGCN1和DGCN2。在图像深度特征提取部分，使用随机梯度下降法(SGD)作为优化器，损失函数选择交叉熵损失函数，学习率设置为e-5，权重衰减设置为0.0005，训练迭代次数设置为50，批大小设置为8。提取出的深度特征用于初始化图节点。在GCN模块的训练中，使用Adam作为优化器进行梯度下降，损失函数选用交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss，其中的参数设置为10，学习率在卷积层设置为e-5，权重衰减设置为0.0005，模型训练迭代次数设置为40，批大小设置为8。
采用总体精度OA(Overall Accuracy)、平均交并比mIoU(mean Intersectionover Union)以及F1-Score作为评价指标，计算公式如下：
其中m表示类别数，TP表示正确分类的像素数，FP表示背景判定为目标的像素数，FN表示目标判定为背景的像素数，TN表示目标判定为背景的像素数。
该方法在Windows64位系统下基于TensorFlow框架下的NVIDIA3090TiGPU实验环境下实现。
实验结果：
对比实验
为了验证提出方法的有效性，将本章提出的DGCN1和DGCN2模型与ResNet101、SegNet、U-Net、FCN-8s(Shelhamer et al.,2016)等几个经典语义分割模型进行精度和可视化对比。对不同模型在ISPRS和DeepGlobe数据集上的语义分割结果进行可视化展示，并进行定性分析。在ISPRS Vaihingen和Potsdam数据集上的实验分为添加DSM数据和不加入DSM数据的实验。ISPRS测试集包含DSM数据的遥感图像及其对应标签在不同模型下的可视化结果图如下图所示。从可视化结果上可以明显看出本文提出的DGCN1和DGCN2模型的整体分割效果相比之前的语义分割模型更好。SegNet、U-Net和ResNet101将部分低矮植被误分为树木，ResNet101容易将位置分类误分为地面，DGCN1分割低矮植被和树木的效果较好，FCN容易将未知分类误分为汽车，DeepLab V3+和DGCN2分割汽车的效果较好，DGCN1和DGCN2在建筑用地和低矮植被交界处的分类效果明显优于其他模型。7种语义分割模型分割低矮植被和地面均存在错分现象，但DGCN1和DGCN2模型从整体来看效果较好，错分的像素比例较小。
本文提出的模型与其他对比模型在Vaihingen和Potsdam地区测试集语义分割精度如表4和表5所示。在未加入DSM数据的Vaihingen地区数据集上，本文提出的DGCN1和DGCN2模型OA和mIoU最高，DGCN1比ResNet101高出2.56％和5.66％，DGCN2
比DeepLab V3+高出0.95％和4.11％。从F1-score精度指标来看，DGCN2模型未知类型的精度达到了54.39％，比其他模型高出10％以上，DGCN1和DGCN2模型建筑用地类型的精度达到了94％以上，比其他模型高出了1％-3％。加入DSM数据后，整体来看各个分类的F1-score都有所提高，其中建筑用地和树木类型提高较为明显。在DGCN2模型中加入DSM数据后，mIoU比原来提高了1.02％，比加入DSM数据的DeepLab V3+模型提高了4.14％。说明加入DSM信息的深度语义分割模型分割精度更高。
表4不同模型在Deepglobe测试集上的语义分割精度对比
Tale 4 Comparison of semantic segnentation ace uracy of differentmodels on Deepglobe Test Set
*每个类别的F1-score和OA、mloU前一个为未加入DSM数据的结果，后一个加粗显示的是加入国DSM数据的结果。
在未加入DSM数据的Potsdam地区数据集上，与ResNet101相比，DGCN1的OA和mIoU提高了5.31％和5.66％，与DeepLab V3+相比，DGCN2的OA和mIoU提高了5.31％和5.66％。从F1-score精度指标来看，DGCN1模型树木和汽车类型的精度比ResNet101提高了7.83％和4.52％，DGCN2模型地面和低矮植被类型的精度比DeepLabV3+提高了0.53％和1.18％。加入DSM数据后，地面类别的F1-score较原来有所下降，但建筑用地、树木、汽车的F1-score提高较多，并且每个分割模型的OA比原来提高了0.3％以上，DGCN1和DGCN2的mIoU比原来提高了0.5％以上。总体来看DGCN1和DGCN2模型精度均优于其他模型，这证明了本文模型的有效性。
表5不同模型在Deepglobe测试集上的语义分割精度对比
Tale 5 Comparison of semantic segnentation ace uracy of differentmodels on Deepglobe Test Set
*每个类别的F1-score和OA、mloU前一个为未加入DSM数据的结果，后一个加粗显示的是加入国DSM数据的结果。
DeepGlobe测试集的正射影像及其对应标签和不同模型的可视化结果图如图4所示。
ResNet101容易将农业用地误分为牧场，SegNet和U-Net模型将森林误分为农业用地，U-Net和FCN模型将牧场误分为水体。相比其他语义分割模型，本文提出的DGCN1和DGCN2模型在农业用地、城镇和牧场的交界处的分类效果有明显的优势，地物边界更加清晰，并且有效减少了噪声。
本文提出的模型与其他对比模型在DeepGlobe测试集语义分割精度如表6所示。与ResNet101相比，DGCN1的OA和mIoU提高了3.55％和5.77％，与DeepLab V3+相比，DGCN2的OA和mIoU提高了2.14％和0.97％。从F1-score精度指标来看，DGCN1模型草地和未知类型的精度比ResNet101提高了10％以上，DGCN2模型水体和裸土类型的精度比DeepLab V3+提高了1.51％和5.4％。总体来看DGCN1和DGCN2模型的OA和mIoU较其他模型有明显的提高，这证明了本文模型的有效性。
表6不同模型在Deepglobe测试集上的语义分割精度对比
Tale 6 Comparison of semantic segnentation ace uracy of differentmodels on Deepglobe Test Set
在DeepGlobe和ISPRS2D数据集上的可视化语义分割结果表明，DGCN1和DGCN2的分割结果更全面，噪声更小，准确率更高，说明DGCN可以有效增强语义分割效果。由于空间关系优化后的GCN模块能有效保留表面物体边界信息，同时降低噪声，使DGCN分割结果更接近实际的表面物体边界。本文提出的模型通过对提取的各层特征信息进行分层融合，使得地物元素内部信息更加完整，从而验证了DGCN模型的有效性。
为了进一步验证改进模块的有效性，本章在DeepGlobe数据集上进行了相关消融实验，消融实验结果见表7。基线模型DGCN1和DGCN2的mIoU分别为69.01％和74.98％。通过叠加不同的策略，可以实现基线上的持续改进。具体而言，Boundary Loss使mIoU分别提高了5.36％和0.56％；特征融合模块使mIoU分别提高0.93％和0.38％；我们的全模型分别提高了5.77％和0.95％。这些结果证明了模型的有效性。
表7在DpeepGlobe数据集上的消融分析
Table7 Ablation analysis pn the DeepGlobe data set
针对已有的CNN和GCN结合模型在用于语义分割时，卷积和下采样操作对地物边界信息造成缺失和特征融合造成地物内噪声增加的问题，提出了用于遥感图像语义分割的DGCN模型。该模型选择了对边界信息有优化效果的DeepLab V3+网络和特征图包含更多的空间信息的ResNet101网络作为基础网络用来提取遥感图像的深层特征。GCN模块用于提取地物间空间关系信息，在GCN模块训练阶段采用针对边界的损失函数对地物的边界信息进行优化。在特征融合阶段引入分级特征融合方法，将提取到的深层特征和空间关系信息先细化再分层融合，有效解决了分割结果中地物内部噪声和目标地物间的边界不准确的问题。由于地物间边界信息对于遥感图像的高精度和可解译度语义分割至关重要，所以在GCN中充分提取并利用地物空间关系信息有效增强了遥感影像的分类精度。在ISPRS和DeepGlobe两个公开数据集上进行了实验和可视化分析，与经典语义分割模型进行了精度对比，本文提出的DGCN1和DGCN2模型的F1-score、OA、mIoU三个精度评价指标均高于其他模型，证实了本文模型在遥感图图像语义分割应用中的有效性。
本技术方案由于高程对特征信息的影响会导致高差较大的情况下同一地物的训练效果不理想。基于卷积神经网络结合图卷积神经网络建立了针对遥感图像的语义分割模型DGCN，在特征提取阶段加入了DEM信息，优化了训练效果，在GCN模块中使用针对边界信息的损失函数对目标地物及其之间的空间关系特征进行优化学习，采用分层融合方法进行特征融合与分类，优化原有特征信息中的空间关系信息。
附图说明
图1本发明的DGCN网络总体结构图；
图2是本发明的GCN网络总体结构图；
图3是本发明的不同模型在ISPRS测试集上的语义分割结果图；
图4是本发明不同模型在DeepGlobe测试集上的语义分割结果图。
具体实施方式
一种基于图卷积神经网络的高分辨率遥感图像语义分割方法，包括以下步骤：
(a)遥感图像数据的获取，其中包括使用高分辨率遥感图像分割公开数据集或下载高分辨率遥感图像，下载或从遥感数据中提取对应地区的高程数据；
(b)数据预处理与数据集构建，包括对获取的原始遥感图像进行预处理，利用Arcgis对裁剪后的遥感图像进行标注，并将矢量要素转换为栅格，生成掩膜栅格图作为标签，对获取的遥感图像数据进行预处理，包括图像裁剪、尺寸调整，并将数据集分为训练集、验证集、和测试集三个子集；
(c)构建基于图卷积神经网络和高程数据的高分辨率遥感图像语义分割模型，用ResNet101和DeepLabV3+作为主干网络，将高程数据做归一化处理，输入层除了原有的红、绿、蓝、近红外波段以外再增加一个高程数据；使用图卷积神经网络(GCN)来获取图节点的分类结果Y，首先，每个节点将其特征信息变换后发送给邻居节点；其次，每个节点将邻居节点的特征信息进行聚集，以完成节点局部结构信息的融合；最后，通过激活函数对聚集的信息进行非线性变换，借助代表节点间关系的邻接矩阵A来计算GCN各层的特征，层与层之间的传播方式如下：
Y＝g(H，A) (1)
其中其中I为单位矩阵；/>是/>的度矩阵；σ为激活函数，/>
为参数矩阵，为拉普拉斯矩阵；对于输入层，H(0)＝X(0)；H(l)是GCN第l层的特征值。
GCN的训练中采用针对边界的损失函数来优化学习，将交叉熵损失函数、自引导交叉熵损失函数和边界损失函数BoundaryLoss进行结合并针对不同边界特点对每个损失函数赋予不同权重参数。边界损失函数具体表达如下：
其中{·}表示逻辑函数，d(·)表示两个像素之间的欧氏距离，θ是固定参数，表示欧氏距离的阈值，表示边界部分的语义分割结果，f表示边界部分的标签。
S3-3：将GCN模块提取到的目标间关系特征与图像语义特征提取模块得到的特征进行融合，通过上采样过程得到最终的预测结果。其中GCN模型在第1层卷积中学习到的特征可以表示为：
其中W0和与公式(2)代表的含义相同。其次为了保证特征提取模型与GCN模型在学习得到的图像特征在维度上的一致性，本文在GCN模块中增加了全连接层，该过程表示如下：
最后将图像特征提取模块和图卷积神经网络模块获得的特征值和关系信息相结合，可表示为：
其中H(L)为GCN模块提取得到的关系特征，V(L′)为样本特征，L′为特征提取模块中ResNet101和DeepLab V3+网络的层数
(d)参数设置，其中图像深度特征提取部分使用随机梯度下降法(SGD)作为优化器，损失函数选择交叉熵损失函数，训练迭代次数设置为50，批大小设置为8，GCN模块的训练中使用Adam作为优化器进行梯度下降，损失函数选用交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss，模型训练迭代次数设置为40；
(e)模型训练与分割，将训练集和验证集输入模型进行训练与验证得到训练参数，并对测试集中图片进行分割；
(f)使用总体精度OA(Overall Accuracy)、平均交并比mIoU(mean Intersectionover Union)以及F1-Score作为评价指标；
(g)根据S2-3中的原图和裁剪过程，对分割后的结果图进行拼接。
优选地，其中在步骤(b)，预处理过程包括重采样辐射定标、大气校正、几何校正、图像融合、图像镶嵌、数据增强、裁剪。
优选地，其中在步骤(c)，卷积部分引入了自适应平均池化层，将输出尺寸指定为一维，保持输出特征数不变。
优选地，其中在步骤(c)中，使用图卷积神经网络(GCN)来获取图节点的分类结果，每个节点将其特征信息变换后发送给邻居节点，然后每个节点将邻居节点的特征信息进行聚集，以完成节点局部结构信息的融合。
优选地，其中GCN模块在训练中采用针对边界的损失函数来优化学习，将交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss进行结合并针对不同边界特点对每个损失函数赋予不同权重参数。
优选地，其中在步骤(d)中，学习率设置为e-5，权重衰减设置为0.0005，GCN模块训练中的参数θ设置为10，学习率在卷积层设置为e-5，权重衰减设置为0.0005。
优选地，其中在步骤(e)中，将训练集和验证集输入模型进行训练与验证得到训练参数，并对测试集中图片进行分割。
优选地，其中在步骤(f)中，采用总体精度OA(Overall Accuracy)、平均交并比mIoU(mean Intersection over Union)以及F1-Score作为评价指标，计算公式如下:
其中m表示类别数，TP表示正确分类的像素数，FP表示背景判定为目标的像素数，FN表示目标判定为背景的像素数，TN表示目标判定为背景的像素数；
优选地，其中在步骤(g)中，根据原图和裁剪过程，对分割后的结果图进行拼接。

Claims (9)

1.一种基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，包括以下步骤：
(a)遥感图像数据的获取，其中包括使用高分辨率遥感图像分割公开数据集或下载高分辨率遥感图像，下载或从遥感数据中提取对应地区的高程数据；
(b)数据预处理与数据集构建，包括对获取的原始遥感图像进行预处理，利用Arcgis对裁剪后的遥感图像进行标注，并将矢量要素转换为栅格，生成掩膜栅格图作为标签，对获取的遥感图像数据进行预处理，包括图像裁剪、尺寸调整，并将数据集分为训练集、验证集、和测试集三个子集；
(c)构建基于图卷积神经网络和高程数据的高分辨率遥感图像语义分割模型，用ResNet101和DeepLab V3+作为主干网络，将高程数据做归一化处理，输入层除了原有的红、绿、蓝、近红外波段以外再增加一个高程数据；使用图卷积神经网络(GCN)来获取图节点的分类结果Y，首先，每个节点将其特征信息变换后发送给邻居节点；其次，每个节点将邻居节点的特征信息进行聚集，以完成节点局部结构信息的融合；最后，通过激活函数对聚集的信息进行非线性变换，借助代表节点间关系的邻接矩阵A来计算GCN各层的特征，层与层之间的传播方式如下：
Y＝g(H,A) (1)
其中其中I为单位矩阵；/>是/>的度矩阵；σ为激活函数，W为参数矩阵，为拉普拉斯矩阵；对于输入层，H(0)＝X(0)；H(l)是GCN第l层的特征值；
GCN的训练中采用针对边界的损失函数来优化学习，将交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss进行结合并针对不同边界特点对每个损失函数赋予不同权重参数，边界损失函数具体表达如下：
其中{·}表示逻辑函数，d(·）表示两个像素之间的欧氏距离，θ是固定参数，表示欧氏距离的阈值，表示边界部分的语义分割结果，f表示边界部分的标签；
将GCN模块提取到的目标间关系特征与图像语义特征提取模块得到的特征进行融合，通过上采样过程得到最终的预测结果，其中GCN模型在第1层卷积中学习到的特征可以表示为：
其中W0和与公式(2)代表的含义相同，其次为了保证特征提取模型与GCN模型在学习得到的图像特征在维度上的一致性，本文在GCN模块中增加了全连接层，该过程表示如下：
最后将图像特征提取模块和图卷积神经网络模块获得的特征值和关系信息相结合，可表示为：
其中H(L)为GCN模块提取得到的关系特征，V(L′)为样本特征，L'为特征提取模块中ResNet101和DeepLab V3+网络的层数；
(d)参数设置，其中图像深度特征提取部分使用随机梯度下降法(SGD)作为优化器，损失函数选择交叉熵损失函数，训练迭代次数设置为50，批大小设置为8，GCN模块的训练中使用Adam作为优化器进行梯度下降，损失函数选用交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss，模型训练迭代次数设置为40；
(e)模型训练与分割，将训练集和验证集输入模型进行训练与验证得到训练参数，并对测试集中图片进行分割；
(f)使用总体精度OA(Overall Accuracy)、平均交并比mIoU(mean Intersection overUnion)以及F1-Score作为评价指标；
(g)根据S2-3中的原图和裁剪过程，对分割后的结果图进行拼接。
2.根据权利要求1所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中在步骤(b)，预处理过程包括重采样辐射定标、大气校正、几何校正、图像融合、图像镶嵌、数据增强、裁剪。
3.根据权利要求1所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中在步骤(c)，卷积部分引入了自适应平均池化层，将输出尺寸指定为一维，保持输出特征数不变。
4.根据权利要求1所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中在步骤(c)中，使用图卷积神经网络(GCN)来获取图节点的分类结果，每个节点将其特征信息变换后发送给邻居节点，然后每个节点将邻居节点的特征信息进行聚集，以完成节点局部结构信息的融合。
5.根据权利要求4所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中GCN模块在训练中采用针对边界的损失函数来优化学习，将交叉熵损失函数、自引导交叉熵损失函数和边界损失函数Boundary Loss进行结合并针对不同边界特点对每个损失函数赋予不同权重参数。
6.根据权利要求1所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中在步骤(d)中，学习率设置为e-5，权重衰减设置为0.0005，GCN模块训练中的参数θ设置为10，学习率在卷积层设置为e-5，权重衰减设置为0.0005。
7.根据权利要求1所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中在步骤(e)中，将训练集和验证集输入模型进行训练与验证得到训练参数，并对测试集中图片进行分割。
8.根据权利要求1所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中在步骤(f)中，采用总体精度OA(Overall Accuracy)、平均交并比mIoU(meanIntersection over Union)以及F1-Score作为评价指标，计算公式如下:
其中m表示类别数，YP表示正确分类的像素数，FP表示背景判定为目标的像素数，FN表示目标判定为背景的像素数，TN表示目标判定为背景的像素数。
9.根据权利要求1所述的基于图卷积神经网络的高分辨率遥感图像语义分割方法，其特征在于，其中在步骤(g)中，根据原图和裁剪过程，对分割后的结果图进行拼接。
CN202310602675.2A 2023-05-26 2023-05-26 基于图卷积神经网络的高分辨率遥感图像语义分割方法 Pending CN116597143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310602675.2A CN116597143A (zh) 2023-05-26 2023-05-26 基于图卷积神经网络的高分辨率遥感图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310602675.2A CN116597143A (zh) 2023-05-26 2023-05-26 基于图卷积神经网络的高分辨率遥感图像语义分割方法

Publications (1)

Publication Number Publication Date
CN116597143A true CN116597143A (zh) 2023-08-15

Family

ID=87589604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310602675.2A Pending CN116597143A (zh) 2023-05-26 2023-05-26 基于图卷积神经网络的高分辨率遥感图像语义分割方法

Country Status (1)

Country Link
CN (1) CN116597143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977750A (zh) * 2023-09-25 2023-10-31 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977750A (zh) * 2023-09-25 2023-10-31 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法
CN116977750B (zh) * 2023-09-25 2023-12-12 中国地质大学（武汉） 土地覆盖场景分类模型构建方法及分类方法

Similar Documents

Publication Publication Date Title
Wang et al. Scene classification of high-resolution remotely sensed image based on ResNet
Han et al. Remote sensing image building detection method based on Mask R-CNN
Feng et al. Pavement crack detection and segmentation method based on improved deep learning fusion model
CN111612008B (zh) 基于卷积网络的图像分割方法
CN107067405B (zh) 基于尺度优选的遥感影像分割方法
Chen et al. Mapping agricultural plastic greenhouses using Google Earth images and deep learning
CN113609889B (zh) 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
Dibs et al. Multi-fusion algorithms for detecting land surface pattern changes using multi-high spatial resolution images and remote sensing analysis
CN112200083B (zh) 一种基于多元高斯混合模型的机载多光谱LiDAR数据分割方法
Ge et al. Deep residual network-based fusion framework for hyperspectral and LiDAR data
CN116597143A (zh) 基于图卷积神经网络的高分辨率遥感图像语义分割方法
Mirnalinee et al. An integrated multistage framework for automatic road extraction from high resolution satellite imagery
CN115019163A (zh) 基于多源大数据的城市要素识别方法
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN112861802B (zh) 基于时空深度学习融合技术的农作物全自动化分类方法
CN104933410B (zh) 一种高光谱图像光谱域与空间域联合分类方法
Wang et al. Residential roof condition assessment system using deep learning
Lee et al. Infrared small target detection algorithm using an augmented intensity and density-based clustering
Ju et al. A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation
Meng et al. Canopy structure attributes extraction from LiDAR data based on tree morphology and crown height proportion
Engstrom et al. Evaluating the Relationship between Contextual Features Derived from Very High Spatial Resolution Imagery and Urban Attributes: A Case Study in Sri Lanka
Amirkolaee et al. Convolutional neural network architecture for digital surface model estimation from single remote sensing image
Li et al. PointLAE: A Point Cloud Semantic Segmentation Neural Network via Multifeature Aggregation for Large-Scale Application
CN112164087B (zh) 基于边缘约束和分割边界搜索的超像素分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination