CN116977750A - 土地覆盖场景分类模型构建方法及分类方法 - Google Patents

土地覆盖场景分类模型构建方法及分类方法 Download PDF

Info

Publication number
CN116977750A
CN116977750A CN202311234948.9A CN202311234948A CN116977750A CN 116977750 A CN116977750 A CN 116977750A CN 202311234948 A CN202311234948 A CN 202311234948A CN 116977750 A CN116977750 A CN 116977750A
Authority
CN
China
Prior art keywords
remote sensing
result
sensing image
semantic segmentation
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311234948.9A
Other languages
English (en)
Other versions
CN116977750B (zh
Inventor
李显巨
程聪
陈伟涛
冯如意
唐厂
王力哲
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202311234948.9A priority Critical patent/CN116977750B/zh
Publication of CN116977750A publication Critical patent/CN116977750A/zh
Application granted granted Critical
Publication of CN116977750B publication Critical patent/CN116977750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种土地覆盖场景分类模型构建方法及分类方法，包括：获取遥感图像集，遥感图像集中的遥感图像中包括土地覆盖场景；将遥感图像输入至构建的初始分类模型中，对初始分类模型进行训练，得到目标分类模型；初始分类模型及目标分类模型包括关联的语义分割模型、残差神经网络模型及图神经网络模型。本发明构建的基于语义分割与多级输出的残差神经网络‑图神经网络搭建的目标分类模型，在对输入的遥感图像进行处理时，由于残差神经网络及图神经网络对语义分割结果中的特征的进一步提取处理及全局学习，从而能够为遥感图像场景分类提供方法支撑，最终提升土地覆盖场景的分类精度，能够确保矿区土地覆盖精细化场景分类的精度及可靠性。

Description

土地覆盖场景分类模型构建方法及分类方法
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种土地覆盖场景分类模型构建方法及分类方法。
背景技术
随着遥感技术的不断提升，遥感图像的空间分辨率、光谱分辨率等信息也愈发精准、完备。同时，可解译出的地物类型也逐渐增多，使得遥感场景分类逐渐向复杂化、精细化的方向发展。
对于例如矿区土地覆盖精细化场景分类，由于不同地物尺度差异过大、不同地物间相似度过高、同一类内地物差异性过大等可能的原因，使得精细化场景分类精度较低。
发明内容
为解决上述问题，第一方面，本发明提供了一种土地覆盖场景分类模型构建方法，包括：
获取遥感图像集，该遥感图像集中的遥感图像中包括至少一种土地覆盖场景；将该遥感图像输入至构建的初始分类模型中，对该初始分类模型进行训练，得到目标分类模型；该初始分类模型及该目标分类模型包括关联的语义分割模型、残差神经网络模型及图神经网络模型，该语义分割模型用于对该遥感图像进行初步分类，输出语义分割结果，该残差神经网络模型用于对该遥感图像及该语义分割结果进行特征提取，输出各自对应的第一特征提取结果，该图神经网络用于对该遥感图像及该第一特征提取结果进行特征提取，输出各自对应的第二特征提取结果；该目标分类模型用于输出该遥感图像的第一分类结果，该第一分类结果通过对该遥感图像及该第一特征提取结果对应的该第二特征提取结果融合得到。
可选地，本发明提供的土地覆盖场景分类模型构建方法，该将该遥感图像输入至构建的初始分类模型中，对该初始分类模型进行训练，得到目标分类模型包括：
将该遥感图像输入至该初始分类模型中，得到该初始分类模型对应的损失函数，该损失函数用于对该初始分类模型的分类结果进行评价；根据该损失函数对该初始分类模型进行迭代训练，得到该目标分类模型。
可选地，本发明提供的土地覆盖场景分类模型构建方法，该目标分类模型还用于输出第二分类结果，该第二分类结果通过该遥感图像及该语义分割结果对应的该第一特征提取融合得到；该损失函数包括第一损失函数、第二损失函及第三损失函数；该第一损失函数表示对该语义分割结果的评价，该第二损失函数表示对该第二分类结果的评价，该第三损失函数表示对该第一分类结果的评价；
该根据该损失函数对该初始分类模型进行迭代训练，得到该目标分类模型包括：
对该第一损失函数、该第二损失函数及该第三损失函数进行融合，得到融合后的损失函数；根据融合后的损失函数对该初始分类模型进行迭代训练，得到该目标分类模型。
可选地，本发明提供的土地覆盖场景分类模型构建方法，该初始分类模型包括初始语义分割模型、初始残差网络模型及初始图神经网络模型，该将该遥感图像输入至初始分类模型中，得到该初始分类模型对应的损失函数包括：
将该遥感图像输入初始语义分割模型，得到一级语义分割结果、二级语义分割结果及该第一损失函数；将该遥感图像、该一级语义分割结果及该二级语义分割结果输入至该初始残差网络模型中，输出各自对应的该第一特征提取结果；对该一级语义分割结果对应的第一特征提取结果及该遥感图像对应的第一特征提取结果进行特征融合，得到该第二分类结果及该第二分类结果对应的该第二损失函数；
根据该遥感图像的第一特征提取结果及该二级语义分割结果的第一特征提取结果，基于该初始图神经网络模型，确定该第一分类结果及该第一分类结果对应的该第三损失函数。
可选地，本发明提供的土地覆盖场景分类模型构建方法，该根据该遥感图像的第一特征提取结果及该二级语义分割结果的第一特征提取结果，基于该初始图神经网络模型，确定该第一分类结果及该第一分类结果对应的该第三损失函数包括：
将该遥感图像及该遥感图像的第一特征提取结果输入至该初始图神经网络模型，得到该遥感图像对应的第二特征提取结果；
将该二级语义分割结果及该二级语义分割结果的第一特征提取结果输入至该初始图神经网络模型，得到该二级语义分割结果对应的第二特征提取结果；
对该遥感图像对应的第二特征提取结果，及该二级语义分割结果对应的第二特征提取结果进行融合，得到该第一分类结果及该第一分类结果对应的该第三损失函数。
可选地，本发明提供的土地覆盖场景分类模型构建方法，该将该遥感图像输入初始语义分割模型，得到一级语义分割结果、二级语义分割结果包括：
将该遥感图像输入初始语义分割模型，得到该遥感图像对应的该二级语义分割结果；
对该二级语义分割结果进行归并处理，得到该一级分割结果。
可选地，本发明提供的土地覆盖场景分类模型构建方法，将该一级语义分割结果及该二级语义分割结果输入至初始残差网络模型之前，还包括：
对该一级语义分割结果及该二级语义分割结果进行通道数据扩充。
可选地，本发明提供的土地覆盖场景分类模型构建方法，将该遥感图像及将该二级语义分割结果输入至该初始图神经网络模型之前，还包括：
分别提取该遥感图像及该二级语义分割结果中的邻接矩阵，该遥感图像的邻接矩阵表示该遥感图像中特征之间的关联关系，该二级语义分割结果的该邻接矩阵表示该二级语义分割结果中特征之间的关联关系。
可选地，本发明提供的土地覆盖场景分类模型构建方法，该初始残差网络模型包括不同深度的第一残差网络模型、第二残差网络模型及第三残差网络模型；
该将该遥感图像、该一级语义分割结果及该二级语义分割结果输入至该初始残差网络模型中，输出各自对应的该第一特征提取结果包括：
将该遥感图像输入至该第一残差网络模型，输出该遥感图像对应的第一特征提取结果；
将该一级语义分割结果输入至该第二残差网络模型，输出该一级语义分割结果对应的第一特征提取结果；
将该二级语义分割结果输入至该第三残差网络模型，输出该二级语义分割结果对应的第一特征提取结果。
第二方面，本发明还提供一种土地覆盖场景分类方法，包括：
获取待处理遥感图像，该待处理遥感图像中包括至少一种土地覆盖场景；
将该待处理遥感图像输入至如上述第一方面所述的土地覆盖场景分类模型构建方法中所构建的目标分类模型，得到该待处理遥感图像的分类结果，该分类结果中包括该待处理遥感图像中至少一种土地覆盖类型的标签信息。
本发明提供的土地覆盖场景分类模型构建方法及分类方法，通过搭建互相关联的语义分割模型、残差网络模型及图神经网络模型，作为土地覆盖场景的初始分类模型的框架，进而通过对获取的遥感图像进行处理的过程中，实现对该初始分类模型的训练，即首先利用语义分割模型对遥感图像进行初步分割处理，输出语义分割结果，进而将遥感图像及语义分割结果输入至残差网络模型，对遥感图像及语义分割结果进行特征提取，输出第一特征提取结果，进而将遥感图像及第一特征提取结果输入至图神经网络，对其进行上下文学习的再次特征提取，输出遥感图像对应的第二特征提取结果，以及第一特征提取结果对应的第二特征提取结果，最后将两者的第二特征提取结果进行融合，得到的融合结果作为对该遥感图像中的土地覆盖场景的分类结果，最终实现在对遥感图像中的特征数据的处理过程中，对搭建的初始分类模型的训练，以构建目标分类模型。即本发明构建的基于语义分割与多级输出的残差神经网络-图神经网络搭建的目标分类模型，在对输入的遥感图像进行处理时，由于残差神经网络及图神经网络对语义分割结果中的特征的进一步提取处理及全局学习，以辅助土地覆盖场景分类任务，进行多任务融合，从而能够为遥感图像场景分类提供方法支撑，最终提升土地覆盖场景的分类精度，能够确保例如矿区土地覆盖精细化场景分类的精度及可靠性。
附图说明
图1为本发明一些实施例提供的土地覆盖场景分类模型构建方法的流程示意图；
图2为本发明一些实施例提供的土地覆盖场景分类模型的框架示意图；
图3为本发明一些实施例提供的土地覆盖场景分类模型构建过程中损失函数确定的流程示意图；
图4为本发明一些实施例中的网络模型结构示意图；
图5为本发明一些实施例提供的土地覆盖场景分类模型构建过程中对遥感图像的处理流程示意图；
图6为本发明一些实施例提供的土地覆盖场景分类方法的流程示意图；
图7为本发明一些实施例提供的土地覆盖场景分类模型构建装置的结构示意图；
图8为本发明一些实施例提供的计算机系统的结构示意图。
具体实施方式
可以理解，土地覆盖的数据采集及分析，是区域规划、气候变化、生态系统评价、环境建模等多项研究的基础数据之一，也是全球变化研究的重要组成部分，对地球系统科学、全球环境变化和可持续发展研究具有重要意义。
如，通过采集的遥感数据对土地覆盖场景的分类，能够对获取的遥感数据进行处理，以对其中的覆盖场景进行分类，以实现对测试区域的土地覆盖情况精确的识别及掌握，为实际生态建设计划及发展提供准确依据。
可以理解，对于土地覆盖场景的类别，根据相关规定，即土地覆盖场景的二级分类体系，如表1所示。
表1 土地覆盖场景类别
其中，具体可以包括7类及20类，即20类可以归并为7类。如一级分类中可以包括矿山用地、耕地、林地、道路、城乡居民建设用地及未利用土地。在每个一级分类下，又包括了多个二级分类。如相关规定中，7个一级分类下总共具有20个二级分类，即通过规定，可以将土地覆盖类型归类为20个二级分类中的一种。
本发明实施例中，为了实现对土地覆盖高精度分类，如精细化场景下的精确分类，克服不同地物尺度差异过大、不同地物间相似度过高及同一类地物差异性过大等原因，导致的土地覆盖场景分类精度不高的缺陷，通过构建基于语义分割、多级输出的卷积神经网络及图神经网络的分类模型，从而可以在对获取的待处理的遥感数据中的覆盖场景进行分类时，首先可以对其进行语义分割，扩充特征提取分支，进而利用卷积神经网络对语义分割处理后的遥感数据进行特征提取及融合，最后再利用图卷积神经网络学习特征的上下文关系，实现遥感数据的高精度场景分类，为全面了解掌握土地覆盖情况提供了准确的依据。
为了更好的理解本发明实施例提供的土地覆盖场景分类模型的构建方法及分类方法，下面通过附图详细阐述。
该方法可以由具有数据接收、处理及存储能力的计算机设备执行。
如图1所示，该方法具体包括：
S110，获取遥感图像集，该遥感图像集中的遥感图像中包括至少一种土地覆盖场景。
S120，将该遥感图像输入至初始分类模型中，对该初始分类模型进行训练，得到目标分类模型；该初始分类模型及该目标分类模型包括关联的语义分割模型、残差神经网络模型及图神经网络模型，该语义分割模型用于对该遥感图像进行初步分类，输出语义分割结果，该残差神经网络模型用于对该遥感图像及该语义分割结果进行特征提取，输出对应的第一特征提取结果，该图神经网络用于对该遥感图像及该第一特征提取结果进行特征提取，输出对应的第二特征提取结果；该目标分类模型用于输出该遥感图像的第一分类结果，该第一分类结果通过对该遥感图像及该第一特征提取结果对应的该第二特征提取结果融合得到。
具体地，首先可以获取训练数据，该训练数据用于训练分类模型。其中可以包括通过遥感成像方式采集的遥感数据。
例如，该训练数据可以包括多光谱影像及数字高程模型（DEM）图像等不同格式的图像，即遥感图像。
该数字高程模型（DEM）是通过有限的地形高程数据实现对地面地形的数字化模拟（即地形表面形态的数字化表达），它是用一组有序数值阵列形式表示地面高程的一种实体地面模型。
多光谱影像指，可以包括很多波段的图像，每个波段为一幅灰度图像，表示根据用来产生该波段的传感器的敏感度得到地表物体的反射率。如包括RGB、近红外图像（NIR）。
其中，多光谱影像侧重于提取光谱-空间特征，用于表示空间分辨率、时相、空间范围以及光谱信息的特征；数字高程模型侧重于提取地形特征，用于表示地面特征分布数据中如坡度、坡向等地形数据。
所获取上述遥感图像集的遥感图像中包括对应区域的土地覆盖的场景类型。如包括上述记载的一级分类下的至少一个二级分类等。
进一步，在获取到上述训练数据后，可以将训练数据输入至搭建的初始分类模型，对该初始分类模型进行训练，以得到目标分类模型。
结合图2所示，该初始分类模型可以包括关联的语义分割初始模型、残差网络初始模模型及图神经网络初始模型。对应的，目标分类模型即包括语义分割目标模型、残差网络目标模型及图神经网络目标模型。该目标分类模型即用于对待处理的遥感图像中的土地覆盖场景进行分类，即能够输出待处理的遥感图像中的土地覆盖场景的分类结果，如在训练过程中，可以输出训练数据中的遥感图像的土地覆盖场景的分类结果，如所包括的土地覆盖场景的标签信息。
实际中，对于分类模型的训练构建，为利用获取的训练数据，对各个初始模型的训练。即在将训练数据中的遥感图像输入初始模型中时，其中的各个模型互相配合及嵌套，以对输入的遥感图像进行处理，实现自身的训练。
即首先输入至语义分割模型中，对该遥感图像中的覆盖场景进行初步分割，得到语义分割结果。进而将该语义分割结果以及该遥感图像输入至残差神经网络模型中，实现对语义分割结果及遥感图像中的特征进行提取，并输出语义分割结果对应的第一特征提取结果，以及遥感图像对应的第一特征提取结果。
进一步，再将遥感图像、遥感图像对应的第一特征提取结果及语义分割结果对应的第一特征提取结果输入到图神经网络模型中，进行再次的特征提取，输出遥感图像对应的第二特征提取结果，以及语义分割结果对应的第二特征提取结果。最后，将两者的第二特征提取结果进行融合，即可得到该遥感图像中的土地覆盖场景的分类结果，即第一分类结果。
该第一分类结果中可以包括遥感图像中土地覆盖场景的标签信息，如包括20类二级覆盖场景的标签信息。该标签信息可以为二进制编码，即通过二进制编码来表示对应的分类结果。
即如图2所示，该目标分类模型可以对输入的遥感图像进行土地覆盖场景分类，输出分类结果，如图2所示，最终输出20类覆盖场景。如表1所示。
可以理解，本发明实施例中通过搭建互相关联的语义分割模型、残差网络模型及图神经网络模型，作为土地覆盖场景的初始分类模型的框架，进而通过对获取的遥感图像进行处理的过程中，实现对该初始分类模型的训练，即首先利用语义分割模型对遥感图像进行初步分割处理，输出语义分割结果，进而将遥感图像及语义分割结果输入至残差网络模型，对遥感图像及语义分割结果进行特征提取，输出第一特征提取结果，进而将遥感图像及第一特征提取结果输入至图神经网络，对其进行上下文学习的再次特征提取，输出遥感图像对应的第二特征提取结果，以及第一特征提取结果对应的第二特征提取结果，最后将两者的第二特征提取结果进行融合，得到的融合结果作为对该遥感图像中的土地覆盖场景的分类结果，最终实现在对遥感图像中的特征数据的处理过程中，对搭建的初始分类模型的训练，以构建目标分类模型。即本发明构建的基于语义分割与多级输出的残差神经网络-图神经网络搭建的目标分类模型，在对输入的遥感图像进行处理时，由于残差神经网络及图神经网络对语义分割结果中的特征的进一步提取处理及全局学习，以辅助土地覆盖场景分类任务，进行多任务融合，从而能够为遥感图像场景分类提供方法支撑，最终提升土地覆盖场景的分类精度，能够确保矿区土地覆盖精细化场景分类的精度及可靠性。
可选地，本发明一些实施例中，对于初始模型的训练过程，具体可以包括如下步骤：
S121，将该遥感图像输入至初始分类模型中，得到该初始分类模型对应的损失函数，该损失函数表示对该语义分割模型及该第一分类结果的评价情况。
S122，根据该损失函数对该初始分类模型进行迭代训练，得到该目标分类模型。
具体地，本发明实施例中，对所搭建的初始分类模型的框架的训练，首先可以将训练数据，即遥感图像输入至初始分类模型中，输出对应的初始分类结果，以及对应的损失函数。该损失函数用于对该初始模型的分类结果进行评价，即该损失函数表示对初始模型输出的分类结果的评价情况。
进一步，在模型训练过程中，当得到初始分类模型的损失函数后，可以根据该损失函数，对初始模型中的模型参数进行调整，进而在参数调整后，将遥感图像再次输入至参数调整后的分类模型，对遥感数据再次处理，输出分类结果，及对应的损失函数。即在训练过程中，根据每次输出的损失函数，对模型参数更新，以进行迭代训练。
可以理解，在训练过程中，对分类模型的迭代训练过程中，可以预先设置迭代条件，如实际的迭代次数，或者收敛情况，使得当达到预设的迭代次数，或者分类模型中的语义分割模型、残差网络模型及图神经网络模型达到收敛状态时，则停止循环。此时，最后一次更新的分类模型，即可以作为目标分类模型。
可选地，本发明的一些实施例中，为了提高分类精度，如表1所示的土地覆盖类型中，包括一级及二级类型，则对应的，该分类结果中还可以包括第二分类结果，该第二分类结果是第一分类结果的上位级别，该第二分类结果通过该遥感图像及该语义分割结果对应的所述第一特征提取融合得到。
例如，在矿区土地覆盖场景分类中，如相关规定，所涉及的覆盖场景可以有一级类型及二级类型。如上述表1所示。
可以理解，该一级分类，可以为本发明实施例中的第二分类结果，该二级分类可以为本发明实施例中的第一分类结果。
即该第一分类结果中可以包括20类土地覆盖场景，该第二分类结果中可以包括7类土地覆盖场景。
对应的，为了提高分类精度，实现矿区土地覆盖的精细场景分类精度，所设计的包括互相关联的语义分割模型、残差网络模型及图神经网络模型的分类模型，则设置的该损失函数同样可以包括第一损失函数、第二损失函及第三损失函数。该第一损失函数表示对所述语义分割结果的评价，所述第二损失函数表示对所述第二分类结果的评价，所述第三损失函数用于对所述第一分类结果的评价。
则在该实施例中，通过损失函数，对初始分类模型训练，得到目标分类模型的过程，具体包括如下步骤：
S01，对第一损失函数、第二损失函数及第三损失函数进行融合，得到融合后的损失函数；
S02，根据融合后的损失函数对该初始分类模型进行迭代训练，得到该目标分类模型。
具体地，在将损失函数作为迭代训练依据，对初始分类模型进行训练过程中，首先可以对以上的第一损失函数、第二损失函数及第三损失函数进行融合，进而将融合后的损失函数作为迭代依据，对初始分类模型的参数进行多次更新，以确定目标分类模型。
其中，对于各损失函数L，具体可以包括均方差损失函数及交叉熵损失函数等。
例如，每个损失函数通过交叉熵损失函数来计算，具体可以表示如下：
其中，y i是真实标签，p i为模型对第i类的预测概率。
可以理解，本发明实施例中的损失函数，都可以利用模型输出结果，来计算。
如对于第一损失函数，可以利用语义分割模型输出的二级语义分割结果来确定；该第二损失函数可以利用第一分类结果来计算确定；该第三损失函数可以利用第二分类结果计算确定。
进一步，对于以上三个损失函数的融合，具体可以利用设置的权重进行加权融合。
即总的损失函数可以为第一损失函数与加权系数的乘积、第二损失函数与加权系数的乘积及第三损失函数与加权系数的乘积的总和。
可以理解，本发明实施例中，由于利用语义分割模型的损失函数、第一分类结果的损失函数及第二分类的损失函数融合，作为分类模型的总损失函数，对各分类模型中的各个模型参数进行修正，从而使得最终构建的目标分类模型具有较高的分类精度，尤其是在矿区的土地覆盖的精细化分类场景下，能够满足分类精度。
可选地，本发明的一些实施例中，在将遥感图像输入到初始分类模型中，进行训练过程中，确定损失函数，如图3所示，具体可以包括如下步骤：
S11，将遥感图像输入初始语义分割模型，得到一级语义分割结果、二级语义分割结果及该第一损失函数。
具体地，结合图2及图5所示，在进行初始分类模型训练时，首先可以将遥感图像输入初始语义分割模型中，对该遥感图像中的土地覆盖场景进行初步分类，以输出一级语义分割结果及二级语义分割结果，一级对应的第一损失函数。
实际中，将遥感图像输入初始语义分割模型后，即可输出二级语义分割结果。进而可以对该二级语义分割结果进行归并处理，得到该一级语义分割结果。
该一级语义分割结果及二级语义分割结果中可以包括土地覆盖场景标签信息。如该一级语义分割结果可以为如表1中所示的7类覆盖场景，则可以包括7类覆盖场景的标签信息；该二级语义分割结果可以为如表1中所示的20类覆盖场景，则可以包括20类覆盖场景的标签信息。
S12，将遥感图像、一级语义分割结果及二级语义分割结果输入至初始残差网络模型中，输出各自对应的该第一特征提取结果。
具体地，在得到上述输出结果时，可以将该遥感图像、该一级语义分割结果、该二级语义分割结果输入至对应的初始残差网络模型中，对其中的土地覆盖特征进行提取，输出各自对应的第一特征提取结果。
例如，一些实施例中，为了满足训练需求，可以设置不同深度的残差网络模型，以对不同的输入数据进行处理。即该残差网络模型具体可以包括第一残差网络模型、第二残差网络模型及第三残差网络模型。
如该第一残差网络模型可以为ResNet-50，第二残差网络模型可以为ResNet-34，第三残差网络模型可以为ResNet-18。
实际中，该残差网络模型以Unet模型为基础，可以包括编码器及解码器。
如图4所示，以ResNet-50为例来解释说明，在编码器部分进行卷积核尺寸为3×3×3大小的三维卷积（Conv3D）下卷积处理，所设计的卷积块（Conv Block）中，由多个卷积层、批量归一化层和激活层函数组成。恒等块（Identity Block）中由多个恒等映射组成，用于加深网络的深度。
在解码器部分，先对编码器最后的结果进行上采样，方式是三维转置卷积，即反卷积（Up-con2×2），之后进行了一次使通道数减半的“三维卷积+批标准化+线性整流激活”。
S13，对一级语义分割结果对应的第一特征提取结果及遥感图像对应的第一特征提取结果进行特征融合，得到第二分类结果及第二分类结果对应的第二损失函数。
具体地，结合图2及图5，在得到上述第一特征提取结果后，可以将遥感图像的第一特征提取结果，与一级语义分割结果的第一特征提取结果进行融合，得到第二分类结果及该第二分类结果对应的第二损失函数。
该第二分类结果中可以包括一级土地覆盖场景的标签信息，即通过融合输出7类土地覆盖场景的标签信息。如表1所示。
则该第二损失函数，可以表示该原始图像，即遥感图像的实际分类结果，与该第二分类结果之间的差异情况。
S14，根据遥感图像的第一特征提取结果及二级语义分割结果的第一特征提取结果，基于初始图神经网络模型，得到第一分类结果及第一分类结果对应的第三损失函数。
具体地，对于二级语义分割结果，可以利用图神经网络，对其对应的第一特征提取结果，结合遥感图像进行再次特征处理分析，以得第一分类结果及其对应的第三损失函数。
即该步骤中：
S141，将该遥感图像及该遥感图像的第一特征提取结果输入至该初始图神经网络模型，得到该遥感图像对应的第二特征提取结果。
S142，将该二级语义分割结果及该二级语义分割结果的第一特征提取结果输入至该初始图神经网络模型，得到该二级语义分割结果对应的第二特征提取结果。
S143，对该遥感图像对应的第二特征提取结果，及该二级语义分割结果对应的第二特征提取结果进行融合，得到该第一分类结果及该第一分类结果对应的该第三损失函数。
具体地，结合图2及图5所示，首先可以将遥感图像及其第一特征提取结果输入至初始图神经网络中，以原始的遥感图像为依据，对该第一特征提取结果进行再次特征提取，得到遥感图像对应的第二特征提取结果。
进一步，将二级语义分割结果及其对应的第一特征提取结果输入到初始图神经网络模型中，对二级语义分割结果的第一特征提取结果进行再次特征提取，得到二级语义分割结果的第二特征提取结果。
最后，可以将遥感图像及二级语义分割结果的第二特征提取结果进行融合，其融合结果，即为训练过程中，初始模型输出的第一分类结果。
同时，可以输出该第二分类结果对应的第三损失函数。
该第一分类结果中可以包括二级土地覆盖场景的标签信息，如20类土地覆盖场景的标签信息。
在一些实施例中，结合图2及图5所示，本发明的一些实施例中，为了提升模型的分类精度及训练效率，在将原始的遥感图像以及二级语义分割结果输入图神经网络之前，还可以对遥感图像以及二级语义分割结果进行预处理，如可以从原始图像与20类语义分割图像中分别提取他们的邻接矩阵，以为后续GCN做准备。其中，邻接矩阵中的字母a、b、c、d及e表示无向图中的各顶点。
可以理解，在完成上述的各个步骤之后，即确定了各损失函数之后，可以对各损失函数进行融合，得到该初始分类模型的总的损失函数。进而可以依据该总的损失函数，对初始分类模型中的各个模型参数进行修正，以进入下一次的迭代训练过程，直至达到预设次数，或者收敛条件。
可以理解，本发明实施例中，通过确定各阶段对应的各分类结果的损失函数，进而将各损失函数进行融合处理，作为总的损失函数，用于模型训练，从而可以构建分类精度较高的目标分类模型，以实现对矿区土地覆盖的精细场景分类。
可选地，一些实施例中，在对遥感图像进行初步分类，得到二级语义分割结果及一级语义分割结果，即在S11之后，为了提升模型的分类精度，还可以对一级语义分割结果进行通道扩充处理。
具体地，最初我们会将图片抽象为一个向量[长（W），宽（H），C（色彩）]，通道就是其中的色彩，如RGB分别表示了Red、Green、Blue三种通道。对于输入的遥感图像来说，通道数可以理解为输入图像的色彩数、波段数等；对于模型来说，通道数可以理解为每一个卷积层中卷积核的数量。
可以理解，在语义分割图像中，其输入的通道数只有一个，则可以通过扩大其输入的通道数来更好的学习到图像的特征，更好的完成任务。
对分割图像按照标签数进行二值处理后，将通道扩充至标签数目。且每一个通道有且仅表示一种土地覆盖类型。二值处理为：是该类的区域赋值为该类的标签，其他则为设定的背景值。
可以理解，如图5所示，本发明实施例中，利用多个损失函数，来模型构建的过程，主要包括两个阶段。以表1所示的矿区土地覆盖场景的精细分类为例。
即阶段一：输入一组遥感数据，如包括RGB、NIR（近红外）、DEM（数字高程模型），即遥感图像，以利用遥感图像训练一个高精度的初始语义分割模型。阶段二：将遥感图像输入至初始语义分割模型中，得到对应的20类语义分割图像，并对这20类语义分割图像进行类别归并，归并（merge）成7类语义分割图像，即二级语义分割结果。从原始图像与20类语义分割图像中分别提取他们的邻接矩阵（邻接矩阵是为了后续GCN做准备）。同时，对20类与7类语义分割模型进行基于类别数的通道扩充。将经过上述步骤之后的遥感图像、20类语义分割结果、7类语义分割结果分别输入至不同的残差神经网络模型（ResNet）进行特征提取，得到各自对应的第一特征提取结果。将从遥感图像与7类语义分割结果的第一特征提取结果进行特征链接，并通过一个分类头，得到7类场景分类结果，即第二分类结果。
同时，分别将遥感图像经过ResNet提取的第一特征提取结果及其从上述步骤中得到的邻接矩阵以及和20类语义分割结果经过ResNet提取的第一特征提取结果及其从上述步骤中得到的邻接矩阵分别输入至GCN中，进一步提取特征，得到遥感图像及二级语义分割结果对应的第二特征提取结果。最后，将各自对应的两种第二特征提取结果特征进行特征连接，并输入至另一个分类头中，得到20类场景分类结果。
对应的，在训练过程中，可以将每次训练过程中的损失函数进行融合，进行下一次的迭代训练。
可以理解，构建的基于语义分割与多级输出的残差神经网络-图神经网络搭建的目标分类模型，在对输入的遥感图像进行处理时，由于残差神经网络及图神经网络对语义分割结果中的特征的进一步提取处理及全局学习，从而能够为遥感图像场景分类提供方法支撑，最终提升土地覆盖场景的分类精度，能够确保矿区土地覆盖精细化场景分类的精度及可靠性。
进一步，在完成目标分类模型的构建后，可以利用其对实际的遥感图像中的覆盖场景进行分类。
即本发明实施例还提供一种土地覆盖场景分类方法，如图6所示，该方法包括：
S140，获取待处理遥感图像，该待处理遥感图像中包括至少一种土地覆盖类型。
S150，将该待处理遥感图像输入至上述实施例中土地覆盖场景分类模型构建方法中所构建的目标分类模型，得到该待处理遥感图像的分类结果，该分类结果中包括该待处理遥感图像中至少一种土地覆盖类型的标签信息。
具体地，该实施例中，在进行区域内的土地覆盖场景分类分析时，首先获取区域的遥感图像，作为待处理图像，将待处理遥感图像输入至采用上述各实施例的模型构建方法所构建的目标分类模型中，对该待处理遥感图像进行分类处理，以输出其中所涉及的所有土地覆盖场景的标签信息。
可以理解，该实施例中的目标分类模型中关联了语义分割模型、残差网络模型及图神经网络模型，即基于语义分割与多级输出的卷积-图网络用于矿区土地覆盖的精细场景分类，首先通过卷积神经网络进行语义分割，扩充特征提取分支，接着利用卷积神经网络强大的特征提取功能，进行特征提取、融合，而后再利用图卷积神经网络学习特征的上下文关系，从而实现精细化的遥感图像场景分类。
另一方面，本发明实施例提供一种土地覆盖场景模型构建装置，如图7所示，该装置包括：
获取模块210，用于获取遥感图像集，所述遥感图像集中的遥感图像中包括至少一种土地覆盖场景；
构建模块220，用于将所述遥感图像输入至构建的初始分类模型中，对所述初始分类模型进行训练，得到目标分类模型；所述初始分类模型及所述目标分类模型包括关联的语义分割模型、残差神经网络模型及图神经网络模型，所述语义分割模型用于对所述遥感图像进行初步分类，输出语义分割结果，所述残差神经网络模型用于对所述遥感图像及所述语义分割结果进行特征提取，输出各自对应的第一特征提取结果，所述图神经网络用于对所述遥感图像及所述第一特征提取结果进行特征提取，输出各自对应的第二特征提取结果；所述目标分类模型用于输出所述遥感图像的第一分类结果，所述第一分类结果通过对所述遥感图像及所述第一特征提取结果对应的所述第二特征提取结果融合得到。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，该构建模块包括：
确定单元221，用于将所述遥感图像输入至所述初始分类模型中，得到所述初始分类模型对应的损失函数，所述损失函数用于对所述初始分类模型的分类结果进行评价；
训练单元222，用于根据所述损失函数对所述初始分类模型进行迭代训练，得到所述目标分类模型。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，所述目标分类模型还用于输出第二分类结果，所述第二分类结果通过所述遥感图像及所述语义分割结果对应的所述第一特征提取融合得到；
所述损失函数包括第一损失函数、第二损失函及第三损失函数；所述第一损失函数表示对所述语义分割结果的评价，所述第二损失函数表示对所述第二分类结果的评价，所述第三损失函数表示对所述第一分类结果的评价；
训练单元具体用于：
对所述第一损失函数、所述第二损失函数及所述第三损失函数进行融合，得到融合后的损失函数；
根据融合后的损失函数对所述初始分类模型进行迭代训练，得到所述目标分类模型。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，所述初始分类模型包括初始语义分割模型、初始残差网络模型及初始图神经网络模型，确定单元具体用于：
将所述遥感图像输入初始语义分割模型，得到一级语义分割结果、二级语义分割结果及所述第一损失函数；
将所述遥感图像、所述一级语义分割结果及所述二级语义分割结果输入至所述初始残差网络模型中，输出各自对应的所述第一特征提取结果；
对所述一级语义分割结果对应的第一特征提取结果及所述遥感图像对应的第一特征提取结果进行特征融合，得到所述第二分类结果及所述第二分类结果对应的所述第二损失函数；
根据所述遥感图像的第一特征提取结果及所述二级语义分割结果的第一特征提取结果，基于所述初始图神经网络模型，确定所述第一分类结果及所述第一分类结果对应的所述第三损失函数。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，确定单元具体用于：
将所述遥感图像及所述遥感图像的第一特征提取结果输入至所述初始图神经网络模型，得到所述遥感图像对应的第二特征提取结果；
将所述二级语义分割结果及所述二级语义分割结果的第一特征提取结果输入至所述初始图神经网络模型，得到所述二级语义分割结果对应的第二特征提取结果；
对所述遥感图像对应的第二特征提取结果，及所述二级语义分割结果对应的第二特征提取结果进行融合，得到所述第一分类结果及所述第一分类结果对应的所述第三损失函数。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，确定单元具体用于：
将所述遥感图像输入初始语义分割模型，得到所述遥感图像对应的所述二级语义分割结果；
对所述二级语义分割结果进行归并处理，得到所述一级分割结果。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，确定单元具体用于：
对所述一级语义分割结果及所述二级语义分割结果进行通道数据扩充。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，确定单元具体用于：
分别提取所述遥感图像及所述二级语义分割结果中的邻接矩阵，所述遥感图像的邻接矩阵表示所述遥感图像中特征之间的关联关系，所述二级语义分割结果的所述邻接矩阵表示所述二级语义分割结果中特征之间的关联关系。
可选地，本发明实施例提供的土地覆盖场景分类模型构建装置，所述初始残差网络模型包括不同深度的第一残差网络模型、第二残差网络模型及第三残差网络模型；
确定单元具体用于：
将所述遥感图像输入至所述第一残差网络模型，输出所述遥感图像对应的第一特征提取结果；
将所述一级语义分割结果输入至所述第二残差网络模型，输出所述一级语义分割结果对应的第一特征提取结果；
将所述二级语义分割结果输入至所述第三残差网络模型，输出所述二级语义分割结果对应的第一特征提取结果。
另一方面，本发明实施例还提供一种土地覆盖场景分类装置，包括：
获取模块，用于获取待处理遥感图像，所述待处理遥感图像中包括至少一种土地覆盖场景；
分类模块，用于将所述待处理遥感图像输入至如上述实施例中的土地覆盖场景分类模型构建方法中所构建的目标分类模型，得到所述待处理遥感图像的分类结果，所述分类结果中包括所述待处理遥感图像中至少一种土地覆盖类型的标签信息。
另一方面，本发明实施例提供的计算机设备，该计算机设备还包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上所述的磁共振图像的海马体时间纵向分割方法。
下面参考图8，图8为本发明实施例的计算机设备的结构示意图，该计算机设备。
如图8所示，计算机设备包括中央处理单元（CPU）301，其可以根据存储在只读存储器（ROM）302中的程序或者从存储部分308加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有计算机设备操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。在一些实施例中，以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本发明的电子设备中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的电子设备、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行电子设备、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行电子设备、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的计算机设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每张方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每张方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的电子设备来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括：获取模块、构建模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，构建模块还可以被描述为“用于将所述遥感图像输入至构建的初始分类模型中，对所述初始分类模型进行训练，得到目标分类模型；所述初始分类模型及所述目标分类模型包括关联的语义分割模型、残差神经网络模型及图神经网络模型，所述语义分割模型用于对所述遥感图像进行初步分类，输出语义分割结果，所述残差神经网络模型用于对所述遥感图像及所述语义分割结果进行特征提取，输出各自对应的第一特征提取结果，所述图神经网络用于对所述遥感图像及所述第一特征提取结果进行特征提取，输出各自对应的第二特征提取结果；所述目标分类模型用于输出所述遥感图像的第一分类结果，所述第一分类结果通过对所述遥感图像及所述第一特征提取结果对应的所述第二特征提取结果融合得到”。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个计算机程序，当上述计算机程序被一个或者一个以上的处理器用来执行描述于本发明的土地覆盖场景分类模型构建方法：
获取遥感图像集，所述遥感图像集中的遥感图像中包括至少一种土地覆盖场景；
将所述遥感图像输入至构建的初始分类模型中，对所述初始分类模型进行训练，得到目标分类模型；所述初始分类模型及所述目标分类模型包括关联的语义分割模型、残差神经网络模型及图神经网络模型，所述语义分割模型用于对所述遥感图像进行初步分类，输出语义分割结果，所述残差神经网络模型用于对所述遥感图像及所述语义分割结果进行特征提取，输出各自对应的第一特征提取结果，所述图神经网络用于对所述遥感图像及所述第一特征提取结果进行特征提取，输出各自对应的第二特征提取结果；所述目标分类模型用于输出所述遥感图像的第一分类结果，所述第一分类结果通过对所述遥感图像及所述第一特征提取结果对应的所述第二特征提取结果融合得到。
或者土地覆盖场景分类方法：获取待处理遥感图像，所述待处理遥感图像中包括至少一种土地覆盖场景；
将所述待处理遥感图像输入至如上述实施例的土地覆盖场景分类模型构建方法中所构建的目标分类模型，得到所述待处理遥感图像的分类结果，所述分类结果中包括所述待处理遥感图像中至少一种土地覆盖类型的标签信息。
综上所述，本发明提供的土地覆盖场景分类模型构建方法及分类方法，通过搭建互相关联的语义分割模型、残差网络模型及图神经网络模型，作为土地覆盖场景的初始分类模型的框架，进而通过对获取的遥感图像进行处理的过程中，实现对该初始分类模型的训练，即首先利用语义分割模型对遥感图像进行初步分割处理，输出语义分割结果，进而将遥感图像及语义分割结果输入至残差网络模型，对遥感图像及语义分割结果进行特征提取，输出第一特征提取结果，进而将遥感图像及第一特征提取结果输入至图神经网络，对其进行上下文学习的再次特征提取，输出遥感图像对应的第二特征提取结果，以及第一特征提取结果对应的第二特征提取结果，最后将两者的第二特征提取结果进行融合，得到的融合结果作为对该遥感图像中的土地覆盖场景的分类结果，最终实现在对遥感图像中的特征数据的处理过程中，对搭建的初始分类模型的训练，以构建目标分类模型。即本发明构建的基于语义分割与多级输出的残差神经网络-图神经网络搭建的目标分类模型，在对输入的遥感图像进行处理时，由于残差神经网络及图神经网络对语义分割结果中的特征的进一步提取处理及全局学习，以辅助土地覆盖场景分类任务，进行多任务融合，从而能够为遥感图像场景分类提供方法支撑，最终提升土地覆盖场景的分类精度，能够确保矿区土地覆盖精细化场景分类的精度及可靠性。
可以理解的是，所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种土地覆盖场景分类模型构建方法，其特征在于，包括：
获取遥感图像集，所述遥感图像集中的遥感图像中包括至少一种土地覆盖场景；
将所述遥感图像输入至构建的初始分类模型中，对所述初始分类模型进行训练，得到目标分类模型；所述目标分类模型包括关联的语义分割模型、残差神经网络模型及图神经网络模型，所述语义分割模型用于对所述遥感图像进行初步分类，输出语义分割结果，所述残差神经网络模型用于对所述遥感图像及所述语义分割结果进行特征提取，输出各自对应的第一特征提取结果，所述图神经网络用于对所述遥感图像及所述第一特征提取结果进行特征提取，输出各自对应的第二特征提取结果；所述目标分类模型用于输出所述遥感图像的第一分类结果，所述第一分类结果通过对所述遥感图像及所述第一特征提取结果对应的所述第二特征提取结果融合得到。
2.根据权利要求1所述的土地覆盖场景分类模型构建方法，其特征在于，所述将所述遥感图像输入至构建的初始分类模型中，对所述初始分类模型进行训练，得到目标分类模型包括：
将所述遥感图像输入至所述初始分类模型中，得到所述初始分类模型对应的损失函数，所述损失函数用于对所述初始分类模型的分类结果进行评价；
根据所述损失函数对所述初始分类模型进行迭代训练，得到所述目标分类模型。
3.根据权利要求2所述的土地覆盖场景分类模型构建方法，其特征在于，所述目标分类模型还用于输出第二分类结果，所述第二分类结果通过所述遥感图像及所述语义分割结果对应的所述第一特征提取融合得到；
所述损失函数包括第一损失函数、第二损失函及第三损失函数；所述第一损失函数表示对所述语义分割结果的评价，所述第二损失函数表示对所述第二分类结果的评价，所述第三损失函数表示对所述第一分类结果的评价；
所述根据所述损失函数对所述初始分类模型进行迭代训练，得到所述目标分类模型包括：
对所述第一损失函数、所述第二损失函数及所述第三损失函数进行融合，得到融合后的损失函数；
根据融合后的损失函数对所述初始分类模型进行迭代训练，得到所述目标分类模型。
4.根据权利要求3所述的土地覆盖场景分类模型构建方法，其特征在于，所述初始分类模型包括初始语义分割模型、初始残差网络模型及初始图神经网络模型，所述将所述遥感图像输入至初始分类模型中，得到所述初始分类模型对应的损失函数包括：
将所述遥感图像输入初始语义分割模型，得到一级语义分割结果、二级语义分割结果及所述第一损失函数；
将所述遥感图像、所述一级语义分割结果及所述二级语义分割结果输入至所述初始残差网络模型中，输出各自对应的所述第一特征提取结果；
对所述一级语义分割结果对应的第一特征提取结果及所述遥感图像对应的第一特征提取结果进行特征融合，得到所述第二分类结果及所述第二分类结果对应的所述第二损失函数；
根据所述遥感图像的第一特征提取结果及所述二级语义分割结果的第一特征提取结果，基于所述初始图神经网络模型，确定所述第一分类结果及所述第一分类结果对应的所述第三损失函数。
5.根据权利要求4所述的土地覆盖场景分类模型构建方法，其特征在于，所述根据所述遥感图像的第一特征提取结果及所述二级语义分割结果的第一特征提取结果，基于所述初始图神经网络模型，确定所述第一分类结果及所述第一分类结果对应的所述第三损失函数包括：
将所述遥感图像及所述遥感图像的第一特征提取结果输入至所述初始图神经网络模型，得到所述遥感图像对应的第二特征提取结果；
将所述二级语义分割结果及所述二级语义分割结果的第一特征提取结果输入至所述初始图神经网络模型，得到所述二级语义分割结果对应的第二特征提取结果；
对所述遥感图像对应的第二特征提取结果，及所述二级语义分割结果对应的第二特征提取结果进行融合，得到所述第一分类结果及所述第一分类结果对应的所述第三损失函数。
6.根据权利要求5所述的土地覆盖场景分类模型构建方法，其特征在于，所述将所述遥感图像输入初始语义分割模型，得到一级语义分割结果、二级语义分割结果包括：
将所述遥感图像输入初始语义分割模型，得到所述遥感图像对应的所述二级语义分割结果；
对所述二级语义分割结果进行归并处理，得到所述一级分割结果。
7.根据权利要求5所述的土地覆盖场景分类模型构建方法，其特征在于，将所述一级语义分割结果及所述二级语义分割结果输入至初始残差网络模型之前，还包括：
对所述一级语义分割结果及所述二级语义分割结果进行通道数据扩充。
8.根据权利要求5所述的土地覆盖场景分类模型构建方法，其特征在于，将所述遥感图像及将所述二级语义分割结果输入至所述初始图神经网络模型之前，还包括：
分别提取所述遥感图像及所述二级语义分割结果中的邻接矩阵，所述遥感图像的邻接矩阵表示所述遥感图像中特征之间的关联关系，所述二级语义分割结果的所述邻接矩阵表示所述二级语义分割结果中特征之间的关联关系。
9.根据权利要求4所述的土地覆盖场景分类模型构建方法，其特征在于，所述初始残差网络模型包括不同深度的第一残差网络模型、第二残差网络模型及第三残差网络模型；
所述将所述遥感图像、所述一级语义分割结果及所述二级语义分割结果输入至所述初始残差网络模型中，输出各自对应的所述第一特征提取结果包括：
将所述遥感图像输入至所述第一残差网络模型，输出所述遥感图像对应的第一特征提取结果；
将所述一级语义分割结果输入至所述第二残差网络模型，输出所述一级语义分割结果对应的第一特征提取结果；
将所述二级语义分割结果输入至所述第三残差网络模型，输出所述二级语义分割结果对应的第一特征提取结果。
10.一种土地覆盖场景分类方法，其特征在于，包括：
获取待处理遥感图像，所述待处理遥感图像中包括至少一种土地覆盖场景；
将所述待处理遥感图像输入至如权利要求1-9任一项所述的土地覆盖场景分类模型构建方法中所构建的目标分类模型，得到所述待处理遥感图像的分类结果，所述分类结果中包括所述待处理遥感图像中至少一种土地覆盖类型的标签信息。
CN202311234948.9A 2023-09-25 2023-09-25 土地覆盖场景分类模型构建方法及分类方法 Active CN116977750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311234948.9A CN116977750B (zh) 2023-09-25 2023-09-25 土地覆盖场景分类模型构建方法及分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311234948.9A CN116977750B (zh) 2023-09-25 2023-09-25 土地覆盖场景分类模型构建方法及分类方法

Publications (2)

Publication Number Publication Date
CN116977750A true CN116977750A (zh) 2023-10-31
CN116977750B CN116977750B (zh) 2023-12-12

Family

ID=88479966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311234948.9A Active CN116977750B (zh) 2023-09-25 2023-09-25 土地覆盖场景分类模型构建方法及分类方法

Country Status (1)

Country Link
CN (1) CN116977750B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541940A (zh) * 2024-01-10 2024-02-09 日照市自然资源和规划局 基于遥感数据的土地利用分类方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449640A (zh) * 2021-06-29 2021-09-28 中国地质大学（武汉） 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
CN113673530A (zh) * 2021-08-18 2021-11-19 中国人民解放军国防科技大学 遥感图像语义分割方法、装置、计算机设备和存储介质
US11521377B1 (en) * 2021-10-26 2022-12-06 Nanjing University Of Information Sci. & Tech. Landslide recognition method based on laplacian pyramid remote sensing image fusion
CN115908924A (zh) * 2022-11-23 2023-04-04 中国地质大学（武汉） 一种基于多分类器的小样本高光谱图像语义分割方法及系统
JP2023101463A (ja) * 2022-01-10 2023-07-21 富士通株式会社 語義分割モデルを訓練する方法及び装置、並びに画像検出方法
CN116524369A (zh) * 2023-04-18 2023-08-01 中国地质大学（武汉） 遥感影像分割模型构建方法、装置及遥感影像解译方法
CN116543227A (zh) * 2023-05-22 2023-08-04 北京数慧时空信息技术有限公司 基于图卷积网络的遥感图像场景分类方法
CN116597143A (zh) * 2023-05-26 2023-08-15 山东农业大学 基于图卷积神经网络的高分辨率遥感图像语义分割方法
CN116665114A (zh) * 2023-07-28 2023-08-29 广东海洋大学 基于多模态的遥感场景识别方法、系统及介质
CN116797787A (zh) * 2023-05-22 2023-09-22 中国地质大学（武汉） 基于跨模态融合与图神经网络的遥感影像语义分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449640A (zh) * 2021-06-29 2021-09-28 中国地质大学（武汉） 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
CN113673530A (zh) * 2021-08-18 2021-11-19 中国人民解放军国防科技大学 遥感图像语义分割方法、装置、计算机设备和存储介质
US11521377B1 (en) * 2021-10-26 2022-12-06 Nanjing University Of Information Sci. & Tech. Landslide recognition method based on laplacian pyramid remote sensing image fusion
JP2023101463A (ja) * 2022-01-10 2023-07-21 富士通株式会社 語義分割モデルを訓練する方法及び装置、並びに画像検出方法
CN115908924A (zh) * 2022-11-23 2023-04-04 中国地质大学（武汉） 一种基于多分类器的小样本高光谱图像语义分割方法及系统
CN116524369A (zh) * 2023-04-18 2023-08-01 中国地质大学（武汉） 遥感影像分割模型构建方法、装置及遥感影像解译方法
CN116543227A (zh) * 2023-05-22 2023-08-04 北京数慧时空信息技术有限公司 基于图卷积网络的遥感图像场景分类方法
CN116797787A (zh) * 2023-05-22 2023-09-22 中国地质大学（武汉） 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN116597143A (zh) * 2023-05-26 2023-08-15 山东农业大学 基于图卷积神经网络的高分辨率遥感图像语义分割方法
CN116665114A (zh) * 2023-07-28 2023-08-29 广东海洋大学 基于多模态的遥感场景识别方法、系统及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAOYI WANG ET AL.: "Edge Enhanced Channel Attention-Based Graph Convolution Network for Scene Classification of Complex Landscapes", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 16, pages 3831 - 3849 *
SONG OUYANG ET AL.: "Combining Deep Semantic Segmentation Network and Graph Convolutional Neural Network for Semantic Segmentation of Remote Sensing Imagery", 《REMOTE SENSING》, vol. 13 *
李万琦;李克俭;陈少波;: "多模态融合的高分遥感图像语义分割方法", 中南民族大学学报(自然科学版), no. 04 *
欧阳淑冰 等: "植被覆盖区高精度遥感地貌场景分类数据集", 《遥感学报》, vol. 26, pages 606 - 619 *
黄滢 等: "极化自注意力调控的情景式视频实例多尺度分割", 《计算机学报》, vol. 45, pages 2605 - 2618 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541940A (zh) * 2024-01-10 2024-02-09 日照市自然资源和规划局 基于遥感数据的土地利用分类方法及系统
CN117541940B (zh) * 2024-01-10 2024-03-22 日照市自然资源和规划局 基于遥感数据的土地利用分类方法及系统

Also Published As

Publication number Publication date
CN116977750B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108985238B (zh) 联合深度学习和语义概率的不透水面提取方法及系统
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN109784283B (zh) 基于场景识别任务下的遥感图像目标提取方法
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
Chen et al. Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN116977750B (zh) 土地覆盖场景分类模型构建方法及分类方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN111783884B (zh) 基于深度学习的无监督高光谱图像分类方法
CN113012177A (zh) 基于几何特征提取和边缘感知编码的三维点云分割方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN114972885B (zh) 基于模型压缩的多模态遥感图像分类方法
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN115713537A (zh) 基于光谱引导与深度注意力的光学遥感图像云雾分割方法
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Thati et al. A systematic extraction of glacial lakes for satellite imagery using deep learning based technique
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
CN115797184B (zh) 一种地表水体超分辨率提取方法
CN115546649B (zh) 一种单视遥感影像高度估计和语义分割多任务预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant