CN116524369B - 遥感影像分割模型构建方法、装置及遥感影像解译方法 - Google Patents
遥感影像分割模型构建方法、装置及遥感影像解译方法 Download PDFInfo
- Publication number
- CN116524369B CN116524369B CN202310414490.9A CN202310414490A CN116524369B CN 116524369 B CN116524369 B CN 116524369B CN 202310414490 A CN202310414490 A CN 202310414490A CN 116524369 B CN116524369 B CN 116524369B
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- initial
- remote sensing
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010276 construction Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 155
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims description 25
- 238000011160 research Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000005096 rolling process Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000000547 structure data Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101100425560 Rattus norvegicus Tle4 gene Proteins 0.000 description 1
- 101100327317 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CDC1 gene Proteins 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了遥感影像分割模型构建方法、装置及遥感影像解译方法,涉及图像处理领域,遥感影像分割模型构建方法包括:获取原始多光谱影像,并对原始多光谱影像进行超像素分割,以得到超像素分割结果;对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签;获取类别共现矩阵;根据超像素分割结果构建拓扑图,并将类别共现矩阵融合到拓扑图中以得到初始拓扑图;根据超像素分割结果构建初始特征图,并根据初始特征图、初始超像素特征、初始拓扑图和初始超像素标签对原始分割模型进行训练及调优得到遥感影像分割模型。解决了在利用多光谱遥感图像对土地覆盖进行分类时因忽略不同局部区域的长程空间关系,导致边界信息丢失问题。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及遥感影像分割模型构建方法、装置及遥感影像解译方法。
背景技术
土地覆盖是地表重要组成部分,也是保持陆地生态系统稳定的决定因素,在城市规划和环境保护等方面做出贡献。
然而,利用多光谱遥感图像对土地覆盖进行分类有着严重的“同谱异物”和“同物异谱”的问题。相关研究中采用多模态数据融合和机器学习的方法取得了一定的进展,但传统的基于机器学习的方法通常因为人工设计特征提取方法的困难而无法充分利用地物的空间关系,也无法利用到现实世界中一些广为人治的先验知识,无法实现较高的分类性能。
现今以卷积神经网络为代表的深度学习算法能逐层进行深度特征提取,在遥感图像处理领域流行起来。然而,卷积神经网络只注重提取固定核大小的图像区域特征,忽略了不同局部区域的长程空间关系,会导致边界信息丢失的问题。
发明内容
本发明解决的问题是在利用多光谱遥感图像对土地覆盖进行分类时存在因忽略不同局部区域的长程空间关系,导致边界信息丢失,从而使分类精度低。
为解决上述问题,本发明提供一种遥感影像分割模型构建方法,包括如下步骤:
获取原始多光谱影像,并对所述原始多光谱影像进行超像素分割,以得到超像素分割结果;
对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签;
获取类别共现矩阵;
根据所述超像素分割结果构建拓扑图,并将所述类别共现矩阵融合到所述拓扑图中,以得到初始拓扑图;
根据所述超像素分割结果构建初始特征图,并根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型;其中,所述原始分割模型基于ResNet模型和AM-GCN模型构建,所述遥感影像分割模型用于得到超像素分类结果。
可选地,所述根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型,包括:
通过所述原始分割模型对所述初始特征图、所述初始超像素特征和所述初始拓扑图进行分类处理,得到临时超像素分类结果;
根据所述临时超像素分类结果和所述初始超像素标签对所述原始分割模型进行调优,将调优后的所述原始分割模型作为所述遥感影像分割模型。
可选地,所述通过所述原始分割模型对所述初始特征图、所述初始超像素特征和所述初始拓扑图进行分类处理,得到临时超像素分类结果,包括:
通过所述ResNet模型对所述初始超像素特征进行深度特征提取,得到初始超像素深度特征;
通过所述AM-GCN模型对所述初始特征图、所述初始拓扑图和所述初始超像素深度特征进行数据处理,得到预分类结果;
根据所述初始超像素深度特征和所述预分类结果得到所述临时超像素分类结果。
可选地,所述根据所述初始超像素深度特征和所述预分类结果得到所述临时超像素分类结果,包括:
将所述初始超像素深度特征与所述预分类结果进行纵向堆叠,得到临时分类结果;
根据所述临时分类结果得到所述临时超像素分类结果。
可选地,所述根据所述临时超像素分类结果和所述初始超像素标签对所述原始分割模进行调优,将调优后的所述原始分割模型作为所述遥感影像分割模型,包括:
根据所述临时超像素分类结果和所述初始超像素标签进行损失计算,得到损失函数输出;
根据所述损失函数输出调整所述原始分割模型的模型参数,直至损失函数输入满足所述预设条件,将经参数调整后的所述原始分割模型作为所述遥感影像分割模型。
可选地,所述对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签,包括:
对所述超像素分割结果进行特征提取,得到所述初始超像素特征;
根据不同类别像元数量对所述超像素分割结果进行标注,得到初始像元标签;
根据所述初始像元标签得到所述初始超像素标签。
可选地,所述获取类别共现矩阵,包括:
将所述原始多光谱影像对应的研究区进行分割,以得到多个临时研究区;
通过计算不同标签的地物在同一所述临时研究区的概率得到所述类别共现矩阵。
本发明所述的遥感影像分割模型构建方法相对于现有技术的优势在于:
(1)通过对原始多光谱影像进行超像素分割,以得到超像素分割结果,通过超像素分割算法保证了超像素边界的平滑性,进而保证超像素分类边界的平滑性;
(2)通过对超像素分割结果进行特征提取得到初始超像素特征和初始超像素标签,并通过所述超像素分割结果构建拓扑图,并将类别共现矩阵融合所述拓扑图中,以得到初始拓扑图,通过获取初始特征图,得到了训练原始分割模型所需的数据,即所述初始超像素特征、所述初始拓扑图、所述初始特征图和所述初始超像素标签,通过上述数据对所述原始分割模型进行训练及调优,最终得到遥感影像分割模型,其中将类别共现矩阵(知识)融入到拓扑图中,“告诉”了模型每种地物周围更可能出现的地物,提高了模型的推理能力;
(3)原始分割模型是基于ResNet模型和AM-GCN模型构建的,通过结合ResNet的深层特征提取能力与AM-GCN的节点关系提取能力,以获得更好的遥感图像分类结果;
综上,本申请基于图卷积神经网络(AM-GCN)通过建模样本(或顶点)之间的关系来有效地处理图结构数据的特点,对多光谱图像的远程空间关系进行处理,并将类别共现概率(类别共现矩阵)以先验知识的方式融合到图节点的拓扑关系中,能够大大降低空间关系薄弱的图节点之间的相互干扰,提高中近空间距离地物的联系,从而减少了边界信息丢失,并一定程度上解决“同谱异物”和“同物异谱”的问题,同时采用双分支提取后融合的方法能结合ResNet的深层特征提取能力与AM-GCN的节点关系提取能力,以获得更好的遥感图像分类结果,进一步地提高了分类精度。
为解决上述技术问题,本发明还提供一种遥感影像分割模型构建装置,包括:
获取单元,用于获取原始多光谱影像,并对所述原始多光谱影像进行超像素分割,以得到超像素分割结果;
所述获取单元还用于获取初始特征图和类别共现矩阵;
处理单元,用于对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签;
所述处理单元还用于根据所述超像素分割结果构建拓扑图,并将所述类别共现矩阵融合到所述拓扑图中,以得到初始拓扑图;
所述处理单元还用于根据所述超像素分割结果构建初始特征图,并根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型;其中,所述原始分割模型基于ResNet模型和AM-GCN模型构建,所述遥感影像分割模型用于得到超像素分类结果。
本发明所述的遥感影像分割模型构建装置与所述遥感影像分割模型构建方法相对于现有技术的优势相同,在此不再赘述。
为解决上述技术问题,本发明还提供一种遥感影像分割模型构建设备,包括存储器和处理器:
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现所述的遥感影像分割模型构建方法。
本发明所述的遥感影像分割模型构建设备与所述遥感影像分割模型构建方法相对于现有技术的优势相同,在此不再赘述。
为解决上述技术问题,本发明还提供一种遥感影像解译方法,包括:
获取目标多光谱影像,并对所述目标多光谱影像进行超像素分割,以得到目标超像素分割结果;
对所述目标超像素分割结果进行特征提取,以得到目标超像素特征;
获取目标类别共现矩阵;
根据所述目标超像素分割结果构建拓扑图,并将所述目标类别共现矩阵融合到所述拓扑图中,以得到目标拓扑图;
根据所述超像素分割结果构建目标特征图,将所述目标超像素特征、所述目标拓扑图和所述目标特征图输入所述的遥感影像分割模型构建方法得到的遥感影像分割模型,得到目标超像素分类结果;
将所述超像素分类结果映射到所述目标超像素分割结果中,以得到目标超像素内每个像元的解译结果。
本发明所述的遥感影像解译方法与所述遥感影像分割模型构建方法相对于现有技术的优势相同,在此不再赘述。
附图说明
图1为本发明实施例中遥感影像分割模型构建方法的流程图一;
图2为本发明实施例中AM-GCN模型构建示意图;
图3为本发明实施例中遥感影像分割模型构建方法的流程图二;
图4为本发明实施例中遥感影像分割模型构建装置结构图;
图5为本发明实施例中遥感影像解译方法流程图;
图6为本发明实施例中遥感影像解译装置结构图;
图7为本发明实施例中计算机设备的内部结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
如图1所示,在一个实施例中,提供了一种遥感影像分割模型构建方法,包括如下步骤:
步骤S1,获取原始多光谱影像,并对所述原始多光谱影像进行超像素分割,以得到超像素分割结果;
具体地,可使用易康如软件对原始多光谱影像进行超像素分割,其中,超像素就是利用像素之间某些特征的相似性将像素分组(每个子区域内部之间某个特征具有很强的一致性),用少量的超像素代替大量的像素来表达图片特征,即我们把图像分割成很多小块,把这一整个块当成一个像素来处理,每一小块就是超像素。
步骤S2,对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签;
具体地,对所述超像素分割结果进行特征提取,得到初始超像素特征,同时,取所述超像素内出现次数最多的像元标签作为初始超像素标签。
步骤S3,获取类别共现矩阵;
具体地,根据对整个研究区进行划分为多个小研究区,并利用概率算法通过计算研究区内的不同地物类别在在源数据中同一个小研究区的概率得到类别共现矩阵,其中,地物类别有采坑、选矿厂、排土场、水田、温室大棚、旱地、休耕地、有林地、灌木、胁迫植被、苗圃和果园、池塘、采矿集水坑、沥青公路、水泥路、土路、城镇用地、农村居民点、其他建设用地、裸地等。
步骤S4,根据所述超像素分割结果构建拓扑图,并将所述类别共现矩阵融合到所述拓扑图中,以得到初始拓扑图;
具体地,通过超像素分割结果构建拓扑图,然后通过特殊乘法将作为知识的类别共现矩阵融合到拓扑图中得到初始拓扑图;此处的特殊乘法为两个部分,分别为拓扑图拓展和点乘。例如:设超像素个数为N,地物类别总数为C,则拓扑图的形状为N*N,类别共现矩阵的形状为C*C。拓展过程为:将拓扑图变形为1*N*N,并在第1维上复制C次,形状变为为C*N*N;点乘过程为:将类别共现矩阵与拓展后的拓扑图点乘,得到形状为C*N*N的矩阵,为融合了类别共现矩阵的初始拓扑图。将类别共现矩阵(知识)融入到拓扑图中,“告诉”了模型每种地物周围更可能出现的地物,提高了模型的推理能力。
步骤S5,根据所述超像素分割结果构建初始特征图,并根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型;其中,所述原始分割模型基于ResNet模型和AM-GCN模型构建,所述遥感影像分割模型用于得到超像素分类结果。
具体地,初始特征图是通过对初始超像素特征进行构建得到的,即将初始超像素特征视为图的一个个节点,通过KNN邻近算法近构建特征图,得到初始特征图,其中,KNN(K-NearestNeighbor)邻近算法算法是数据挖掘分类技术中最简单的方法之一;所谓K最近邻,就是K个最近的邻居的意思,说的是在构建特征图(邻接矩阵)时,将每个节点和与其特征相似度最高的K个节点连一条边;在模型训练过程中,将初始超像素特征按照一定比例进行划分,以得到训练、验证和测试样本,通过训练样本、初始特征图和初始拓扑图对原始分割模型进行训练,并通过将每次训练后的模型输出与所述初始超像素标签进行比较后,对所述原始分割模型进行调优,最终得到遥感影像分割模型。其中初始特征图和初始拓扑图在每次训练过程是共用的。
本实施例所述的遥感影像分割模型构建方法通过对原始多光谱影像进行超像素分割,以得到超像素分割结果,通过超像素分割算法保证了超像素边界的平滑性,进而保证超像素分类边界的平滑性;通过对超像素分割结果进行特征提取得到初始超像素特征和初始超像素标签,并通过所述超像素分割结果构建拓扑图,并将类别共现矩阵融合所述拓扑图中,以得到初始拓扑图,通过获取初始特征图,得到了训练原始分割模型所需的数据,即所述初始超像素特征、所述初始拓扑图、所述初始特征图和所述初始超像素标签,通过上述数据对所述原始分割模型进行训练及调优,最终得到遥感影像分割模型,其中将类别共现矩阵(知识)融入到拓扑图中,“告诉”了模型每种地物周围更可能出现的地物,提高了模型的推理能力;原始分割模型是基于ResNet模型和AM-GCN模型构建的,通过结合ResNet的深层特征提取能力与AM-GCN的节点关系提取能力,以获得更好的遥感图像分类结果;综上,本申请基于图卷积神经网络(AM-GCN)通过建模样本(或顶点)之间的关系来有效地处理图结构数据的特点,对多光谱图像的远程空间关系进行处理,并将类别共现概率(类别共现矩阵)以先验知识的方式融合到图节点的拓扑关系中,能够大大降低空间关系薄弱的图节点之间的相互干扰,提高中近空间距离地物的联系,从而减少了边界信息丢失,并一定程度上解决“同谱异物”和“同物异谱”的问题,同时采用双分支提取后融合的方法能结合ResNet的深层特征提取能力与AM-GCN的节点关系提取能力,以获得更好的遥感图像分类结果,进一步地提高了分类精度。
在一些实施例中,步骤S5中,所述根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型,包括:
步骤S51,通过所述原始分割模型对所述初始特征图、所述初始超像素特征和所述初始拓扑图进行分类处理,得到临时超像素分类结果;
步骤S52,根据所述临时超像素分类结果和所述初始超像素标签对所述原始分割模型进行调优,将调优后的所述原始分割模型作为所述遥感影像分割模型。
在一些实施例中,步骤S51中,通过所述原始分割模型对所述初始特征图、所述初始超像素特征和所述初始拓扑图进行分类处理,得到临时超像素分类结果,包括:
步骤S511,通过所述ResNet模型对所述初始超像素特征进行深度特征提取,得到初始超像素深度特征;
步骤S512,通过所述AM-GCN模型对所述初始特征图、所述初始拓扑图和所述初始超像素深度特征进行数据处理,得到预分类结果;
步骤S513,根据所述初始超像素深度特征和所述预分类结果得到所述临时超像素分类结果。
具体地,所述原始分割模型是基于ResNet模型和AM-GCN模型构建;对所述原始分割模型进行模型训练,也是对ResNet模型和AM-GCN模型进行训练的过程;即一个分支将初始超像素特征输入ResNet模型(残差网络)中,对初始超像素进行深度特征提取,得到CNN提取的深度特征,也就是即CNN的输出(初始超像素深度特征);另一个分支将CNN提取的深度特征、初始特征图和初始拓扑图(知识-拓扑图)输入AM-GCN模型中,能得到预分类结果(AM-GCN模型的输出);并根据所述初始超像素深度特征和所述预分类结果得到所述临时超像素分类结果,并通过每训练一次得到的临时超像素分类结果和所述初始超像素标签对原始分割模型,即ResNet模型和AM-GCN模型进行调优,以得到遥感影像分割模型;AM-GCN模型使用多通道图卷积网络(GCN),利用AM-GCN对样本点光谱特征关系和空间关系进行建模,并聚合邻居节点的特征信息,在复杂环境下实现更好的分类,且采用双分支提取后融合的方法能结合ResNet的深层特征提取能力与AM-GCN的节点关系提取能力,以获得更好的遥感图像分类结果。
在一些实施例中,如图2所示,AM-GCN模型包括两个特殊图卷积通道(特殊卷积模块)、两个普通图卷积通道(普通卷积模块),且包括注意力模块;对模型的训练过程是将CNN的输出和初始特征图输入一个特殊图卷积通道和一个普通图卷积通道,将CNN的输出和初始拓扑图输入另一个特殊图卷积通道和另一个普通图卷积通道,最后将两个普通图卷积通道的输出数据求平均后输入注意力模块,同时将两个特殊图卷积通道的输出数据输入注意力模块,得到AM-GCN输出(预分类结果);其中普通图卷积通道与特殊图卷积通道的区别仅为普通图卷积通道间会进行参数共享,而特殊图卷积通道之间不进行参数共享;且两个特殊图卷积通道“处理数据的方式”相同,“处理数据的方式”相同指的是处理数据时使用的图卷积网络有着相同的结构,但在训练模型时两个通道分别对应两个互相独立的图卷积网络,它们内部的参数因为输入的不同而不同。而对于两个普通卷积通道,都使用了同一个图卷积网络对数据进行处理,使用的是同一个网络自然参数相同(也就实现参数共享)。
在一些优选的实施例中,使用的GCN的结构为:
GraphConvWithRD(D1,1024)=>GraphConv(1024,512);
其中,GraphConv为图卷积层,GraphConvWithRD为跟随了激活函数和dropout的图卷积层。其中,D1为输入通道,也就是CNN输出向量维度(CNN的输出,也是初始超像素特征维度)。原始AM-GCN包含4个通道,分别为两个普通图卷积通道ZCT和ZCF和两个特殊图卷积通道ZST和ZSF。ZCT和ZST接受初始拓扑图与CNN的输出作为输入,ZCF和ZSF接受初始特征图与CNN的输出作为输入。设4个通道的输出向量分别为VCT、VCF、VST和VSF,则:
VCT=ZCT(GT,F);
VCF=ZCF(GF,F);
VST=ZST(GT,F);
VSF=ZSF(GF,F);
其中,GT为初始拓扑图,GF为初始特征图,F为特征向量。
AM-GCN的输出为输出向量V可以用以下公示表示:
V=Attention(VST,VSF,(VCT+VCF)/2);
其中,Attention为注意力模块。
具体地,AM-GCN模型使用多通道图卷积网络(GCN)对光谱特征关系和空间关系进行建模;因GCN(图卷积网络)有着能够聚合邻居节点的特征信息的特性,所述AM-GCN模型能同时从节点特征、拓扑结构和它们的组合中提取信息,并使用注意力机制(注意力模块)来自适应地学习所提取信息的重要性。既能保留现有GCN的优点,同时又能大大增强其融合拓扑结构和节点特征的能力,其中,GCN为图卷积神经网络,用于图数据结构。
在一些实施例中,对于ResNet模型(残差卷积网络)是二维卷积,而初始超像素特征都是一维的,所以初始超像素特征需先经历变形后再输入ResNet模型;例如;初始超像素特征为一维,即5287*1024;进行变形后变成5287*32*32,这样ResNet模型就可以直接对变形后的初始超像素特征进行卷积处理。
在一些实施例中,步骤S53中,根据所述初始超像素深度特征和所述预分类结果得到所述临时超像素分类结果,包括:
步骤S531,将所述初始超像素深度特征与所述预分类结果进行纵向堆叠,得到临时分类结果;
步骤S532,根据所述临时分类结果得到所述临时超像素分类结果。
具体地,将初始超像素深度特征和预分类结果进行拼接融合,且拼接融合是以纵向堆叠的方式,在经过FC(全连接层)和Softmax操作就可得到最终的临时超像素分类结果,其中,FC(FullyConnectedLayers)为全连接层,在卷积神经网络中相当于分类器的作用:根据特征的组合进行分类大大减少特征位置对分类带来的影响;Softmax函数是一种常用的激活函数,它可以将一个实数值的输入映射到(0,1)之间的概率值,常用于多分类问题中。
在一些实施例中,步骤S54中,根据所述临时超像素分类结果和所述初始超像素标签对所述原始分割模进行调优,将调优后的所述原始分割模型作为所述遥感影像分割模型,包括:
步骤S541,根据所述超像素分类结果和所述初始超像素标签进行损失计算,得到损失函数输出;
步骤S542,根据所述损失函数输出调整所述原始分割模型的模型参数,直至损失函数输入满足所述预设条件,将经参数调整后的所述原始分割模型作为所述遥感影像分割模型。
具体地,计算预测的超像素标签和真实的超像素标签之间的交叉熵损失,依据损失值对原始分割模型内部参数进行调整;其中,预测的超像素标签为超像素分类结果,真实的超像素标签为初始超像素标签,在模型训练过程中,通过损失计算(加权损失)进行反向传播对原始分割模型进行参数调优,以得到遥感影像分割模型;调参完成后,将测试样本输入到训练好的网络中,直接输出对应样本的超像素分类结果。
在一些优选的实施例中,在调参过程中也包括模型超参数的确定,是采用控制变量的方法,通过枚举实验出能使模型效果达到峰值时的超参数大小作为最终模型超参数值;而对于模型的超参数优化,采用试错法寻优参数。其中模型超参数是模型外部的配置,其值不能从数据估计得到,常应用于估计模型参数的过程中。
在一些实施例中,步骤S2中,对所述超像素分割结果进行特征提取,以得到初始超像素特征还包括:
步骤S21,根据不同类别像元数量对所述超像素分割结果进行标注,得到初始像元标签;
步骤S22,根据所述初始像元标签得到所述初始超像素标签。
具体地,根据不同类别像元数量对所有超像素进行标注能得到初始像元标签,也就是初始超像素内每个像元标签;并在提取初始超像素特征时采用了有放回抽样的方式从所有超像素中抽取像元,将其光谱信息进行组合当作初始超像素特征;在对超像素分割结果,也就是所有超像素进行标注时,采用了超像素内出现次数最多的像元标签作为初始超像素标签。
在一些实施例中,步骤S3中,获取类别共现矩阵,包括:
步骤S31,将所述原始多光谱影像对应的研究区进行分割,以得到多个临时研究区;
步骤S32,通过计算不同标签的地物在同一所述临时研究区的概率得到所述类别共现矩阵。
在一些优选的实施例中,整个研究区被划分成了很多个小矩形研究区(临时研究区),对于类别共现矩阵利用概率算法通过计算不同标签的地物在同一所述临时研究区的概率得到所述类别共现矩阵;例如,假设将一个临时研究区共划分了3个矩形,即第一矩形区、第二矩形区,第三矩形区,且地物类别总共3类:即A类、B类、C类。第一矩形区里只出现了A类和B类,第二矩形区里只出现了A类和C类,第三矩形区里出现了A类、B类和C类,则对于A类来说,A类和B类的共现概率就是2/3,A类和C类的共现概率就是2/3。对于B类来说,B类和A类的共现概率是1,B类和C类的共现概率是1/2;其中,共现概率是两类一起出现的矩形数量/某一类出现的矩形数量。
在一些实施例中,如图3所示,通过获取原始多光谱影像,并对其进行超像素分割后能得到超像素分割结果;同时对超像素分割结果进行特征提取得到初始超像素特征,并根据超像素分割结果构建拓扑图,通过特殊乘法将作为知识的类别共现矩阵融合到拓扑图中得到初始拓扑图,再通过初始超像素特征构建初始特征图,这样就得到了训练模型得全部数据,通过将初始超像素特征输入到ResNet模型中,得到初始超像素深度特征,并通过初始超像素深度特征、初始特征图和初始拓扑图输入到AM-GCN模型中,得到预分类结果,并将初始超像素深度特征和预分类结果进行拼接处理,能得到临时超像素分类结果,最后通过临时超像素分类结果与初始超像素标签进行加权损失计算,并通过反向传播对原始分割模型,相当于对ResNet模型和AM-GCN模型进行参数调优,最终得到遥感影像分割模型。
本实施例所述的遥感影像分割模型构建方法通过对原始多光谱影像进行超像素分割,以得到超像素分割结果,通过超像素分割算法保证了超像素边界的平滑性,进而保证超像素分类边界的平滑性;通过对超像素分割结果进行标注和特征提取得到初始超像素特征和初始超像素标签,并通过所述超像素分割结果构建拓扑图,并将类别共现矩阵融合所述拓扑图中,以得到初始拓扑图,通过获取初始特征图,得到了训练原始分割模型所需的数据,即所述初始超像素特征、所述初始拓扑图、所述初始特征图和所述初始超像素标签,通过上述数据对所述原始分割模型进行训练及调优,最终得到遥感影像分割模型,其中将类别共现矩阵(知识)融入到拓扑图中,“告诉”了模型每种地物周围更可能出现的地物,提高了模型的推理能力;原始分割模型是基于ResNet模型和AM-GCN模型构建的,通过结合ResNet的深层特征提取能力与AM-GCN的节点关系提取能力,以获得更好的遥感图像分类结果;综上,本申请基于图卷积神经网络(AM-GCN)通过建模样本(或顶点)之间的关系来有效地处理图结构数据的特点,对多光谱图像的远程空间关系进行处理,并将类别共现概率(类别共现矩阵)以先验知识的方式融合到图节点的拓扑关系中,能够大大降低空间关系薄弱的图节点之间的相互干扰,提高中近空间距离地物的联系,从而减少了边界信息丢失,并一定程度上解决“同谱异物”和“同物异谱”的问题,同时采用双分支提取后融合的方法能结合ResNet的深层特征提取能力与AM-GCN的节点关系提取能力,以获得更好的遥感图像分类结果,进一步地提高了分类精度。
如图4所示,本发明的另一个实施例提供一种遥感影像分割模型构建装置,包括:
获取单元,用于获取原始多光谱影像,并对所述原始多光谱影像进行超像素分割,以得到超像素分割结果;
所述获取单元还用于获取初始特征图和类别共现矩阵;
处理单元,用于对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签;
所述处理单元还用于根据所述超像素分割结果构建拓扑图,并将所述类别共现矩阵融合到所述拓扑图中,以得到初始拓扑图;
所述处理单元还用于根据所述超像素分割结果构建初始特征图,并根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型;其中,所述原始分割模型基于ResNet模型和AM-GCN模型构建,所述遥感影像分割模型用于得到超像素分类结果。
本发明的又一个实施例提供一种遥感影像分割模型构建设备,包括存储器和处理器:存储器,用于存储计算机程序;处理器,用于当执行所述计算机程序时,实现所述的遥感影像分割模型构建方法。
需要注意的是,该设备可以为服务器、移动终端等计算机设备。
如图5所示,本发明的又一个实施例还提供一种遥感影像解译方法,包括如下步骤:
步骤A1,获取目标多光谱影像,并对所述目标多光谱影像进行超像素分割,以得到目标超像素分割结果;
步骤A2,对所述目标超像素分割结果进行特征提取,以得到目标超像素特征;
步骤A3,获取目标类别共现矩阵;
步骤A4,根据所述目标超像素分割结果构建拓扑图,并将所述目标类别共现矩阵融合到所述拓扑图中,以得到目标拓扑图;
步骤A5,根据所述超像素分割结果构建目标特征图,将所述目标超像素特征、所述目标拓扑图和所述目标特征图输入所述的遥感影像分割模型构建方法得到的遥感影像分割模型,得到目标超像素分类结果;
步骤A6,将所述超像素分类结果映射到所述目标超像素分割结果中,以得到目标超像素内每个像元的解译结果。
具体地,获取目标多光谱影像,通过对目标多光谱影像进行预处理,得到目标超像素特征、目标拓扑图和目标特征图,通过将目标超像素特征、目标拓扑图和目标特征图输入到所述的遥感影像分割模型构建方法得到的遥感影像分割模型中进行处理,得到目标超像素分类结果,并将目标超像素分类结果映射到所述目标超像素分割结果中,得到目标超像素内每个像元的解译结果;因超像素分割的每个超像都对应到图像上一个像素点的集合,映射就是让这些像素点的标签全变成对应超像素的标签,也就是超像素内每个像元的解译结果。
在本实施例中,通过资源3号卫星获取获取武汉江夏研究区影像(大小:7991px*3105px,通道数:4);使用ArcGIS手动解译了研究区的原始多光谱影像,将地物分成了20个类别。然后使用易康软件ESP2插件将研究区划分为5287个超像素(初始超像素分割结果)(参数:scale:165,shape:0.1,compactness:0.5)。对于每个超像素,我们从中随机取256个像素(初始超像素特征,不足可重复),因为图像通道为4,所以初始超像素特征维度为1024,并对初始超像素分割结果进行标注,取超像素内出现次数最多的像元标签作为初始超像素标签。将整个研究区切割成多个224px*224px的小研究区(临时研究区),计算不同标签的地物出现于同一小研究区的概率得到类别共现矩阵。将所有的初始超像素特征按2:1:2的比例划分为训练、验证和测试样本。将初始超像素分割结果构建为拓扑图,并将类别共现矩阵融入到拓扑图中以得到初始拓扑图,对所有初始超像素特征使用KNN算法(K=10)构建初始特征图。这样便得到了训练模型所需的初始拓扑图,初始特征图,初始超像素特征(训练集)。训练时先将初始超像素特征变形后输入到ResNet模型中,得到CNN输出向量(即CNN的输出或初始超像素深度特征,大小:5287*512),再将CNN输出向量、初始拓扑图和初始特征图输入AM-GCN模型中,得到AM-GCN输出向量(预分类结果,大小:5287*512)。将CNN和AM-GCN的输出向量进行拼接(大小:5287*1024)后,并进行fc和Softmax操作,得到临时超像素分类结果(大小:5287*20),并通过每次训练得到的临时超像素分类结果和初始超像素标签进行损失计算,并通过得到的损失对原始分割模型进行参数调优,得到遥感影像分割模型。训练完成后,利用遥感影像分割模型对测试样本进行分类,并将得到测试样本对应的超像素分类结果映射到初始超像素分割结果中即得到每个像元的解译结果,最终得到的解译精度约为65.16%,高于基线GCN的61.58%和ResNet的60.39%;其中,如果测试样本是整个研究区的所有超像素,即可得到整个研究区的解译结果。
如图6所示,本发明的又一个实施例还提供一种遥感影像解译装置,包括:
获取模块,用于获取目标多光谱影像,并对所述目标多光谱影像进行超像素分割,以得到目标超像素分割结果;
所述获取模块还用于获取目标类别共现矩阵;
处理模块,用于对所述超像素分割结果进行特征提取,以得到初始超像素特征;
所述处理模块还用于根据所述超像素分割结果构建拓扑图,并将所述类别共现矩阵融合到所述拓扑图中,以得到初始拓扑图;
所述处理模块还用于根据所述超像素分割结果构建目标特征图,并将所述目标超像素特征、所述目标拓扑图和所述目标特征图输入所述的遥感影像分割模型构建方法得到的遥感影像分割模型,得到目标超像素分类结果;
所述处理模块还用于将所述超像素分类结果映射到所述目标超像素分割结果中,以得到目标超像素内每个像元的解译结果。
需要注意的是,该设备可以为服务器、移动终端等计算机设备。
图7示出了一个实施例中计算机设备的内部结构图。该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现遥感影像解译方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行的遥感影像解译方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述遥感影像解译方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
虽然本发明披露如上,但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。
Claims (6)
1.一种遥感影像分割模型构建方法,其特征在于,包括:
步骤S1,获取原始多光谱影像,并对所述原始多光谱影像进行超像素分割,以得到超像素分割结果;
步骤S2,对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签;
步骤S3,获取类别共现矩阵;
步骤S4,根据所述超像素分割结果构建拓扑图,并将所述类别共现矩阵融合到所述拓扑图中,以得到初始拓扑图;
步骤S5,根据所述超像素分割结果构建初始特征图,并根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型;其中,所述原始分割模型基于ResNet模型和AM-GCN模型构建,所述遥感影像分割模型用于得到超像素分类结果,所述步骤S5,包括:
通过所述原始分割模型对所述初始特征图、所述初始超像素特征和所述初始拓扑图进行分类处理,得到临时超像素分类结果,包括:
通过所述ResNet模型对所述初始超像素特征进行深度特征提取,得到初始超像素深度特征;
通过所述AM-GCN模型对所述初始特征图、所述初始拓扑图和所述初始超像素深度特征进行数据处理,得到预分类结果;
根据所述初始超像素深度特征和所述预分类结果得到所述临时超像素分类结果,包括:
将所述初始超像素深度特征与所述预分类结果进行纵向堆叠,得到临时分类结果;
根据所述临时分类结果得到所述临时超像素分类结果;
根据所述临时超像素分类结果和所述初始超像素标签对所述原始分割模型进行调优,将调优后的所述原始分割模型作为所述遥感影像分割模型,包括:
根据所述临时超像素分类结果和所述初始超像素标签进行损失计算,得到损失函数输出;
根据所述损失函数输出调整所述原始分割模型的模型参数,直至损失函数输入满足预设条件,将经参数调整后的所述原始分割模型作为所述遥感影像分割模型。
2.根据权利要求1所述的遥感影像分割模型构建方法,其特征在于,所述对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签,包括:
对所述超像素分割结果进行特征提取,得到所述初始超像素特征;
根据不同类别像元数量对所述超像素分割结果进行标注,得到初始像元标签;
根据所述初始像元标签得到所述初始超像素标签。
3.根据权利要求1所述的遥感影像分割模型构建方法,其特征在于,所述获取类别共现矩阵包括:
将所述原始多光谱影像对应的研究区进行分割,以得到多个临时研究区;
通过计算不同标签的地物在同一所述临时研究区的概率得到所述类别共现矩阵。
4.一种遥感影像分割模型构建装置,其特征在于,包括:
获取单元,用于获取原始多光谱影像,并对所述原始多光谱影像进行超像素分割,以得到超像素分割结果;
所述获取单元还用于获取初始特征图和类别共现矩阵;
处理单元,用于对所述超像素分割结果进行特征提取,以得到初始超像素特征和初始超像素标签;
所述处理单元还用于根据所述超像素分割结果构建拓扑图,并将所述类别共现矩阵融合到所述拓扑图中,以得到初始拓扑图;
所述处理单元还用于根据所述超像素分割结果构建初始特征图,并根据所述初始特征图、所述初始超像素特征、所述初始拓扑图和所述初始超像素标签对原始分割模型进行训练及调优,得到遥感影像分割模型;其中,所述原始分割模型基于ResNet模型和AM-GCN模型构建,所述遥感影像分割模型用于得到超像素分类结果,包括:通过所述原始分割模型对所述初始特征图、所述初始超像素特征和所述初始拓扑图进行分类处理,得到临时超像素分类结果,包括:通过所述ResNet模型对所述初始超像素特征进行深度特征提取,得到初始超像素深度特征;通过所述AM-GCN模型对所述初始特征图、所述初始拓扑图和所述初始超像素深度特征进行数据处理,得到预分类结果;根据所述初始超像素深度特征和所述预分类结果得到所述临时超像素分类结果,包括:将所述初始超像素深度特征与所述预分类结果进行纵向堆叠,得到临时分类结果;根据所述临时分类结果得到所述临时超像素分类结果;根据所述临时超像素分类结果和所述初始超像素标签对所述原始分割模型进行调优,将调优后的所述原始分割模型作为所述遥感影像分割模型,包括:根据所述临时超像素分类结果和所述初始超像素标签进行损失计算,得到损失函数输出;根据所述损失函数输出调整所述原始分割模型的模型参数,直至损失函数输入满足预设条件,将经参数调整后的所述原始分割模型作为所述遥感影像分割模型。
5.一种遥感影像分割模型构建设备,其特征在于,包括存储器和处理器:
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1至3任一项所述的遥感影像分割模型构建方法。
6.一种遥感影像解译方法,其特征在于,包括:
获取目标多光谱影像,并对所述目标多光谱影像进行超像素分割,以得到目标超像素分割结果;
对所述目标超像素分割结果进行特征提取,以得到目标超像素特征;
获取目标类别共现矩阵;
根据所述目标超像素分割结果构建拓扑图,并将所述目标类别共现矩阵融合到所述拓扑图中,以得到目标拓扑图;
根据所述超像素分割结果构建目标特征图,将所述目标超像素特征、所述目标拓扑图和所述目标特征图输入如权利要求1至3任一项所述的遥感影像分割模型构建方法得到的遥感影像分割模型,得到目标超像素分类结果;
将所述超像素分类结果映射到所述目标超像素分割结果中,以得到目标超像素内每个像元的解译结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310414490.9A CN116524369B (zh) | 2023-04-18 | 2023-04-18 | 遥感影像分割模型构建方法、装置及遥感影像解译方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310414490.9A CN116524369B (zh) | 2023-04-18 | 2023-04-18 | 遥感影像分割模型构建方法、装置及遥感影像解译方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116524369A CN116524369A (zh) | 2023-08-01 |
CN116524369B true CN116524369B (zh) | 2023-11-17 |
Family
ID=87405728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310414490.9A Active CN116524369B (zh) | 2023-04-18 | 2023-04-18 | 遥感影像分割模型构建方法、装置及遥感影像解译方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116524369B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116934754B (zh) * | 2023-09-18 | 2023-12-01 | 四川大学华西第二医院 | 基于图神经网络的肝脏影像识别方法及装置 |
CN116977750B (zh) * | 2023-09-25 | 2023-12-12 | 中国地质大学(武汉) | 土地覆盖场景分类模型构建方法及分类方法 |
CN117935068B (zh) * | 2024-03-25 | 2024-05-24 | 中国平安财产保险股份有限公司四川分公司 | 一种农作物疾病分析方法与分析系统 |
CN118072138B (zh) * | 2024-04-24 | 2024-07-05 | 中国地质大学(武汉) | 土地覆盖特征提取方法、装置、电子设备及存储介质 |
CN118446938B (zh) * | 2024-07-08 | 2024-09-10 | 浙江国遥地理信息技术有限公司 | 一种遥感影像的阴影区域修复方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178316A (zh) * | 2020-01-06 | 2020-05-19 | 武汉大学 | 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法 |
CN113435268A (zh) * | 2021-06-09 | 2021-09-24 | 武汉理工大学 | 基于图变换知识嵌入算法的地震灾区遥感影像解译方法 |
CN114529832A (zh) * | 2022-02-18 | 2022-05-24 | 中国工商银行股份有限公司 | 一种预设遥感图像重叠阴影分割模型训练方法及装置 |
WO2023000160A1 (zh) * | 2021-07-20 | 2023-01-26 | 海南长光卫星信息技术有限公司 | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 |
CN115810149A (zh) * | 2022-11-22 | 2023-03-17 | 中国地质大学(武汉) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 |
-
2023
- 2023-04-18 CN CN202310414490.9A patent/CN116524369B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178316A (zh) * | 2020-01-06 | 2020-05-19 | 武汉大学 | 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法 |
CN113435268A (zh) * | 2021-06-09 | 2021-09-24 | 武汉理工大学 | 基于图变换知识嵌入算法的地震灾区遥感影像解译方法 |
WO2023000160A1 (zh) * | 2021-07-20 | 2023-01-26 | 海南长光卫星信息技术有限公司 | 高光谱遥感影像半监督分类方法、装置、设备及存储介质 |
CN114529832A (zh) * | 2022-02-18 | 2022-05-24 | 中国工商银行股份有限公司 | 一种预设遥感图像重叠阴影分割模型训练方法及装置 |
CN115810149A (zh) * | 2022-11-22 | 2023-03-17 | 中国地质大学(武汉) | 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法 |
Non-Patent Citations (1)
Title |
---|
向泽君;蔡怤晟;楚恒;黄磊.基于超像素的高分遥感影像分割算法.计算机工程与设计.2020,(第05期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN116524369A (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116524369B (zh) | 遥感影像分割模型构建方法、装置及遥感影像解译方法 | |
Zhu et al. | A global context-aware and batch-independent network for road extraction from VHR satellite imagery | |
CN111191736B (zh) | 基于深度特征交叉融合的高光谱图像分类方法 | |
Xia et al. | Random forest ensembles and extended multiextinction profiles for hyperspectral image classification | |
Li et al. | DANCE-NET: Density-aware convolution networks with context encoding for airborne LiDAR point cloud classification | |
Saralioglu et al. | Semantic segmentation of land cover from high resolution multispectral satellite images by spectral-spatial convolutional neural network | |
CN113609889B (zh) | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 | |
Samat et al. | Classification of VHR multispectral images using extratrees and maximally stable extremal region-guided morphological profile | |
Liu et al. | Cross-resolution national-scale land-cover mapping based on noisy label learning: A case study of China | |
Li et al. | A superresolution land-cover change detection method using remotely sensed images with different spatial resolutions | |
CN111986193B (zh) | 一种遥感影像变化检测方法、电子设备及存储介质 | |
Abdollahi et al. | Road extraction from high-resolution orthophoto images using convolutional neural network | |
CN117496347A (zh) | 遥感影像建筑物提取方法、装置及介质 | |
Malik et al. | Computer vision models for comparing spatial patterns: understanding spatial scale | |
CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
CN114036326B (zh) | 一种图像检索与分类方法、系统、终端及存储介质 | |
Ruiz-Lendínez et al. | Deep learning methods applied to digital elevation models: state of the art | |
Palacios-Rodríguez et al. | Generalized Pareto processes for simulating space-time extreme events: an application to precipitation reanalyses | |
Tu et al. | Fully convolutional network-based nonlocal-dependent learning for hyperspectral image classification | |
Gonzalez | DL4DS—Deep learning for empirical downscaling | |
CN113591608A (zh) | 一种基于深度学习的高分辨率遥感影像不透水面提取方法 | |
CN116091911A (zh) | 一种地震勘探工区建筑物自动识别方法及系统 | |
Nikfar et al. | Optimization of multiresolution segmentation by using a genetic algorithm | |
CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
Feng et al. | Improved deep fully convolutional network with superpixel-based conditional random fields for building extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |