CN116343058A - 基于全局协同融合的多光谱和全色卫星影像地表分类方法 - Google Patents
基于全局协同融合的多光谱和全色卫星影像地表分类方法 Download PDFInfo
- Publication number
- CN116343058A CN116343058A CN202310268047.5A CN202310268047A CN116343058A CN 116343058 A CN116343058 A CN 116343058A CN 202310268047 A CN202310268047 A CN 202310268047A CN 116343058 A CN116343058 A CN 116343058A
- Authority
- CN
- China
- Prior art keywords
- layer
- multispectral
- decoding
- convolution
- panchromatic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000011160 research Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 34
- 101001128135 Homo sapiens NACHT, LRR and PYD domains-containing protein 4 Proteins 0.000 claims description 26
- 101000982939 Homo sapiens PAN2-PAN3 deadenylation complex catalytic subunit PAN2 Proteins 0.000 claims description 26
- 101000742934 Homo sapiens Retinol dehydrogenase 14 Proteins 0.000 claims description 26
- 102100031898 NACHT, LRR and PYD domains-containing protein 4 Human genes 0.000 claims description 26
- 101001128138 Homo sapiens NACHT, LRR and PYD domains-containing protein 2 Proteins 0.000 claims description 25
- 102100031897 NACHT, LRR and PYD domains-containing protein 2 Human genes 0.000 claims description 25
- 101001109455 Homo sapiens NACHT, LRR and PYD domains-containing protein 6 Proteins 0.000 claims description 24
- 101001113056 Homo sapiens PAN2-PAN3 deadenylation complex subunit PAN3 Proteins 0.000 claims description 24
- 102100022696 NACHT, LRR and PYD domains-containing protein 6 Human genes 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 21
- 101001128170 Homo sapiens NACHT, LRR and PYD domains-containing protein 8 Proteins 0.000 claims description 11
- 102100031886 NACHT, LRR and PYD domains-containing protein 8 Human genes 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 108091006146 Channels Proteins 0.000 description 14
- 239000000523 sample Substances 0.000 description 12
- 102100027094 Echinoderm microtubule-associated protein-like 1 Human genes 0.000 description 4
- 101001057941 Homo sapiens Echinoderm microtubule-associated protein-like 1 Proteins 0.000 description 4
- 101000653787 Mus musculus Protein S100-A11 Proteins 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100237207 Arabidopsis thaliana MS3 gene Proteins 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 101000832767 Homo sapiens Disintegrin and metalloproteinase domain-containing protein 8 Proteins 0.000 description 1
- 101710185016 Proteasome-activating nucleotidase 1 Proteins 0.000 description 1
- 101000760673 Rattus norvegicus Actin-binding Rho-activating protein Proteins 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，包括：获取研究区的多光谱卫星遥感影像和全色卫星遥感影像，并进行地表要素样本标注，得到训练样本图；构建全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络，该网络包括两个单源分支和一个多源分支；将多光谱和全色卫星遥感影像以及训练样本图，输入网络中，进行训练，得到训练后的网络模型；获取待分类的多光谱和全色卫星遥感影像，并输入到网络模型中进行预测，得到各个网络分支的概率分类图；通过概率加权对各个概率分类图进行决策级融合，得到最终的研究区地表要素分类图。与现有技术相比，本发明具有分类精度高、结果鲁棒性好和预测速度快等优点。
Description
技术领域
本发明涉及多源遥感影像特征级融合和分类领域，尤其是涉及基于全局协同融合的多光谱和全色卫星影像地表分类方法。
背景技术
随着遥感平台和传感器类型的不断丰富，融合多模态遥感影像(如高光谱和LiDAR，多光谱和SAR，多光谱和全色影像)的地表覆盖分类和检测，能够有效地提高地表要素的分类和识别精度。在众多多模态遥感影像融合中，多光谱和全色遥感影像是最容易被同时获取的一对影像数据，尽管多光谱影像的空间分辨率低，但其包含的多个光谱信息能够被用于区分不同类地物；反之，全色影像只包含一个波段，但其较高的空间分辨率有助于准确描述物体的形状边界及其空间关系。因此，联合使用多光谱和全色影像可以充分利用两种数据的优势。
目前的多光谱和全色遥感影像融合分类存在两个方面的缺陷：1)分类方式：使用基于切片的逐像素分类方式，切片产生冗余，增加数据处理负担，且切片破坏了地物的完整性，切片的限制使得深度网络不能自由的获取上下文信息。2)融合策略：现有的融合方法大多只考虑相对丰富的多光谱和全色波段交叉融合特征，虽然交叉融合特征较为丰富，但是可能破坏单源影像有代表性的特征。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种无需切片，同时考虑单个多光谱和全色影像特征，以及两者的交叉融合特征的基于全局协同融合的多光谱和全色卫星影像地表分类方法。
本发明的目的可以通过以下技术方案来实现：
一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，包括以下步骤：
S1：获取研究区的多光谱卫星遥感影像和全色卫星遥感影像，并进行地表要素样本标注，得到研究区的训练样本图；
S2：构建全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络，该网络包括两个单源分支和一个多源分支；
S3：将步骤S1获取的研究区的多光谱卫星遥感影像和全色卫星遥感影像以及对应的训练样本图，输入步骤S2构建的全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络中，进行网络训练，得到训练后的网络模型；
S4；获取待分类的研究区多光谱卫星遥感影像和全色卫星遥感影像，并输入到步骤S3中训练好的网络模型中进行预测，得到各个网络分支的概率分类图；
S5：通过概率加权的方式对步骤S4中三个网络分支的概率分类图进行决策级融合，得到最终的研究区地表要素分类图。
进一步地，步骤S1中，所述多光谱卫星遥感影像的尺寸大小为H×W×B，所述全色卫星遥感影像的尺寸大小为nH×nW×1，所述训练样本图的尺寸大小为nH×nW×1，其中，H、W和B分别为多光谱影像的高、宽和波段数，n为全色影像尺寸相对于多光谱影像尺寸的倍数。
进一步地，所述两个单源分支包括单源多光谱深浅特征融合分支和单源全色深浅特征融合分支，所述多源分支为多尺度多光谱和全色交叉特征融合分支，所述多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络还包括三个网络分支的自适应加权交叉熵损失。
进一步地，所述单源多光谱深浅特征融合分支包括多光谱编码模块和多光谱解码模块，所述多光谱编码模块包括依次连接的多光谱输入层、编码卷积块MS1、光谱注意力模块1、编码卷积块MS2、光谱注意力模块2、编码下采样层MS1和编码卷积块MS3；所述多光谱解码模块包括依次连接的解码卷积层MS1、解码上采样层MS1、解码卷积层MS2、解码上采样层MS2、解码卷积层MS3、解码上采样层MS3、解码卷积层MS4和多光谱输出层；
所述单源全色深浅特征融合分支包括全色编码模块和全色解码模块，所述全色编码模块包括依次连接的全色输入层、编码卷积块PAN1、编码下采样层PAN1、编码卷积块PAN2、编码下采样层PAN2、编码卷积块PAN3、编码下采样层PAN3和编码卷积块PAN4，所述全色解码模块包括依次连接的解码卷积层PAN1、解码上采样层PAN1、解码卷积层PAN2、解码上采样层PAN2、解码卷积层PAN3、解码上采样层PAN3、解码卷积层PAN4和全色输出层。
进一步地，所述编码卷积块MS1、解码卷积层MS1、编码卷积块MS2、解码卷积层MS2、编码卷积块MS3、解码卷积层MS3、编码卷积块PAN1、解码卷积层PAN1、编码卷积块PAN2、解码卷积层PAN2、编码卷积块PAN3、解码卷积层PAN3、编码卷积块PAN4和解码卷积层PAN4中均包含卷积层、组归一化层和激活层。
进一步地，所述光谱注意力模块1和光谱注意力模块2采用压缩-激励注意力模块。
进一步地，所述多尺度多光谱和全色交叉特征融合分支，通过将编码卷积块MS2与解码上采样层MS1相加，融合多光谱分支的浅层特征和深层特征；通过将编码卷积块PAN3与解码上采样层PAN1相加、将编码卷积块PAN2与解码上采样层PAN2相加、将编码卷积块PAN1与解码上采样层PAN3相加，融合全色分支的浅层特征和深层特征；
所述多光谱分支的浅层特征和全色分支的浅层特征后添加侧边连接卷积层来调整浅层特征通道数，使得与对应的深层特征的通道数相同。
进一步地，所述多尺度多光谱和全色交叉特征融合分支包括依次连接的相加操作层1、卷积层Fusion1、上采样层Fusion1、相加操作层2、卷积层Fusion2、上采样层Fusion2、相加操作层3、卷积层Fusion3、上采样层Fusion3、卷积层Fusion4和融合输出层；
所述相加操作层1包括解码卷积层MS1+解码卷积层PAN1，所述相加操作层2包括解码卷积层MS2+解码卷积层PAN2+上采样层Fusion1，所述相加操作层3包括解码卷积层MS3+解码卷积层PAN3+上采样层Fusion2。
进一步地，所述全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络整体的损失的计算表达式为：
Ltotal＝λ1LMS+λ2LPAN+λ3LFusion
式中，Ltotal为全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络整体的损失，LMS,LPAN和LFusion分别是单源多光谱深浅特征融合分支、单源全色深浅特征融合分支以及多尺度多光谱和全色交叉特征融合分支的损失，λ1,λ2和λ3分别是损失对应的权重值；
所述三个网络分支的自适应加权交叉熵损失的计算表达式为：
式中，C为研究区所标注的地表要素类个数，y为训练样本图，
为各分支最后一个卷积输出层在图像位置(u,v)上第j个通道属于类别C的概率，且
进一步地，步骤S5中，对步骤S4中三个网络分支的概率分类图进行决策级融合的过程包括：
将
和/>
分别记为单源多光谱深浅特征融合分支、单源全色深浅特征融合分支和多尺度多光谱和全色交叉特征融合分支的地表要素概率分类图，计算所述网络模型每个通道的加权概率值：
式中，λ1,λ2和λ3是所述步骤S3的网络模型训练后得到的最终参数，C为研究区所标注的地表要素类个数，通过堆叠每个通道的概率图，得到最终的地表要素概率分类图：
在所述最终的地表要素概率分类图的每个像素位置上，取概率得分最大值的通道所代表的类别作为最终的类别标签，得到最终的地表要素分类图：
式中，
为最终的地表要素分类图。
与现有技术相比，本发明具有以下优点：
(1)本发明不同于现有的仅使用多光谱和全色波段像素级或两者融合特征进行分类的方法，提出了一种新的融合架构。该架构同时考虑了多光谱和全色影像的浅层和深层特征及其多尺度交叉模态特征。设计了一种自适应损失加权融合策略来计算单源多光谱和全色深浅特征融合分支、多尺度多光谱和全色特征交叉模态融合分支的总损失，并构建了一种概率加权决策级融合策略来进一步提高分类性能。
(2)本发明提出了一种全局无需切片的分类方案，不受切片大小限制，顾及了影像地物的空间完整性和连通性，并能自由获取丰富的上下文信息。同时，避免了基于切片方法产生的冗余，从而减少计算量。
(3)本发明在训练过程中同时使用了样本区和非样本区数据，可以更全面地对影像复杂场景中的地物进行建模，同时也满足了深度学习网络对大量训练数据的需求。尤其是在极端小样本情况下，本发明的优势更加明显。
附图说明
图1为本发明提供的一种基于全局协同融合网络的多光谱和全色卫星遥感影像地表要素分类方法的流程示意图；
图2为本发明神经网络的结构示意图及参数；
图3为本发明实施例中多光谱影像的真彩色合成图；
图4为本发明实施例中全色影像的示意图；
图5为本发明实施例中地面真实参考图的示意图；
图6为本发明实施例中DMIL(Deep multiple instance learning)方法的地表要素分类结果的示意图；
图7为本发明实施例中MultiResoLCC(Multi-Resolution land covervlassification)方法的地表要素分类结果的示意图；
图8为本发明实施例中CRHFF(FEMAP*PAN)方法的地表要素分类结果的示意图；
图9为本发明实施例中GAFnet(Group attention fusion network)方法的地表要素分类结果的示意图；
图10为本发明实施例中本发明提出的方法的地表要素分类结果的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
实施例1
如图1所示，本实施例提供一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，具体包括以下步骤：
S1、获取研究区多光谱和全色卫星遥感影像，并进行地表要素样本标注，得到研究区的训练样本图。
其中多光谱卫星遥感影像的尺寸大小为H×W×B，全色卫星遥感影像的尺寸大小为nH×nW×1，训练样本图的尺寸大小为nH×nW×1，其中H、W和B分别为多光谱影像的高、宽和波段数，n为全色影像尺寸相对于多光谱影像尺寸的倍数。训练样本图中未标注区域用0表示，标注的类别从1开始编号，直到第C类。如图3为多光谱影像的真彩色合成图，图4为全色影像的示意图，图5为地面真实参考图的示意图。
S2、构建全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络，其包含两个单源和一个多源分支融合模块。
其中两个单源分支分别是单源多光谱深浅特征融合分支和单源全色深浅特征融合分支，一个多源分支是多尺度多光谱和全色交叉特征融合分支，并构建三个分支的自适应加权交叉熵损失。
该全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络示意图及参数见图2，以下描述未对多光谱编码和解码模块中，以及全色编码和解码模块中进行编码模块和解码模块的名称区分，但可根据附图2对其表达的具体对象进行唯一确定。
其中单源多光谱深浅特征融合分支包含编码和解码模块，编码模块依次包含输入层、卷积块MS1、光谱注意力模块1、卷积块MS2、光谱注意力模块2、下采样层MS1、卷积块MS3，解码模块依次包含卷积层MS1、上采样层MS1、卷积层MS2、上采样层MS2、卷积层MS3、上采样层MS3、卷积层MS4和输出层。
单源全色深浅特征融合分支包含编码和解码模块，编码模块依次包含输入层、卷积块PAN1、下采样层PAN1、卷积块PAN2、下采样层PAN2、卷积块PAN3、下采样层PAN3和卷积块PAN4，解码模块依次包含卷积层PAN1、上采样层PAN1、卷积层PAN2、上采样层PAN2、卷积层PAN3、上采样层PAN3、卷积层PAN4和输出层。
其中，卷积块MS1、卷积块MS2、卷积块MS3、卷积块PAN1、卷积块PAN2、卷积块PAN3和卷积块PAN4中均包含卷积层、组归一化层和激活层。光谱注意力模块1和光谱注意力模块2使用的是压缩-激励(Squeeze-and-excitation，SE)注意力模块。
在单源多光谱和全色深浅特征融合分支中，通过相加的方式融合多光谱分支的浅层特征和深层特征，即卷积块MS2+上采样层MS1；并通过相加的方式融合全色分支的浅层特征和深层特征，即卷积块PAN3+上采样层PAN1、卷积块PAN2+上采样层PAN2、卷积块PAN1+上采样层PAN3。为了使深浅特征能够相加，在多光谱和全色浅层特征后添加侧边连接卷积层来调整浅层特征通道数，使其与对应的深层特征的通道数相同。
多尺度多光谱和全色交叉特征融合分支依次包含相加操作层1(卷积层MS1+卷积层PAN1)、卷积层Fusion1、上采样层Fusion1、相加操作层2(卷积层MS2+卷积层PAN2+上采样层Fusion1)、卷积层Fusion2、上采样层Fusion2、相加操作层3(卷积层MS3+卷积层PAN3+上采样层Fusion2)、卷积层Fusion3、上采样层Fusion3、卷积层Fusion4和输出层。
图2中虚线框内是网络的具体参数，以[3×3]:64为例，表示卷积的内核大小为3×3，特征图数量为64。r为光谱注意力模块SE的压缩率，Interpolation(2)表示采用因子2的最近邻插值上采样方法，下采样采用步长为2的卷积层代替最大池化层。
网络架构搭建完成后，开始构建三个网络分支的自适应加权交叉熵损失：
Ltotal＝λ1LMS+λ2LPAN+λ3LFusion
其中LMS,LPAN和LFusion分别是单源多光谱深浅特征融合分支、单源全色深浅特征融合分支和多尺度多光谱和全色交叉特征融合分支的损失，λ1,λ2和λ3分别是其损失对应的权重值。损失LMS,LPAN和LFusion计算如下：
其中C为研究区所标注的地表要素类个数，y为训练样本图，
为各分支最后一个卷积输出层在图像位置(u,v)上第j个通道属于类别C的概率，且
S3、将研究区多光谱和全色卫星遥感影像以及对应的训练样本图，输入到步骤S2中构建的全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络中，经过网络训练得到训练后的网络模型。
网络训练采用Adam(Adaptive Momentum Estimation)优化器，学习率设置为0.0001，网络训练的轮次为1000，批次大小设为1。参数λ1,λ2和λ3设置为可训练参数，且初始值都归一化到[0,1]，在网络训练过程中进行自动化调整。
S4、将研究区多光谱和全色卫星遥感影像输入到步骤S3中训练好的网络模型中进行预测，得到三个网络分支的概率分类图。
S5、通过概率加权的方式对步骤S4中三个网络分支分类图进行决策级融合，得到最终的研究区地表要素分类图。
具体的通过概率加权的方式对所述步骤S4中三个网络分支分类图进行决策级融合，将
和/>
分别记为单源多光谱深浅特征融合分支、单源全色深浅特征融合分支和多尺度多光谱和全色交叉特征融合分支的地表要素概率分类图，则每个通道的加权概率值表示为：
其中λ1,λ2和λ3是所述步骤S3网络训练后得到的最终参数，通过堆叠每个通道的概率图，得到最终的地表要素概率分类图：
在最终的概率分类图上，在每个像素位置上取概率得分最大值的通道所代表的类别作为最终的类别标签，得到最终的地表要素分类图：
具体实施时，选取某地区获取的2015年1月国产高分二号遥感影像。图3～图5给出了MS数据真彩色合成图、PAN影像和地面真实参考图。该数据集包含建筑、道路、水体、树木和草地5中地表要素类别。表1提供了每种地表要素参考样本的详细信息。
表1总样本以及实验训练和测试样本数量介绍
为了对比不同方法的性能，选取总精度(Overall Accuracy，简称OA)，平均精度(average accuracy，简称AA)，Kappa系数(Kappa Coefficient，简称Kappa)作为评价指标。
如图6～图10所示，给出了不同方法10次评价精度最高的结果，每种方法都使用相同的训练样本。为了对比不同方法的鲁棒性，给出了10次结果的标准差，表2中“±”后的数值代表标准差，可以看出本发明所提出的方法标准差与最低CRHFF(FEMAP*PAN)方法的标准差最为接近，鲁棒性较好。
表2不同方法的精度评价结果
由表2可以看出，对比两种无需切片的方法，本发明所提出的方法的平均OA、AA和Kappa值分别为98.97％、99.27％和98.45％，比GAFnet分别高出4.64％、2.68％和6.9％。尤其是在建筑物和道路类别上，相对于GAFnet方法，本发明方法取得了显著的提升，类别精度分别提高了6.61％和6.31％。尽管在基于切片的分类方法中，CRHFF(FEMAP*PAN)方法优于其他方法，但本发明所提出的方法的性能高于CRHFF(FEMAP*PAN)，特别是在建筑和道路这两种容易混淆的类别上，分类精度分别提高了0.82％和2.33％。从图6～图10各种方法的分类结果可视化图中也可以看出，本文发明产生了最好的分类结果，尤其是在建筑和道路类别上获得了更加均质的内部和更完整的建筑物边界。
综上，经过一系列定性和定量的实验分析的结果表明，本发明所提出的基于全局协同融合网络的多光谱和全色卫星遥感影像地表要素分类方法与其它方法相比，可以实现更高精度的地表要素分类，在准确刻画地表要素的几何边界以及内部光谱的均质性上具有明显的优势，且鲁棒性高。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，包括以下步骤：
S1：获取研究区的多光谱卫星遥感影像和全色卫星遥感影像，并进行地表要素样本标注，得到研究区的训练样本图；
S2：构建全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络，该网络包括两个单源分支和一个多源分支；
S3：将步骤S1获取的研究区的多光谱卫星遥感影像和全色卫星遥感影像以及对应的训练样本图，输入步骤S2构建的全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络中，进行网络训练，得到训练后的网络模型；
S4；获取待分类的研究区多光谱卫星遥感影像和全色卫星遥感影像，并输入到步骤S3中训练好的网络模型中进行预测，得到各个网络分支的概率分类图；
S5：通过概率加权的方式对步骤S4中三个网络分支的概率分类图进行决策级融合，得到最终的研究区地表要素分类图。
2.根据权利要求1所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，步骤S1中，所述多光谱卫星遥感影像的尺寸大小为H×W×B，所述全色卫星遥感影像的尺寸大小为nH×nW×1，所述训练样本图的尺寸大小为nH×nW×1，其中，H、W和B分别为多光谱影像的高、宽和波段数，n为全色影像尺寸相对于多光谱影像尺寸的倍数。
3.根据权利要求1所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，所述两个单源分支包括单源多光谱深浅特征融合分支和单源全色深浅特征融合分支，所述多源分支为多尺度多光谱和全色交叉特征融合分支，所述多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络还包括三个网络分支的自适应加权交叉熵损失。
4.根据权利要求3所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，所述单源多光谱深浅特征融合分支包括多光谱编码模块和多光谱解码模块，所述多光谱编码模块包括依次连接的多光谱输入层、编码卷积块MS1、光谱注意力模块1、编码卷积块MS2、光谱注意力模块2、编码下采样层MS1和编码卷积块MS3；所述多光谱解码模块包括依次连接的解码卷积层MS1、解码上采样层MS1、解码卷积层MS2、解码上采样层MS2、解码卷积层MS3、解码上采样层MS3、解码卷积层MS4和多光谱输出层；
所述单源全色深浅特征融合分支包括全色编码模块和全色解码模块，所述全色编码模块包括依次连接的全色输入层、编码卷积块PAN1、编码下采样层PAN1、编码卷积块PAN2、编码下采样层PAN2、编码卷积块PAN3、编码下采样层PAN3和编码卷积块PAN4，所述全色解码模块包括依次连接的解码卷积层PAN1、解码上采样层PAN1、解码卷积层PAN2、解码上采样层PAN2、解码卷积层PAN3、解码上采样层PAN3、解码卷积层PAN4和全色输出层。
5.根据权利要求4所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，所述编码卷积块MS1、解码卷积层MS1、编码卷积块MS2、解码卷积层MS2、编码卷积块MS3、解码卷积层MS3、编码卷积块PAN1、解码卷积层PAN1、编码卷积块PAN2、解码卷积层PAN2、编码卷积块PAN3、解码卷积层PAN3、编码卷积块PAN4和解码卷积层PAN4中均包含卷积层、组归一化层和激活层。
6.根据权利要求4所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，所述光谱注意力模块1和光谱注意力模块2采用压缩-激励注意力模块。
7.根据权利要求4所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，所述多尺度多光谱和全色交叉特征融合分支，通过将编码卷积块MS2与解码上采样层MS1相加，融合多光谱分支的浅层特征和深层特征；通过将编码卷积块PAN3与解码上采样层PAN1相加、将编码卷积块PAN2与解码上采样层PAN2相加、将编码卷积块PAN1与解码上采样层PAN3相加，融合全色分支的浅层特征和深层特征；
所述多光谱分支的浅层特征和全色分支的浅层特征后添加侧边连接卷积层来调整浅层特征通道数，使得与对应的深层特征的通道数相同。
8.根据权利要求4所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，所述多尺度多光谱和全色交叉特征融合分支包括依次连接的相加操作层1、卷积层Fusion1、上采样层Fusion1、相加操作层2、卷积层Fusion2、上采样层Fusion2、相加操作层3、卷积层Fusion3、上采样层Fusion3、卷积层Fusion4和融合输出层；
所述相加操作层1包括解码卷积层MS1+解码卷积层PAN1，所述相加操作层2包括解码卷积层MS2+解码卷积层PAN2+上采样层Fusion1，所述相加操作层3包括解码卷积层MS3+解码卷积层PAN3+上采样层Fusion2。
9.根据权利要求3所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，所述全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络整体的损失的计算表达式为：
Ltotal＝λ1LMS+λ2LPAN+λ3LFusion
式中，Ltotal为全局协同的多光谱和全色卫星遥感影像地表要素分类深度卷积神经网络整体的损失，LMS,LPAN和LFusion分别是单源多光谱深浅特征融合分支、单源全色深浅特征融合分支以及多尺度多光谱和全色交叉特征融合分支的损失，λ1,λ2和λ3分别是损失对应的权重值；
所述三个网络分支的自适应加权交叉熵损失的计算表达式为：
式中，C为研究区所标注的地表要素类个数，y为训练样本图，
为各分支最后一个卷积输出层在图像位置(u,v)上第j个通道属于类别C的概率，且
10.根据权利要求1所述的一种基于全局协同融合的多光谱和全色卫星影像地表分类方法，其特征在于，步骤S5中，对步骤S4中三个网络分支的概率分类图进行决策级融合的过程包括：
将
和/>
分别记为单源多光谱深浅特征融合分支、单源全色深浅特征融合分支和多尺度多光谱和全色交叉特征融合分支的地表要素概率分类图，计算所述网络模型每个通道的加权概率值：
式中，λ1,λ2和λ3是所述步骤S3的网络模型训练后得到的最终参数，C为研究区所标注的地表要素类个数，通过堆叠每个通道的概率图，得到最终的地表要素概率分类图：
在所述最终的地表要素概率分类图的每个像素位置上，取概率得分最大值的通道所代表的类别作为最终的类别标签，得到最终的地表要素分类图：
式中，
为最终的地表要素分类图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310268047.5A CN116343058A (zh) | 2023-03-16 | 2023-03-16 | 基于全局协同融合的多光谱和全色卫星影像地表分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310268047.5A CN116343058A (zh) | 2023-03-16 | 2023-03-16 | 基于全局协同融合的多光谱和全色卫星影像地表分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116343058A true CN116343058A (zh) | 2023-06-27 |
Family
ID=86887201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310268047.5A Pending CN116343058A (zh) | 2023-03-16 | 2023-03-16 | 基于全局协同融合的多光谱和全色卫星影像地表分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116343058A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523409A (zh) * | 2023-11-10 | 2024-02-06 | 中国科学院空天信息创新研究院 | 基于模型结构解耦的分布式协同增量更新方法及装置 |
| CN117523409B (zh) * | 2023-11-10 | 2024-06-07 | 中国科学院空天信息创新研究院 | 基于模型结构解耦的分布式协同增量更新方法及装置 |
-
2023
- 2023-03-16 CN CN202310268047.5A patent/CN116343058A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523409A (zh) * | 2023-11-10 | 2024-02-06 | 中国科学院空天信息创新研究院 | 基于模型结构解耦的分布式协同增量更新方法及装置 |
| CN117523409B (zh) * | 2023-11-10 | 2024-06-07 | 中国科学院空天信息创新研究院 | 基于模型结构解耦的分布式协同增量更新方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111625608B (zh) | 一种基于gan模型根据遥感影像生成电子地图的方法、系统 | |
| CN109871798A (zh) | 一种基于卷积神经网络的遥感影像建筑物提取方法 | |
| CN112560624B (zh) | 基于模型深度集成的高分遥感影像语义分割方法 | |
| Ma et al. | A novel adaptive hybrid fusion network for multiresolution remote sensing images classification | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN113569724B (zh) | 基于注意力机制和扩张卷积的道路提取方法及系统 | |
| CN111008664B (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| CN115512162A (zh) | 基于注意力孪生网络与多模态融合特征的地物分类方法 | |
| Parajuli et al. | Attentional dense convolutional neural network for water body extraction from sentinel-2 images | |
| Zhao et al. | GCFnet: Global collaborative fusion network for multispectral and panchromatic image classification | |
| CN114708455A (zh) | 高光谱影像和LiDAR数据协同分类方法 | |
| CN113449603A (zh) | 一种高分辨率遥感影像地表要素识别方法及存储介质 | |
| CN116091940B (zh) | 一种基于高分辨率卫星遥感影像的作物分类和识别方法 | |
| CN112446256A (zh) | 一种基于深度isa数据融合的植被类型识别方法 | |
| CN116091845B (zh) | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 | |
| CN115861818A (zh) | 基于注意力机制联合卷积神经网络的细小水体提取方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN114037922B (zh) | 一种基于层级上下文网络的航拍图像分割方法 | |
| CN116343058A (zh) | 基于全局协同融合的多光谱和全色卫星影像地表分类方法 | |
| CN115661677A (zh) | 一种基于暗通道特征引导的轻量级卫星影像云检测方法 | |
| Jing et al. | Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks | |
| CN112966781A (zh) | 基于三元组损失和卷积神经网络的高光谱图像分类方法 | |
| Maheswari et al. | Fused LISS IV Image Classification using Deep Convolution Neural Networks | |
| CN116051833A (zh) | 一种改进Upernet的红树林与互花米草语义分割模型和方法 | |
| Lawrence | Early detection of Heacleum Mantegazzianum (Giant Hogweed) based on leaf spectral characteristics from UAV images SVM and OBIA Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |