CN114550000A

CN114550000A - 一种基于多分辨率特征融合的遥感图像分类方法和装置

Info

Publication number: CN114550000A
Application number: CN202210006083.XA
Authority: CN
Inventors: 李峥; 赵江华; 孟珍
Original assignee: Computer Network Information Center of CAS
Current assignee: Computer Network Information Center of CAS
Priority date: 2022-01-05
Filing date: 2022-01-05
Publication date: 2022-05-27

Abstract

本发明涉及一种基于多分辨率特征融合的遥感图像分类方法和装置。该方法包括：读取多源遥感图像，构建样本数据集；根据样本数据集建立训练数据集和验证数据集；建立基于多分辨率特征融合的遥感图像地物分类模型，并设置模型参数；输入训练数据集和验证数据集，进行随机数据增强，对遥感图像地物分类模型进行训练，得到训练完成的遥感图像地物分类模型；向训练完成的遥感图像地物分类模型输入预测数据集，得到地物要素分类结果。本发明针对高分辨率遥感图像进行优化，通过使用多分辨率特征融合，并使用前置激活的卷积模块与注意力模块串联作为模型的基本编码单元，能够有效地提高地物要素的识别能力和分类准确度。

Description

一种基于多分辨率特征融合的遥感图像分类方法和装置

技术领域

本发明涉及地理信息、生态环境科学领域和遥感技术领域，具体来说，涉及一种基于多分辨率特征融合的遥感图像分类方法和装置。

背景技术

遥感图像的地物分类，主要是利用航空器或卫星上的雷达或光学传感器对地观测得到的图像，通过计算机算法对图像中每一个像素的所属类别进行识别，进而实现土地覆被识别、森林变化监测、道路提取、建筑物检测等，在资源调查、土地管理、城市规划、减灾防灾、环境污染等领域有广泛的应用，对于人类的可持续发展具有极为重要的意义。

目前的遥感图像地物分类方法主要基于机器学习方法，通过使用已标注像素类别的遥感图像训练深度神经网络模型，并利用训练完成的模型对未标注图像中的每个像素进行分类。其中，较常用的深度神经网络模型包括FCN、SegNet、U-Net、Deeplab等。虽然这些方法在PASCAL、Cityscapes、ADE20K等基准测试数据集上的性能良好，但是在高分辨率遥感图像数据集上对多种地物要素的分类准确度并不高，从而在现实应用中并未得到广泛应用。

发明内容

本发明的目的是提供一种基于多分辨率特征融合的遥感图像分类方法和装置。本发明使用多源遥感图像建立深度学习模型，使用所建立的模型对地物类型进行识别，显著提高地物要素分类的准确率。

为实现上述目的，本发明所采用的技术方案为：

一种基于多分辨率特征融合的遥感图像分类方法，其步骤包括：

1、读取多源遥感图像，构建样本数据集；

2、根据样本数据集建立训练数据集和验证数据集；

3、建立基于多分辨率特征融合的遥感图像地物分类模型，并设置模型参数；

4、输入训练数据集和验证数据集，进行随机数据增强，对遥感图像地物分类模型进行训练，得到训练完成的遥感图像地物分类模型；

5、向训练完成的遥感图像地物分类模型输入预测数据集，得到地物要素分类结果。

进一步地，步骤1所述多源遥感图像包括雷达遥感数据和/或光学遥感数据。优选的，所述多源遥感图像包括至少1000张遥感图像。

进一步地，步骤1所述雷达遥感数据包括合成孔径雷达(SAR)等获取的地面图像。所述图像的存储文件格式包括GeoTIFF、JPG等。每张图像的宽度为W像素，高度为H像素，分辨率为R。每张图像包括一个或多个通道，通道数为C_R。

进一步地，步骤1所述光学遥感数据是CCD等光学传感器获取的地面图像，包括全色、可见光、近红外、短波红外、热红外等一个或多个不同波长的光谱波段。其中，所述可见光又包括红、绿、蓝等一个或多个不同波长的可见光谱波段。所述图像的存储文件格式为GeoTIFF、JPG、HDF、NetCDF等。每张图像的宽度为W像素，高度为H像素，分辨率为R。每张图像包括一个或多个通道，通道数为C_O。每个通道对应一个光谱波段。优选的，所述光学遥感数据至少包括可见光光谱波段。

进一步地，步骤1所述的样本数据集是M张遥感图像的集合，图像文件的存储格式为GeoTIFF、PNG、JPG等。每张图像X包括多个通道，由对应于同一地理区域范围的雷达遥感图像X₁和光学遥感图像X₂的通道堆叠而成，通道数为C_R+C_O。将每张输入图像X进行标注得到对应的标注图像X’，其存储文件格式为GeoTIFF、PNG、JPG等，每张标注图像包括一个通道，其中的每个像素值代表该像素所对应地理区域范围的类别标签。将输入图像X及其对应的标注图像X’作为样本数据集。

进一步地，步骤2所述样本数据集中随机抽取n_t组图像设置为训练数据集，剩下的M-n_t组图像设置为验证数据集，其中1<n_t<M。训练数据集和验证数据集中的图像不重复。优选的，训练数据集至少包括M*80％组图像，验证数据集至少包括M*10％组图像。

进一步地，步骤3所述遥感图像地物分类模型由N_S个编码段和1个解码段串联组成(N_S≥1)。编码段的数量N_S根据输入图像的大小和通道数确定。如果输入图像的高度和宽度较大、通道数较少，编码段的数量可以较多，如果输入图像的高度和宽度较小、通道数较多，编码段的数量可以较少。最优的编码段数量，可以通过试验确定。优选的，设输入图像的宽度为W，高度为H，则编码段的数量N_S＝Max(log₂(Min(W,H)/32)+1,1)。

进一步地，步骤3所述编码段由N_B个编码块串联组成(N_B≥1)，每个编码块由多个分支并联组成，第i个编码段第j个编码块的第k分支表示为S_i,j,k(i＝1,2,…N_S，j＝1,2,…N_B，k＝1,2…i)。每个分支由N_U个编码单元串联组成(N_U≥2)。在每个编码块的末尾串联1个多分辨特征融合单元。每个分支的特征图分辨率和通道数不同，设第1分支的的特征图分辨率为W*H，通道数为C，则第k分支的特征图分辨率为W/2^k-1*H/2^k-1，通道数为C*2^k-1。分支S_i,1,i-1的输入通过下采样后输出至分支S_i,1,i，作为分支S_i,1,i的输入。

进一步地，步骤3所述编码单元由卷积模块A1、卷积模块B、卷积模块A2、注意力模块串联组成。设编码单元的输出特征图通道数为C’，则上述4个模块的输出特征图通道数分别为C’/4、C’/4、C’、C’。这种设置可以增强模型的非线性映射能力，提高模型的准确率，同时显著减少所需要的模型参数和计算量，提高模型的计算速度。当编码单元包括下采样模块时，卷积模块B中卷积层的步长为2；编码单元的输入特征图通过下采样模块后与注意力模块的输出特征图相加，作为编码单元的输出。当编码单元不包括下采样模块时，卷积模块B中卷积层的步长为1；编码单元的输入特征图与注意力模块的输出特征图相加，作为编码单元的输出。

进一步地，步骤3所述卷积模块包括卷积层、规范化层和激活层。常规卷积模块的连接顺序是卷积层、规范化层、激活层；前置激活卷积模块的连接顺序是规范化层、激活层、卷积层。优选的，所述卷积模块A1、B、A2均是前置激活卷积模块，由规范化层、激活层、卷积层依次串联组成。这种设置可以提高模型的准确率。

进一步地，步骤3所述规范化层采用的算法包括批规范化(Batchnormalization)、层规范化(Layer normalization)、实例规范化(Instancenormalization)、组规范化(Group normalization)、可转换规范化(Switchablenormalization)等。优选的，所述规范化层采用的算法是可转换规范化。

进一步地，步骤3所述激活层采用的激活函数是Tanh、Sigmoid、ReLU、Leaky ReLU、ELU、TLU、Softplus、Swish、Mish等激活函数中的一种。优选的，卷积模块中的激活层采用的激活函数是Mish。

进一步地，步骤3所述卷积层的卷积核大小是1*1、3*3、5*5、7*7等中的一种。卷积层首先计算权值的标准化值，再使用标准化的权值对输入数据进行卷积计算。所述编码单元的卷积模块A1、卷积模块B、卷积模块A2中卷积层的卷积核大小分别为1*1、3*3、1*1。

进一步地，步骤3所述注意力模块由全局池化层、全连接层A、激活层A、全连接层B、激活层B串联组成，输出的特征图通道数分别为C’、C’/r、C’/r、C’、C’，其中r为通道缩减因子。其中，激活层B采用的激活函数是Sigmoid函数。全局池化层的输入与激活层B的输出相乘后作为注意力模块的输出。优选的，所述注意力模块省略全连接层A和激活层A，仅保留全局池化层、全连接层B和激活层B。这种设置可以提高模型的准确率，减少所需要的模型参数和计算量，提高模型的计算速度。

进一步地，步骤3所述多分辨特征融合单元由上采样模块和下采样模块组成。编码段i的多分辨特征融合单元的输入和输出分别有i个分支，对于每个输入分支k(k＝1,2,…i)和每个输出分支p(p＝1,2,…i)，如果k＝p，则将输入分支k的特征图输出至分支p；如果k>p，则将输入分支k的特征图通过1次上采样后输出至分支p；如果k<p，则将输入分支k的特征图通过连续p-k次下采样后输出至分支p。最后将分支p的全部输入特征图相加后输出。

进一步地，步骤3所述上采样模块由上采样层和卷积层串联组成。上采样层采用的算法是邻近插值、双线性插值、立方插值、转置卷积、反卷积等算法中的一种。卷积层的卷积核大小为1*1、步长为1。设上采样模块的输入特征图分辨率为w*h、放大因子为r’，则输出特征图分辨率为(w*r’)*(h*r’)。优选的，所述上采样层采用的算法是双线性插值。在采用插值算法的上采样层后串联一个卷积核大小为1*1的卷积层，可以消除转置卷积、反卷积等常规上采样算法的缺陷，显著提高模型的准确率。

进一步地，步骤3所述下采样模块包括池化层、卷积层。下采样模块采用的算法是最大池化、平均池化、卷积等算法中的一种。如果采用卷积算法，则下采样模块只包括1个卷积层，卷积核大小为3*3、步长为2；如果采用最大池化或平均池化算法，则下采样模块由1个池化层和1个卷积层串联组成，其中池化层的池化核大小为2*2、步长为2，卷积层的卷积核大小为1*1、步长为1。优选的，所述编码单元中的下采样模块采用平均池化算法，其它下采样模块采用最大池化算法。

进一步地，步骤3所述解码段由1个特征聚合模块和1个卷积模块C串联组成。特征聚合模块由N_S-1个上采样模块并联组成。卷积模块C由一个卷积层组成，卷积核大小为1、通道数与所预测的类别数相同。分支S_NS,NB,k(k＝2…N_S)的输出特征图通过上采样模块放大至分辨率为W*H后，与分支S_NS,NB,1的输出特征图进行拼接，合并为一个通道数为C*(2^NS-1)的特征图，输出至卷积模块C。卷积模块C对特征图进行计算后输出预测图像。

进一步地，步骤3所述遥感图像地物分类模型的输入数据是步骤1所述样本数据集中的输入图像；输出结果是与输入图像大小相同的图像，其通道数与所预测的类别数相同，其中的每个像素值代表该像素所对应地理区域范围属于各个类别的置信度。所述遥感图像地物分类模型对于第i张输入图像x_i的输出结果表示为：

其中，函数f代表本发明的遥感图像地物分类模型。

进一步地，步骤3所述遥感图像地物分类模型的模型参数包括：训练参数、优化器参数、输入和输出参数、模型结构参数。

进一步地，步骤3所述训练参数包括以下至少之一：训练批次样本数、最大迭代次数等。

进一步地，步骤3所述优化器参数与所采用的优化算法有关，不同的优化算法其参数也有所不同，有的优化算法不含可设置的参数；优化器参数通常包括以下至少之一：初始学习率、目标学习率、学习率热身次数、学习率调整参数、动量、权值衰减系数等。

进一步地，步骤3所述输入和输出参数包括：输入图像的通道数、图像高度、图像宽度、输出类别数。

进一步地，步骤3所述模型结构参数包括：卷积参数、规范化参数、下采样参数、上采样参数等。其中，卷积参数包括：特征图通道数、卷积核大小、滑动窗步长、图像镶边宽度等；下采样参数与所采用的下采样算法有关，不同的下采样算法其参数也有所不同，有的下采样算法不含可设置的参数，当下采样算法采用池化算法时其参数包括：池化核大小、滑动窗步长等，当下采样算法采用卷积算法时其参数包括：卷积核大小、滑动窗步长等；规范化参数与所采用的规范化算法有关，不同的规范化算法其参数也有所不同，有的规范化算法不含可设置的参数，规范化参数通常包括以下至少之一：批规范化的动量大小等；上采样参数包括放大因子等。

进一步地，步骤4包括以下步骤：

(1)从训练数据集中不重复地随机读取m组图像(1≤m≤n_t)，进行随机数据增强后，使用模型计算得到输出结果，并使用标注图像计算目标函数值；

(2)根据目标函数值，使用优化器更新模型参数；

(3)重复上述步骤(1)到步骤(2)，每次从训练集中不重复地随机读取m组图像，进行随机数据增强，计算输出结果与目标函数值，优化模型参数，直到训练集中的全部图像完成一次训练。

(4)读取验证集，使用模型计算得到预测图像结果，并使用标注图像计算评估指标；

(5)重复上述步骤(1)到步骤(4)，读取训练数据集，计算预测输出结果与目标函数值；优化模型参数；读取验证数据集，计算预测结果与评估指标，直到满足终止条件。所述终止条件为以下至少之一：模型评估指标达到期望、迭代次数大于最大迭代次数。

进一步地，步骤4所述目标函数定义为：

其中：m为一个训练批次的样本数，L为训练损失函数，R为正则化项，y_i为第i张输入图像对应的标注图像，

为模型对于第i张输入图像的输出结果。正则化项包括L2正则化、L1正则化等，其中：L2正则化项定义为：

L1正则化项定义为：R＝λ‖w‖₁，式中λ是正则化系数；w是权值矩阵，在模型训练之前使用He算法设置权值矩阵w的初始值，并在模型训练的过程中使用优化器进行更新权值矩阵w。所述目标函数可以不含正则化项。优选的，所述训练损失函数是交叉熵损失函数，无正则化项。

进一步地，步骤4所述优化器采用的算法包括以下至少之一：SGD、Adam、RAdam等；其中的学习率参数可以进行动态调整，调整策略包括训练初始阶段的学习率热身和训练过程中的学习率调整；学习率调整策略使用的算法包括以下至少之一：线性、阶跃式、指数式、余弦式、循环式等。优选的，所述优化算法是权重衰减解耦的RAdam算法；训练过程中的学习率调整策略为余弦式学习率衰减。

进一步地，步骤4所述模型评估指标包括以下至少之一：敏感度(Recall)、特异度(Specificity)、精确度(Precision)、准确度(Accuracy)、F1分值、Dice系数、交并比(IoU)、Jaccard系数、预测错误率等。对于类别c，图像的像素分为正样本和负样本，属于类别c的像素为正样本，不属于类别c的像素为负样本；标注为正样本且预测为正样本的像素数为TP，标注为正样本且预测为负样本的像素数为FN，标注为负样本且预测为正样本的像素数为FP，标注为负样本且预测为负样本的像素数为TN。所述敏感度定义为：TPR＝TP/(TP+FN)；特异度定义为：TNR＝TN/(TN+FP)；精确度定义为：PPV＝TP/(TP+FP)；准确度定义为：ACC＝(TP+TN)/(TP+TN+FP+FN)；F1分值和Dice系数相同，其定义为：F1＝Dice＝2TP/(2TP+FP+FN)；交并比和Jaccard系数相同，其定义为：IoU＝Jaccard＝TP/(TP+FP+FN)；预测错误率定义为：Err＝C_err/C_total，其中C_err为预测错误的像素总数，C_total为像素总数。优选的，所述模型评估指标为全部类别的平均交并比，所述终止条件为验证数据集的平均交并比达到最大。

进一步地，步骤4所述随机数据增强包括：图像旋转、剪切、翻转、自动对比度、直方图均衡化、色彩扰动、亮度扰动、图像锐化、模糊化等图像处理方法。

进一步地，步骤5所述预测数据集包括用于预测的雷达遥感数据和光学遥感数据，其中的每张图像与步骤2所述样本数据集中输入图像的宽度、高度、分辨率、存储文件格式、通道数相同。

进一步地，步骤5所述地物要素分类结果是与预测数据集中每张图像一一对应的图像，其宽度、高度、分辨率与输入图像相同，每张图像包括一个通道，图像中的每个像素值代表该像素所对应地理区域范围的类别标签的预测结果。

一种基于多分辨率特征融合的遥感图像分类装置，其包括：

样本数据集获取单元，用于读取多源遥感图像，使用雷达遥感数据、光学遥感数据构建样本数据集；

训练和验证数据建立单元，用于根据样本数据集建立训练数据集和验证数据集；

模型设置单元，用于建立基于多分辨率特征融合的遥感图像地物分类模型，设置模型参数；

模型训练单元，用于输入训练数据集和验证数据集，对遥感图像地物分类模型进行训练，得到训练完成的遥感图像地物分类模型；

地物要素分类单元，用于向训练完成的遥感图像地物分类模型输入预测数据集，得到地物要素的分类结果。

一种电子装置，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上面所述方法中各步骤的指令。

与现有技术相比，本发明的积极效果为：

本发明提供的方法使用遥感图像对地物要素进行智能分类，与FCN、SegNet、U-Net、Deeplab等模型相比，本发明的模型针对高分辨率遥感图像进行优化。通过使用多分辨率特征融合，并使用前置激活的卷积模块与注意力模块串联作为模型的基本编码单元，能够有效地提高模型的识别能力和分类准确度。卷积层使用权值标准化算法、规范化层使用可转换规范化算法、激活层使用Mish激活函数，上采样使用双线性插值并串联1*1卷积模块，效果好，准确率高。同时，利用随机数据增强对模型进行训练，能够显著提高模型的泛化性和对噪声的鲁棒性与稳健性。

附图说明

图1为本发明提供的模型结构示意图。

图2为本发明提供的模型中1个含有3个分支的编码块结构示意图。

图3为本发明提供的模型中编码单元的结构示意图。

图4为本发明提供的模型中注意力模块的结构示意图。

图5为本发明提供的模型中解码段的结构示意图。

具体实施方式

下面通过具体实施例并配合附图，对本发明作进一步的说明。

本实施例的一种基于多分辨率特征融合的遥感图像分类方法的模型结构如图1至图5所示。下面以利用哨兵1号卫星SAR雷达数据和哨兵2号卫星多光谱数据进行土地类型识别为例进行详细说明。

第一步，读取多源遥感图像，建立样本数据集。本实施例中的多源遥感图像包括2016～2017年哨兵1号卫星SAR雷达图像数据、哨兵2号卫星多光谱图像数据。其中，哨兵1号卫星SAR雷达图像包括VV和VH共2个通道，哨兵2号卫星多光谱图像包括可见光、近红外、短波红外等13个通道。输入图像包括15个通道，第1～2通道是哨兵1号卫星SAR雷达图像，第3～15通道是哨兵2号卫星多光谱图像。样本数据集包括6114组图像，每组图像包括2张图像，分别是输入图像和标注图像。标注图像是单通道的土地分类数据图像。每张图像宽度为256像素、高度为256像素，分辨率为10m，图像文件格式为GeoTIFF。

第二步，从第一步得到的样本数据集中随机抽取10％设置为验证数据集x’，约611组图像数据；剩下的5503组图像设置为训练数据集x。

第三步，建立模型，其结构如图1至图5所示。其中，模型由4个编码段和1个解码段串联组成。各编码段的编码块数量依次为1、2、8、3，每个编码块的分支数量依次为1、2、3、4，每个分支有4个编码单元。各个分支的特征图分辨率分别为：256*256、128*128、64*64、32*32，通道数分别为：64、128、256、512。上采样模块采用双线性插值算法，编码单元中的下采样模块采用平均池化算法，其它下采样模块采用最大池化算法，卷积模块为前置激活卷积模块，卷积层采用权值标准化算法，规范化层采用可转换规范化算法，激活层采用Mish激活函数。

模型训练参数设置如下：训练批次样本数为8、最大迭代次数为100。

模型优化器使用权重衰减解耦的RAdam算法，其参数设置如下：学习率为0.01、权重衰减系数为0.0001。

输入和输出参数设置如下：输入图像通道数为15、图像高度为256、图像宽度为256、输出类别数为10。

模型结构参数设置如下：编码单元的卷积模块A1、卷积模块B、卷积模块A2中卷积层的卷积核大小分别为1*1、3*3、1*1；池化核大小为2、滑动窗步长为2。

第四步，使用训练数据集x和验证数据集x’，对模型进行训练，得到训练完成的模型。随机数据增强方法包括：图像旋转、水平翻转、垂直翻转。训练损失函数是交叉熵损失函数，无正则化项。在本发明的其它实施例中，还可以使用其他形式的损失函数和正则化项。训练过程的具体步骤如下：

(1)从训练数据集x中不重复地随机读取8组图像，进行随机数据增强，计算预测结果与目标函数值；

(2)使用优化器更新模型参数；

(3)重复上述步骤(1)到步骤(2)，直到完成全部训练数据集的一次训练；

(4)读取验证数据集x’，计算预测结果与平均交并比；

(5)重复上述步骤(1)到步骤(4)，读取训练数据集，进行随机数据增强，计算预测结果与目标函数值；优化模型参数；读取验证数据集，计算预测结果与平均交并比，直到平均交并比达到最大值或者迭代次数大于1000次。

第五步，使用训练完成的模型，输入预测数据集，即一组输入图像，其中的每张图像包括15个通道，第1～2通道是哨兵1号卫星SAR雷达图像，第3～15通道是哨兵2号卫星多光谱图像。每张图像宽度为256像素、高度为256像素，分辨率为10m，图像文件格式为GeoTIFF。模型读取输入图像，输出土地分类结果。

根据上述实施例，对模型进行训练，可获得如下进步效果：与FCN、SegNet、U-Net、Deeplab等模型相比，使用相同的训练参数和优化器设置，在训练数据集上，本发明的模型性能有显著的提高，对土地类型的预测像素准确度为93.1％、平均交并比为79.2％、频度加权交并比为87.7％；在验证数据集上，模型的预测平均准确度为85.4％、平均交并比为63.8％、频度加权交并比为76.4％。

在本发明方案的具体步骤中，可以有其它替代方式或变形方式，例如：

1、步骤一除了读取多源遥感图像外，还可以读取数字高程DEM数据。

2、步骤二除了建立训练数据集和验证数据集，还可以建立测试数据集。从所述样本数据集中随机抽取n_t组图像设置为训练数据集，n_v组图像设置为验证数据集，剩下的M-n_t-n_v组图像设置为测试数据集，其中1<n_t+n_v<M。所述训练数据集、验证数据集和测试数据集中的图像不重复。

3、步骤三所述模型中的下采样模块还可以采用标准卷积、空洞卷积、扩张卷积等卷积算法。

4、步骤三所述模型结构参数还可以包括空洞卷积的空洞率、扩张卷积的扩张率等参数。

5、步骤四所述训练损失函数还可以包括所述模型评估指标，即：Dice系数、Jaccard系数等。

6、步骤四还可以使用图像自动对比度、直方图均衡化、色彩扰动、亮度扰动、锐化、模糊化等其它图像处理方法进行随机数据增强。

7、步骤四还可以使用敏感度、特异度、准确度、F1分值、Dice系数、Jaccard系数、错误率、频度加权交并比等其它评估指标。

8、步骤五还可以向训练完成的模型输入测试集，得到模型的预测结果和测试准确度。

本发明的另一实施例提供一种基于多分辨率特征融合的遥感图像分类装置，其包括：

本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上面所述方法中各步骤的指令。

本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

显然，以上所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员所获得的所有其他实施例，都属于本发明保护的范围。

Claims

1.一种基于多分辨率特征融合的遥感图像分类方法，其特征在于，包括以下步骤：

读取多源遥感图像，构建样本数据集；

根据样本数据集建立训练数据集和验证数据集；

建立基于多分辨率特征融合的遥感图像地物分类模型，并设置模型参数；

输入训练数据集和验证数据集，进行随机数据增强，对遥感图像地物分类模型进行训练，得到训练完成的遥感图像地物分类模型；

向训练完成的遥感图像地物分类模型输入预测数据集，得到地物要素分类结果。

2.根据权利要求1所述的方法，其特征在于，所述多源遥感图像包括雷达遥感数据和/或光学遥感数据；所述样本数据集是M张遥感图像的集合，每张图像X包括多个通道，由对应于同一地理区域范围的雷达遥感图像X₁和光学遥感图像X₂的通道堆叠而成，通道数为C_R+C_O，其中C_R是雷达遥感图像的通道数，C_O是光学遥感图像的通道数；将每张输入图像X进行标注得到对应的标注图像X’，每张标注图像包括一个通道，其中的每个像素值代表像素所对应地理区域范围的类别标签，将输入图像X及其对应的标注图像X’作为样本数据集。

3.根据权利要求1所述的方法，其特征在于，所述遥感图像地物分类模型由N_S个编码段和1个解码段串联组成，N_S≥1；N_S根据输入图像的大小和通道数确定；所述编码段由N_B个编码块串联组成，N_B≥1；每个编码块由多个分支并联组成，第i个编码段第j个编码块的第k分支表示为S_i,j,k，i＝1,2,…N_S，j＝1,2,…N_B，k＝1,2…i；每个分支由N_U个编码单元串联组成，N_U≥2；在每个编码块的末尾串联1个多分辨特征融合单元；每个分支的特征图分辨率和通道数不同，第k分支的特征图分辨率为W/2^k-1*H/2^k-1，通道数为C*2^k-1；分支S_i,1,i-1的输入通过下采样后输出至分支S_i,1,i，作为分支S_i,1,i的输入。

4.根据权利要求3所述的方法，其特征在于，所述编码单元由卷积模块A1、卷积模块B、卷积模块A2、注意力模块串联组成，设编码单元的输出特征图通道数为C’，则上述4个模块的输出特征图通道数分别为C’/4、C’/4、C’、C’；当编码单元包括下采样模块时，卷积模块B中卷积层的步长为2，编码单元的输入特征图通过下采样模块后与注意力模块的输出特征图相加，作为编码单元的输出；当编码单元不包括下采样模块时，卷积模块B中卷积层的步长为1，编码单元的输入特征图与注意力模块的输出特征图相加，作为编码单元的输出。

5.根据权利要求4所述的方法，其特征在于，所述卷积模块包括卷积层、规范化层和激活层；所述注意力模块由全局池化层、全连接层A、激活层A、全连接层B、激活层B串联组成，输出的特征图通道数分别为C’、C’/r、C’/r、C’、C’，其中r为通道缩减因子；或者，所述注意力模块省略全连接层A和激活层A，仅保留全局池化层、全连接层B和激活层B。

6.根据权利要求3所述的方法，其特征在于，所述多分辨特征融合单元由上采样模块和下采样模块组成；编码段i的特征融合单元的输入和输出分别有i个分支，对于每个输入分支k和每个输出分支p，如果k＝p，则将输入分支k的特征图输出至分支p；如果k>p，则将输入分支k的特征图通过1次上采样后输出至分支p；如果k<p，则将输入分支k的特征图通过连续p-k次下采样后输出至分支p，最后将分支p的全部输入特征图相加后输出。

7.根据权利要求3所述的方法，其特征在于，所述解码段由1个特征聚合模块和1个卷积模块C串联组成，特征聚合模块由N_S-1个上采样模块并联组成，卷积模块C由一个卷积层组成，卷积核大小为1、通道数与所预测的类别数相同。

8.根据权利要求3所述的方法，其特征在于，所述遥感图像地物分类模型的输出结果是与输入图像大小相同的图像，其通道数与所预测的类别数相同，其中的每个像素值代表该像素所对应地理区域范围属于各个类别的置信度；所述遥感图像地物分类模型的模型参数包括：训练参数、优化器参数、输入和输出参数、模型结构参数。

9.根据权利要求1所述的方法，其特征在于，所述对遥感图像地物分类模型进行训练，包括：

(1)从训练数据集中不重复地随机读取m组图像，进行随机数据增强后，使用模型计算得到输出结果，并使用标注图像计算目标函数值；

(2)根据目标函数值，使用优化器更新模型参数；

(3)重复步骤(1)到步骤(2)，每次从训练集中不重复地随机读取m组图像，进行随机数据增强，计算输出结果与目标函数值，优化模型参数，直到训练集中的全部图像完成一次训练；

(5)重复步骤(1)到步骤(4)，读取训练数据集，计算预测输出结果与目标函数值；优化模型参数；读取验证数据集，计算预测结果与评估指标，直到满足终止条件；所述终止条件为以下至少之一：模型评估指标达到期望、迭代次数大于最大迭代次数。

10.根据权利要求9所述的方法，其特征在于，所述目标函数定义为：

其中：m为一个训练批次的样本数，L为训练损失函数，R为正则化项，y_i为第i张输入图像对应的标注图像；w是权值矩阵。

11.根据权利要求9所述的方法，其特征在于，所述预测数据集包括用于预测的雷达遥感数据和光学遥感数据，其中的每张图像与所述样本数据集中输入图像的宽度、高度、分辨率、存储文件格式、通道数相同；所述地物要素分类结果是与预测数据集中每张图像一一对应的图像，其宽度、高度、分辨率与输入图像相同，每张图像包括一个通道，图像中的每个像素值代表该像素所对应地理区域范围的类别标签的预测结果。

12.一种采用权利要求1～11中任一权利要求所述方法的基于多分辨率特征融合的遥感图像分类装置，其特征在于，包括：

13.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～11中任一权利要求所述方法的指令。