CN114694038A - 基于深度学习的高分辨率遥感影像分类方法及系统 - Google Patents

Abstract

本发明公开一种基于深度学习的高分辨率遥感影像土地利用分类方法及系统，获取高分辨率遥感影像原始图像并进行预处理；制作土地利用类型训练集、验证集、测试集；构建深度学习实例分割模型，对coco数据集进行预训练；利用经过coco数据集预训练的模型，对训练集进行训练，对测试集进行随机测试，在验证集上调整模型参数，进而测试；以地理空间关系对待分类遥感影像按行列进行分割并进行编码，将均等分割后的数据全部作为输入数据输入网络模型进行土地利用分类，对数据进行映射式解码，获取图像。本发明基于深度学习的高分辨率遥感影像分类方法，在基于coco数据集进行预训练的基础上，对高分辨率遥感影像进行实例分割，提高了遥感影像的自动分类精度。

Description

基于深度学习的高分辨率遥感影像分类方法及系统

技术领域

本发明涉及遥感影像分类技术领域，具体涉及一种基于深度学习的高分辨率遥感影像土地利用分类方法及系统。

背景技术

土地利用分类是区分土地利用空间地域组成单元的过程。这种空间地域单元是土地利用的地域组合单位，表现人类对土地利用、改造的方式和成果，反映土地的利用形式和用途(功能)。土地利用分类是为完成土地资源调查或进行统一的科学土地管理，从土地利用现状出发，根据土地利用的地域分异规律、土地用途、土地利用方式等，将一个国家或地区的土地利用情况，按照一定的层次等级体系划分为若干个不同的土地利用类别。

目前基于高分辨率遥感影像的土地利用技术主要有最大似然法、二进制代码法和K-MEANS算法等非监督分类方法以及利用支持向量机(SVM)、决策树 (DT)、随机森林(RF)以及人工神经网络(ANN)等算法的监督分类方法，但在实际应用中仍然较难获得令人满意的结果。因此，迫切需要一种新的高分辨率遥感影像土地利用分类方法。

随着遥感影像地物特征不断丰富，传统的目标检测方法难以满足其分类需求，而深度学习具有学习能力强、覆盖范围广、适应能力强、可移植性好，且算法应用灵活，可以用来完成目标分类、目标检测、语义分割、实例分割、姿态识别等多个任务，能把底层的特征和高层的特征进行融合，可进行细致检测，在图像学中取得了良好的效能。因此，采用深度学习进行高分辨率遥感影像土地利用分类是一条可行途径。

综上，现有图像分析技术直接应用到遥感影像分析上的效果欠佳；同时，单纯的利用遥感影像图像信息而忽略了土地利用类型复杂的内部组成结构和各类型之间的地理空间关联关系，无法明确地反映人类对土地自然属性的利用方式和目的意图。因此，该技术有必要改进。

发明内容

本发明所要解决的技术问题是现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为传统遥感影像分类方法普遍依赖于人工判读，虽然具有较好的精度，但是要求操作人员具备丰富经验，且解译过程耗时耗力，无法满足当代自然资源管理和经济社会发展对卫星遥感影像的需求。本发明目的在于提供一种基于深度学习的高分辨率遥感影像分类方法及系统，提高数据在神经网络中训练效果，基于细粒度的分类关注样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，基于像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同时期土地利用类型等信息，为精准划定“三区三线”、动态监测土地利用变化以及国土空间用途管制等工作的开展提供了动态、精准的数据保障。

本发明通过下述技术方案实现：

一方面，本发明提供了一种基于深度学习的高分辨率遥感影像分类方法，该方法包括以下步骤：

S1：获取高分辨率遥感影像数据，进行降噪、几何校正以及图像增强等预处理；

S2：将预处理好的遥感影像图使用黑色像素填充影像的边缘，采用按掩膜提取的方式对图像进行不同尺寸的分割，并将分割后的影像批量降维到分辨率 1024×1024，同时结合兴趣点(Point of Interest，POI)所带有的属性信息制作土地利用类型训练集、验证集、测试集；

S3：使用Labelme工具对土地利用类型训练集进行多边形标注，标注完成后输入类别标签以存储json格式的数据；

S4：构建深度学习实例分割模型，通过coco数据集进行预训练，再使用土地利用类型训练集训练；

S5：利用土地利用类型测试集在深度学习实例分割网络模型上进行随机测试，直至随机测试达到满意效果(精度85％以上)，生成最终的；

S6：构建遥感影像的编码-解码模型，基于地理空间关系对输入数据按行列进行分割和编码，对深度学习实例分割模型的输出结果进行映射式解码，最终得到高分辨率遥感影像土地利用分类产品；

S7：将深度学习实例分割模型和编码-解码模型进行整合，生成最终的土地利用分类模型。

工作原理是：本发明创新地设计了一种基于深度学习的高分辨率遥感影像分类方法，采用Mask R-CNN网络模型的训练，该模型算法应用灵活；在特征提取网络中构造分层连接，使用卷积神经网络提出的一种构建模块(即深度学习多尺度网络结构ResNet101)，以更细粒度表示小目标的多尺度特征，并增加每个网络层的感受野；同时，使用地理编码，把描述成文本地址的地理位置信息转换成地理坐标的方式，可对异构数据进行有效融合和集成。

进一步地，步骤S1中对获取的深圳高分辨率遥感影像原始图像进行预处理，包括：收集高分辨率遥感影像，对输入的原始数字图像选择工作范围，先进行降噪、图像增强等处理，然后选择GCP以及地面投影，匹配地面控制点与像元的位置，选择纠正函数和相关的参数，经过重采样步骤之后，最终输出纠正后的图像。

进一步地，步骤S2的具体步骤如下：

S21：将预处理好的遥感影像图使用黑色像素填充影像的边缘，使得遥感图像变为规则矩形，然后采用按掩膜提取的方式对图像进行不同尺寸的随机分割，分割尺度分别为30*30、20*20和10*10；

S22：将分割后的图像批量降维到分辨率1024×1024，并按照7：2：1的比例划分训练集、验证集与测试集。

进一步地，步骤S3的具体步骤如下：

采用人工标注的方式，为防止出现过拟合现象，采用两种标注方式：即土地利用类型斑块的边界标注和使用Labelme工具对输入图像数据集进行多边形标注，对土地利用类型标注底图中具有代表性的人造地物进行土地利用类型斑块内部统一纹理的单独标注，得到精细的土地利用类型标注图。

进一步地，步骤S4的具体步骤如下：

S41：采用深度学习多尺度网络结构ResNet101网络，对输入数据提取图像特征的高维表达，所述图像特征分成8组特征x_i，i∈{1,2,3,4,5,6,7,8},每个子集的分辨率大小和原特征相同，ResNet101网络对每一层的输入做一个reference(x_i)，学习形成残差函数，其表达式F如下：

F＝W₂σ(W₁x_i)

其中σ代表非线性函数ReLU，然后通过一个shortcut和第二个ReLU，获得输出y；

y＝F(X,{W_i})+x_i

当需要对输入输出维数进行变化时，如改变通道数目，可以在shortcut时对 x_i做一个线性变换，如下式：

y＝F(X,{W_i})+W_sx_i

S42：采用3种尺度的池化层来精炼特征的聚合能力，其中池化分别为10× 10，20×20，30×30，从这三个维度覆盖遥感影像的各个尺度特征，在每个尺度的后面一次使用3×3卷积进一步进行特征融合，通过双线程插值得到多尺度特征，使用RoIAlign代替ROIPooling，相比较ROIPooling，RoIAlign的反向传播需作修改，RoIAlign的反向传播公式，如下所示：

其中，x_i代表池化前特征图上的像素点；y_rj代表池化后的第r个候选区域的第j个点；i^*(r,j)代表点y_rj像素值的来源(最大池化的时候选出的最大像素值所在点的坐标)。d(i,i^*(r,j))表示两点之间的距离，Δh和Δw表示x_i与x_i*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。

S43：获得特征地图之后，进行ROIAlign，获取所需ROI，然后进行Mask预测分支、预测类别以及预测边界框，计算损失函数，利用全连接分类，边框， mask进行回归。

进一步地，步骤S5的具体步骤如下：

S51：利用测试集在S4步骤中训练好的深度学习实例分割网络模型上进行随机测试；

S52：利用验证集调整模型，进而再测试，反复迭代；

S53：当测试精度低于85％适当增加标签数量，当随机测试达到满意效果后(精度85％以上)，最终完成深度学习实例分割网络模型的遥感影像土地利用分类模型构建。

进一步地，步骤S6的具体步骤如下：

S61：基于地理空间关系对待分类的遥感影像按行列进行分割，并进行地理编码，即把描述成文本的地理位置信息转换成地理坐标；

S62：将编码结果输入深度学习实例分割网络模型进行土地利用分类；

S63：对深度学习实例分割网络模型的输出结果进行映射式解码，将地址分词并用数据库搜索，将地址匹配，得到高分辨率遥感影像土地利用分类产品。

另一方面，本发明还提供一种基于深度学习的高分辨率遥感影像土地利用分类系统，该系统支持所述的一种基于深度学习的高分辨率遥感影像土地利用分类方法，该系统包括：

数据处理模块：获取高分辨率遥感影像数据，对其进行预处理，制作土地利用类型训练集、验证集、测试集；

分类模型创建模块：构建深度学习实例分割网络模块，使用coco数据集进行预训练，使用土地利用类型测试集进行随机测试，直至随机测试达到满意效果 (精度85％以上)，完成深度学习实例分割网络模型的构建；

编码模型创建模块：以地理空间关系对待分类的遥感影像按行列进行分割和地理编码，并将编码结果输入到深度学习实例分割网络模型，进行土地利用分类；

解码模型创建模块：对深度学习实例分割模型的输出结果进行映射式解码，将地址分词并用数据库搜索，将地址匹配，得到高分辨率遥感影像土地利用分类产品

结果输出模块：用于自动拼接解码后的分幅图像，并输出土地利用分类后的图像。

本发明系统为解决遥感影像在像素级的土地利用分类中存在的问题，使用ResNet101的结构并在预训练模型中引入FPN算法。该结构具有自下而上和自上而下的两条计算线，通过前向传播获得每一层的特征后，进而通过自上而下的特征融合来增强深层特征。同时，在解码阶段(分类识别模块)使用多尺度的池化来覆盖遥感图像的各个尺度，加入Mask分割掩码网络，对特征进行加强和过滤，提升模型的精度。本发明与浅层学习算法相比，基于像素级分割的方法可以同时获得更好的目标检测与分割效果。

进一步地，所述分类模型创建模块执行过程如下：

采用深度学习多尺度网络结构ResNet101网络，对预处理后的原始图像提取图像特征的高维表达，所述图像特征分成8组特征x_i，i∈{1,2,3,4,5,6,7,8},每个子集的分辨率大小和原特征相同，ResNet101网络对每一层的输入做一个 reference(x_i)，学习形成残差函数，其表达式F如下：

F＝W₂σ(W₁x_i)

其中σ代表非线性函数ReLU，然后通过一个shortcut和第二个ReLU，获得输出y；

y＝F(X,{W_i})+x_i

当需要对输入输出维数进行变化时，如改变通道数目，可以在shortcut时对 x_i做一个线性变换，如下式：

y＝F(X,{W_i})+W_sx_i

采用3种尺度的池化层来精炼特征的聚合能力，其中池化分别为10× 10，20×20，30×30，从这三个维度覆盖遥感影像的各个尺度特征，在每个尺度的后面一次使用3×3卷积进一步进行特征融合，通过双线程插值得到多尺度特征，使用RoIAlign代替ROIPooling，相比较ROIPooling，RoIAlign的反向传播需作修改，RoIAlign的反向传播公式，如下所示：

其中，x_i代表池化前特征图上的像素点；y_rj代表池化后的第r个候选区域的第j个点；i^*(r,j)代表点y_rj像素值的来源(最大池化的时候选出的最大像素值所在点的坐标)。d(i,i^*(r,j))表示两点之间的距离，Δh和Δw表示x_i与x_i*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。

获得特征地图之后，进行ROIAlign，获取所需ROI，然后进行Mask预测分支、预测类别以及预测边界框，计算损失函数，利用全连接分类，边框，mask 进行回归。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明方法引入深度学习实例分割网络模型，提出使用ResNet101的结构并在预训练模型中引入FPN该结构具有自下而上和自上而下的两条计算线，通过前向传播获得每一层的特征后，进而通过自上而下的特征融合来增强深层特征。

2、本发明方法在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强学习和过滤，提升模型的精度，使用地理编码，把描述成文本地址的地理位置信息转换成地理坐标的方式，对异构数据进行有效融合和集成。

3、本发明网络使用深度学习实例分割网络的结构，通过将深度学习实例分割网络模型与编码-解码模型进行串联整合，能够接收任意尺寸的原始影像，最后输出一张与原始影像相同大小且带有像素标注的分类图。

4、本发明提高数据在神经网络中训练效果，基于细粒度的分类关注样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同时期土地利用类型等信息，为精准划定“三区三线”、动态监测土地利用变化以及国土空间用途管制等工作的开展提供了动态、精准的数据保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于深度学习的高分辨率遥感影像土地利用分类方法流程示意图；

图2为本发明深度学习实例分割网络模型结构示意图；

图3为本发明编码方式示意图；

图4为本发明不同分割尺度下高分辨率遥感影像土地利用分类结果图。

具体实施方式

下面将结合本发明实施方式，本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。

如图1所示，本发明一种基于深度学习的高分辨率遥感影像土地利用分类方法，该方法包括以下步骤：

S1：获取深圳市的高分辨率遥感影像数据，进行降噪、几何校正以及图像增强等预处理；

S2：将预处理后的深圳市高分辨率遥感影像图使用黑色像素填充影像的边缘，采用按掩膜提取的方式对图像进行不同尺寸的分割，并将分割后的影像批量降维到分辨率1024×1024，同时结合兴趣点(Point of Interest，POI)所带有的属性信息制作土地利用类型训练集、验证集、测试集；

S3：使用Labelme工具对训练集进行多边形标注，标注完成后输入类别标签以存储json格式的数据；

S4：构建深度学习实例分割模型，通过coco数据集进行预训练，再使用土地利用类型训练集训练；

S5：利用土地利用类型测试集在深度学习实例分割网络模型上进行随机测试，直至随机测试达到满意效果(精度85％以上)，生成最终的；

S6：构建遥感影像的编码-解码模型，基于地理空间关系对输入数据按行列进行分割和编码，对深度学习实例分割模型的输出结果进行映射式解码，最终得到高分辨率遥感影像土地利用分类产品。

S7：将深度学习实例分割模型和编码-解码模型进行整合，生成最终的土地利用分类模型。

本实施例中，步骤S1中对获取的深圳高分辨率遥感影像原始图像进行预处理，包括：收集高分辨率遥感影像，对输入的原始数字图像选择工作范围，先进行降噪、图像增强等处理，然后选择GCP以及地面投影，匹配地面控制点与像元的位置，选择纠正函数和相关的参数，经过重采样步骤之后，最终输出纠正后的图像；

本实例中，步骤S2的具体步骤如下：

S21：将预处理后的深圳市高分辨率遥感影像使用黑色像素填充影像的边缘，使得遥感图像变为规则矩形，然后采用按掩膜提取的方式对图像进行不同尺寸的随机分割，分割尺度分别为30*30、20*20和10*10；

S22：将分割后的图像批量降维到分辨率1024×1024，并按照7：2：1的比例划分训练集、验证集与测试集。

本实施例中，步骤S3的具体步骤如下：

采用人工标注的方式，为防止出现过拟合现象，采用两种标注方式：即土地利用类型斑块的边界标注和土地利用类型斑块内部统一纹理的单独标注，得到精细的土地利用类型标注图。

本实施例中，参阅图2，步骤S4的具体步骤如下：

S41：采用深度学习多尺度网络结构ResNet101网络，对输入数据提取图像特征的高维表达，所述图像特征分成8组特征x_i，i∈{1,2,3,4,5,6,7,8},每个子集的分辨率大小和原特征相同，ResNet101网络对每一层的输入做一个reference(x_i)，学习形成残差函数，其表达式F如下：

F＝W₂σ(W₁x_i)

其中σ代表非线性函数ReLU，然后通过一个shortcut和第二个ReLU，获得输出y；

y＝F(X,{W_i})+x_i

当需要对输入输出维数进行变化时，如改变通道数目，可以在shortcut时对 x_i做一个线性变换，如下式：

y＝F(X,{(W_i})+W_sx_i

S42：采用3种尺度的池化层来精炼特征的聚合能力，其中池化分别为10× 10，20×20，30×30，从这三个维度覆盖遥感影像的各个尺度特征，在每个尺度的后面一次使用3×3卷积进一步进行特征融合，通过双线程插值得到多尺度特征，使用RoIAlign代替ROIPooling，相比较ROIPooling，RoIAlign的反向传播需作修改，RoIAlign的反向传播公式，如下所示：

其中，x_i代表池化前特征图上的像素点；y_rj代表池化后的第r个候选区域的第j个点；i^*(r,j)代表点y_rj像素值的来源(最大池化的时候选出的最大像素值所在点的坐标)。d(i,i^*(r,j))表示两点之间的距离，Δh和Δw表示x_i与x_i*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。

S43：获得特征地图之后，进行ROIAlign，获取所需ROI，然后进行Mask 预测分支、预测类别以及预测边界框，计算损失函数，利用全连接分类，边框， mask进行回归。

本实施例中，步骤S5的具体步骤如下：

S51：利用测试集在S4步骤中训练好的深度学习实例分割网络模型上进行随机测试；

S52：利用验证集调整模型，进而再测试，反复迭代；

S53：当测试精度低于85％适当增加标签数量，当随机测试达到满意效果后(精度85％以上)，最终完成深度学习实例分割网络模型的遥感影像土地利用分类模型构建。

进一步地，参阅图3，步骤S6的具体步骤如下：

S61：基于地理空间关系对待分类的遥感影像按行列进行分割，并进行地理编码，即把描述成文本的地理位置信息转换成地理坐标；

S62：将编码结果输入深度学习实例分割网络模型进行土地利用分类；

S63：对深度学习实例分割网络模型的输出结果进行映射式解码，将地址分词并用数据库搜索，将地址匹配，得到高分辨率遥感影像土地利用分类产品。

本实施例中，所述步骤S4中的使用过程中通过损失函数反向传播误差来优化神经网络模型参数，即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么估计难学习的样本，使用focal loss 让模型更加关注难学习的样本。损失函数的公式为：

其中，

表示分类损失，L_box表示边界框回归损失，L_mask是实例分割损失，将其应用于每个像素，然后将ROI上所有像素的交叉熵的平均值作为L_mask。

L_cis(p,u)＝-logp_u

其中p是在k+1个类别上每个ROI的概率分布，u是相应的真实类别。通常，p是通过在完全连接层的k+1个输出上的softmax计算的。

对于每一个ROI，Mask分支定义一个维度为K_m×K_m的矩阵来表示K个不同分类，进而对于每个m×m的区域进行编码，每个Mask均有k个分类。对预测Mask分支中的每个像素点求sigmoid函数均值(平均二值交叉熵损失函数 L_mask)，该函数仅在第k个类别上有定义，其它的k-1个Mask输出不参与计算。通过与阈值0.5的比较输出二进制掩码，从而避免了类之间的竞争，这种方式能有效提高实例分割的效果。

实施时：对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同时期土地利用类型等信息，为精准划定“三区三线”、动态监测土地利用变化以及国土空间用途管制等工作的开展提供了动态、精准的数据保障。

工作原理是：基于现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为传统遥感影像分类方法普遍依赖于人工判读，虽然具有较好的精度，但是要求操作人员具备丰富经验，且解译过程耗时耗力，无法满足当代自然资源管理和经济社会发展对卫星遥感影像的需求。本发明创新地设计了一种基于深度学习的高分辨率遥感影像分类方法，采用Mask R-CNN网络模型的训练，该模型算法应用灵活；在特征提取网络中构造分层连接，使用卷积神经网络提出的一种构建模块(即深度学习多尺度网络结构ResNet101)，以更细粒度表示小目标的多尺度特征，并增加每个网络层的感受野；同时，使用地理编码，把描述成文本地址的地理位置信息转换成地理坐标的方式，可对异构数据进行有效融合和集成。

本发明方法引入深度学习实例分割网络模型，提出使用ResNet101的结构并在预训练模型中引入FPN该结构具有自下而上和自上而下的两条计算线，通过前向传播获得每一层的特征后，进而通过自上而下的特征融合来增强深层特征。

本发明方法在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强学习和过滤，提升模型的精度，使用地理编码，把描述成文本地址的地理位置信息转换成地理坐标的方式，对异构数据进行有效融合和集成。

本发明网络使用深度学习实例分割网络的结构，通过将深度学习实例分割网络模型与编码-解码模型进行串联整合，能够接收任意尺寸的原始影像，最后输出一张与原始影像相同大小且带有像素标注的分类图。

本发明提高数据在神经网络中训练效果，基于细粒度的分类关注样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同时期土地利用类型等信息，为精准划定“三区三线”、动态监测土地利用变化以及国土空间用途管制等工作的开展提供了动态、精准的数据保障。

如图1所示，本发明还提供一种基于深度学习的高分辨率遥感影像土地利用分类系统，该系统支持所述的一种基于深度学习的高分辨率遥感影像土地分类方法，该系统包括：数据处理模块：获取高分辨率遥感影像数据，对其进行预处理，制作土地利用类型训练集、验证集、测试集；

分类模型创建模块：构建深度学习实例分割网络模块，使用coco数据集进行预训练，使用土地利用类型测试集进行随机测试，直至随机测试达到满意效果 (精度85％以上)，完成深度学习实例分割网络模型的构建；

编码模型创建模块：以地理空间关系对待分类的遥感影像按行列进行分割和地理编码，并将编码结果输入到深度学习实例分割网络模型，进行土地利用分类；

解码模型创建模块：对深度学习实例分割模型的输出结果进行映射式解码，将地址分词并用数据库搜索，将地址匹配，得到高分辨率遥感影像土地利用分类产品；

结果输出模块：用于自动拼接解码后的分幅图像，并输出土地利用分类后的图像。

本实施例中，获取深圳市的高分辨率遥感影像，进行预处理包括：收集高分辨率遥感影像，对输入的原始数字图像选择工作范围，先进行降噪、图像增强等处理，然后选择GCP以及地面投影，匹配地面控制点与像元的位置，选择纠正函数和相关的参数，经过重采样步骤之后，最终输出纠正后的图像；

本实施例中，所述分类模型创建模块执行过程如下：

将输入数据使用黑色像素填充影像的边缘，使得遥感图像变为规则矩形，然后采用按掩膜提取的方式对图像进行不同尺寸的随机分割，分割尺度分别为 30*30、20*20和10*10；

将分割后的图像批量降维到分辨率1024×1024，并按照7：2：1的比例划分训练集、验证集与测试集。

采用人工标注的方式，为防止出现过拟合现象，采用两种标注方式：即土地利用类型斑块的边界标注和使用Labelme工具对输入图像数据集进行多边形标注，对土地利用类型标注底图中具有代表性的人造地物进行土地利用类型斑块内部统一纹理的单独标注，得到精细的土地利用类型标注图。

采用深度学习多尺度网络结构ResNet101网络，对输入数据图像提取图像特征的高维表达，所述图像特征分成8组特征x_i，i∈{1,2,3,4,5,6,7,8},每个子集的分辨率大小和原特征相同，ResNet101网络对每一层的输入做一个reference(x_i)，学习形成残差函数，其表达式F如下：

F＝W₂σ(W₁x_i)

其中σ代表非线性函数ReLU，然后通过一个shortcut和第二个ReLU，获得输出y；

y＝F(X,{W_i})+x_i

当需要对输入输出维数进行变化时，如改变通道数目，可以在shortcut时对 x_i做一个线性变换，如下式：

y＝F(X,{W_i})+W_sx_i

采用3种尺度的池化层来精炼特征的聚合能力，其中池化分别为10× 10，20×20，30×30，从这三个维度覆盖遥感影像的各个尺度特征，在每个尺度的后面一次使用3×3卷积进一步进行特征融合，通过双线程插值得到多尺度特征，使用RoIAlign代替ROIPooling，相比较ROIPooling，RoIAlign的反向传播需作修改，RoIAlign的反向传播公式，如下所示：

其中，x_i代表池化前特征图上的像素点；y_rj代表池化后的第r个候选区域的第j个点；i^*(r,j)代表点y_rj像素值的来源(最大池化的时候选出的最大像素值所在点的坐标)。d(i,i^*(r,j))表示两点之间的距离，Δh和Δw表示x_i与x_i*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。

获得特征地图之后，进行ROIAlign，获取所需ROI，然后进行Mask预测分支、预测类别以及预测边界框，计算损失函数，利用全连接分类，边框，mask 进行回归。

本实施例中，所述编码模型创建模块执行过程如下：随机抽取不同尺寸预处理好的高分辨率影像组成的测试数据集；在S4步骤中训练好的深度学习实例分割网络模型上进行随机测试；当随机测试达到满意效果后(精度85％以上)以地理空间关系对预处理后的遥感影像按行列进行分割并进行编码；

本实施例中，所述解码模型创建模块执行过程如下：基于地理空间关系对输入数据按行列进行分割和地理编码，即把描述成文本的地理位置信息转换成地理坐标；

将编码结果输入深度学习实例分割网络模型进行土地利用分类；

对深度学习实例分割网络模型的输出结果进行映射式解码，将地址分词并用数据库搜索，将地址匹配，得到高分辨率遥感影像土地利用分类产品。

本实施例中，所述步骤S4中的使用过程中通过损失函数反向传播误差来优化神经网络模型参数，即将即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么估计难学习的样本，使用focal loss让模型更加关注难学习的样本。损失函数的公式为：

其中，

表示分类损失，L_box表示边界框回归损失，L_mask是实例分割损失，将其应用于每个像素，然后将ROI上所有像素的交叉熵的平均值作为L_mask。

L_cis(p,u)＝-logp_u

其中p是在k+1个类别上每个ROI的概率分布，u是相应的真实类别。通常，p是通过在完全连接层的k+1个输出上的softmax计算的。

对于每一个ROI，Mask分支定义一个维度为K_m×K_m的矩阵来表示K个不同分类，进而对于每个m×m的区域进行编码，每个Mask均有k个分类。对预测Mask分支中的每个像素点求sigmoid函数均值(平均二值交叉熵损失函数 L_mask)，该函数仅在第k个类别上有定义，其它的k-1个Mask输出不参与计算。通过与阈值0.5的比较输出二进制掩码，从而避免了类之间的竞争，这种方式能有效提高实例分割的效果。

本发明系统为解决遥感影像在像素级的土地利用分类中存在的问题，提出在分类阶段(分类模型创建模块)使用ResNet101的结构并在预训练模型中引入 FPN算法。该结构具有自下而上和自上而下的两条计算线，通过前向传播获得每一层的特征后，进而通过自上而下的特征融合来增强深层特征，使用多尺度的池化来覆盖遥感图像的各个尺度，加入Mask分割掩码网络，对特征进行加强和过滤，提升模型的精度。同时，使用地理编码，把描述成文本地址的地理位置信息转换成地理坐标的方式，对异构数据进行有效融合和集成。本发明与浅层学习算法相比，基于像素级分割的方法可以同时获得更好的目标检测与分割效果。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的高分辨率遥感影像分类方法，其特征在于，其包括以下步骤：

S1：获取高分辨率遥感影像数据，进行降噪、几何校正以及图像增强等预处理；

S2：将预处理好的遥感影像图使用黑色像素填充影像的边缘，采用按掩膜提取的方式对图像进行不同尺寸的分割，并将分割后的影像批量降维到分辨率1024×1024，同时结合兴趣点(Point of Interest，POI)所带有的属性信息制作土地利用类型训练集、验证集、测试集；

S3：使用Labelme工具对训练集进行多边形标注，标注完成后输入类别标签以存储json格式的数据；

S4：构建深度学习实例分割模型，先对coco数据集进行预训练，再对土地利用类型训练集进行训练；

S5：利用深度学习实例分割模型对测试集对进行随机测试，直至随机测试达到满意效果(精度85％以上)；

S6：构建遥感影像的编码-解码模型，基于地理空间关系对待分类遥感影像按行列进行分割和编码；对深度学习实例分割模型的输出结果进行映射式解码，最终得到高分辨率遥感影像土地利用分类产品；

S7：将深度学习实例分割模型和编码-解码模型进行整合，生成最终的土地利用分类模型。

2.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像分类方法，其特征在于，对于步骤S1中所述获取高分辨率遥感影像数据进行预处理工作，包括：收集高分辨率遥感影像，对输入的原始数字图像选择工作范围，先进行降噪、图像增强等处理，然后选择地面控制点以及地面投影，匹配地面控制点与像元的位置，选择校正变换函数，对影像进行几何校正，经过像元灰度值重采样步骤之后，输出几何校正后的图像，然后选择合适的大气模型，对影像进行大气校正，最后进行图像增强处理。

3.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像分类方法，其特征在于，对于步骤S2的具体步骤如下：

S21：将预处理好的遥感影像图使用黑色像素填充影像的边缘，使得遥感图像变为规则矩形，然后采用按掩膜提取的方式对图像进行不同尺寸的随机分割，分割尺度分别为30*30、20*20和10*10；

S22：将分割后的图像批量降维到分辨率1024×1024，并按照7：2：1的比例划分训练集、验证集与测试集。

4.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像土地利用分类方法，其特征在于，步骤S3的具体步骤如下：

采用人工标注的方式，为防止出现过拟合现象，采用两种标注方式：土地利用类型斑块的边界标注和土地利用类型斑块内部统一纹理的单独标注，得到精细的土地利用类型标注图。

5.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像土地利用分类方法，其特征在于，步骤S4分割模型包括具体处理过程如下：

S41：采用深度学习多尺度网络结构ResNet101作为主干网络，对输入数据提取图像特征的高维表达，所述图像特征分成8组特征x_i，i∈{1,2,3,4,5,6,7,8},每个子集的分辨率大小和原特征相同，ResNet101网络对每一层的输入做一个reference(x_i)，学习形成残差函数，其表达式F如下：

F＝W₂σ(W₁x_i)

其中σ代表非线性激活函数ReLU，然后通过一个shortcut和第二个ReLU，获得输出y；

y＝F(X,{W_i})+x_i

当需要对输入输出维数进行变化时，如改变通道数目，可以在shortcut时对x_i做一个线性变换，如下式：

y＝F(X,{W_i})+W_sx_i

S42：采用3种尺度的池化层来精炼特征的聚合能力，其中池化核尺寸分别为10×10，20×20，30×30，从这三个维度覆盖遥感影像的各个尺度特征，在每个尺度的后面进行一次3×3卷积实现进一步的特征融合，通过双线程插值得到多尺度特征，使用RoIAlign代替ROIPooling，相比较ROIPooling，RoIAlign的反向传播需作修改，RoIAlign的反向传播公式，如下所示：

其中，x_i代表池化前特征图上的像素点；y_rj代表池化后的第r个候选区域的第j个点；i^*(r,j)代表点y_rj像素值的来源(进行最大池化操作时，具有最大特征值的像素点的位置坐标)。d(i,i^*(r,j))表示两点之间的距离，Δh和Δw表示x_i与

横纵坐标的差值，这里作为双线性内插的系数值与原始梯度进行点乘。

S43：获得特征地图之后，进行ROIAlign，获取所需ROI，然后进行Mask预测分支、预测类别以及预测边界框，计算损失函数，利用全连接分类，边框，mask进行回归。

6.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像土地利用分类方法，其特征在于，步骤S4中的使用过程中通过损失函数反向传播误差来优化神经网络模型的参数，其损失函数的公式为：

其中，

表示分类损失，L_box表示边界框回归损失，L_mask是实例分割损失，将其应用于每个像素，然后将ROI上所有像素的交叉熵的平均值作为L_mask。

7.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像土地利用分类方法，其特征在于，步骤S5的具体步骤如下：

S51：利用测试集在S4步骤中训练好的深度学习实例分割网络模型上进行随机测试；

S52：利用验证集调整模型，进而再测试，反复迭代；

S53：当测试精度低于85％适当增加标签数量，当随机测试达到满意效果后(精度85％以上)，最终完成深度学习实例分割网络模型的构建。

8.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像土地利用分类方法，其特征在于，步骤S6的具体步骤如下：

S61：基于地理空间关系对待分类遥感影像按行列进行分割，并进行地理编码，即把描述成文本的地理位置信息转换成地理坐标；

S62：将编码结果输入深度学习实例分割网络模型进行土地利用分类；

S63对深度学习实例分割网络模型的输出结果进行映射式解码，将地址分词并用数据库搜索，将地址匹配，得到高分辨率遥感影像土地利用分类产品。

9.一种基于深度学习的高分辨率遥感影像土地利用分类系统，其特征在于，该系统支持如权利要求1至8中任意一项所述的一种基于深度学习的高分辨率遥感影像土地利用分类方法，该系统包括：

数据处理模块：获取高分辨率遥感影像数据进行预处理，制作土地利用类型训练集、验证集、测试集；

分类模型创建模块：构建深度学习实例分割网络模块，使用coco数据集进行预训练，使用测试集进行随机测试，随机测试达到满意效果后(精度85％以上)，生成深度学习实例分割模型；

编码模型创建模块：以地理空间关系对输入数据按行列进行分割，进行地理编码，并将结果作为输入数据输入到深度学习实例分割，进行土地利用分类；

解码模型创建模块：对深度学习实例分割模型的输出结果进行映射式解码，将地址分词并用数据库搜索，将地址匹配，得到高分辨率遥感影像土地利用分类产品

结果输出模块：用于自动拼接解码后的分幅图像，并输出土地利用分类后的图像。

Images