基于深度学习的土地利用分类方法及系统
技术领域
本发明涉及遥感影像分类技术领域,具体涉及一种基于深度学习的土地利用分类方法。
背景技术
基于高分辨率遥感影像的土地利用分类技术已广泛用于大尺度范围土地利用调查工作中,但传统的土地利用分类技术仍旧存在地物分类特征难提取、噪声干扰因子多、分类结果不够精细等问题;此外,土地利用类型多样且划分依据复杂,部分类别由多种不同地物组成,导致其内部结构复杂,一般依赖于遥感图像特征的分类方法不能对组成复杂的土地利用类型进行准确分类。相对于传统的分类方法,深度学习语义分割技术能够自动学习提取具有代表性的分类特征,获得更加精确的像素级分类结果。
关于基于高分辨率遥感影像的土地利用分类,大多研究方法通过分析遥感影像数据的光谱和纹理信息,提取各类型的分类特征,采用监督分类方法进行分类,该方法虽然能够有效提取多数纹理清晰组成简单的地物(如房屋、耕地、林地等),但对于组成复杂的土地利用类型分类效果较差。因为单纯的利用遥感影像图像信息而忽略了土地利用类型复杂的内部组成结构和各类型之间的地理空间关联关系,无法明确地反映人类对土地自然属性的利用方式和目的意图。
发明内容
有鉴于此,本发明提出了一种基于深度学习的土地利用分类方法及系统,用于解决现有单纯以遥感影像的光谱和纹理特征建立的土地利用分类模型中,土地利用类型复杂的内部组成结构与地理空间语义关联关系难以描述,分类结果破碎的问题。
本发明第一方面,公开一种基于深度学习的土地利用分类方法,所述方法包括:
获取历史遥感影像数据及对应的土地矢量数据,制作土地覆盖类型训练样本及对应的土地利用类型训练样本;
构建深度学习语义分割网络模型,通过土地覆盖类型训练样本训练所述深度学习语义分割网络模型;
基于门控机制构建地理空间关联关系特征提取单元,以地理空间关联关系特征提取单元为基本单元,引入注意力模块,建立编码-解码结构的类型转换网络模型;
将土地利用类型训练样本分别按行与列进行划分,再按正反顺序分别进行排列,生成四组图像序列输入到类型转换网络模型中进行训练;
将深度学习语义分割网络模型与类型转换网络模型进行串联整合,生成端到端土地利用分类模型;
将待分类的遥感影像数据输入所述端到端土地利用分类模型,得到像素级土地利用分类产品。
优选的,所述获取历史遥感影像数据及对应的土地矢量数据,制作土地覆盖类型训练样本及对应的土地利用类型训练样本具体为:
收集历史遥感影像数据、历史土地利用矢量数据和历史土地覆盖矢量数据,采用扫描线算法获取各矢量数据的边界区域,对各矢量数据进行矢量栅格化处理,生成相应的标注底图,同时对标注底图中标注边界不正确的区域进行纠正;
采用人工标注的方式,对土地覆盖类型标注底图中具有明显代表性的人造地物进行单独标注,得到精细的土地利用类型标注图与土地覆盖类型标注图;
对历史遥感数据影像及其对应的土地覆盖类型标注图进行切片处理,产生标准尺寸的土地覆盖类型训练样本;
对土地覆盖类型标注图及其对应的土地利用类型标注图进行切片处理,产生标准尺寸的土地利用类型训练样本。
优选的,所述类型转换网络模型包括编码部分、注意力模块和解码部分;
所述编码部分中,多个地理空间关联关系特征提取单元组成多个特征提取层,不同特征提取层之间采用跨层特征组合模块对提取的特征进行特征跨层组合;
所述注意力模块连接类型转换网络模型的编码部分和解码部分,通过注意力模块内部学习不同土地覆盖地物在各土地利用类型中所占权重;
所述解码部分中,多个地理空间关联关系特征提取单元组成多个特征提取层,不同特征提取层之间采用跨层特征组合模块对提取的特征进行特征跨层组合,输出层经过softmax函数输出最终分类结果。
优选的,所述地理空间关联关系特征提取单元具体结构为:
通过一个卷积计算与sigmoid激活函数组合成第一门控单元,用于计算当前单元的地理空间关联关系系数矩阵;
通过两个卷积计算和不同的激活函数组合成第二门控单元,用于获得当前单元的局部空间关联关系矩阵;
采用三个空洞率不同的空洞卷积核组合成多尺度空间特征提取单元,用于生成当前单元的分类特征;
将第一门控单元、第二门控单元、多尺度空间特征提取单元组合,构成地理空间关联关系特征提取单元,用于提取包含有地理空间关联关系的分类特征;
所述地理空间关联关系特征提取单元的输入为上一层地理空间关联关系特征提取单元的输出和当前层前一个地理空间关联关系特征提取单元提取的输出以及当前层全局空间关联关系。
优选的,所述地理空间关联关系特征提取单元的输入为上一层地理空间关联关系特征提取单元输出的分类特征
、当前层前一个地理空间关联关系特征提取单元的输出的分类特征
以及当前层全局地理空间关联关系矩阵
,其中
i代表第
i个特征提取层,
t代表特征提取层中第
t个地理空间关联关系特征提取单元;
第一门控单元计算当前单元的地理空间关联关系系数矩阵
的公式如下:
式(1)中
和
为卷积计算的权重参数,
为卷积计算的偏置参数,
sigmoid为激活函数;
通过第二门控单元,获得当前单元的局部空间关联关系矩阵
的计算公式如下:
式(2)中
,
,
,
为卷积计算的权重参数,
,
为卷积计算的偏置参数,
为矩阵对应元素相乘计算;
多尺度空间特征提取单元提取当前单元的分类特征
的计算公式如下:
式(3)中
k代表第
k个卷积计算,
为第
k个卷积计算获取的分类特征,
,
为卷积计算的权重参数,
为卷积计算的偏置参数;式(4)中
connect函数为特征连接与特征降维计算;
当前单元的地理空间关联关系系数矩阵
对输入的全局地理空间关联关系矩阵
进行特征选择,再与当前单元计算得到的局部地理空间关联关系矩阵
进行组合计算,生成新的全局地理空间关联关系矩阵
,其计算公式如下:
将新的全局地理空间关联关系矩阵与当前单元提取的分类特征进行组合计算,将地理空间关联关系信息引入分类特征
中,计算生成当前单元最终的分类特征
,其计算公式如下:
优选的,所述跨层特征组合模块对提取的特征进行特征跨层组合的方法为:
对上一特征提取层获取的全局地理空间关联关系矩阵
进行卷积计算和激活函数激活计算,生成一个与当前层全局地理空间关联关系矩阵维度相同的待融合特征
,其计算公式如下:
式(7)中
为卷积计算的权重参数,
为卷积计算的偏置参数。
基于上一个特征提取单元提取的分类特征
,计算融合特征的系数矩阵
,该系数矩阵用于对待融合特征
进行特征选择,其计算公式如下:
将待融合特征
与系数矩阵
进行组合计算,并与当前层的全局地理空间关联关系矩阵
相加,生成新的进行了跨层特征融合的全局地理空间关联关系矩阵
,其计算公式如下:
优选的,所述将土地利用类型训练样本分别按行与列进行划分,再按正反顺序分别进行排列,生成四组图像序列输入到类型转换网络模型中进行训练具体为:
将训练样本按行划分,按照从上到下的顺序排列形成第一组图像序列,按照从下到上的顺序组成第二组图像序列;
将训练样本按列划分,按照从左到右的顺序排列形成第三组图像序列,按照从右到左的顺序组成第四组图像序列;
每个训练样本每次将一组图像序列输入类型转换网络模型中进行训练。
本发明第二方面,公开一种基于深度学习的土地利用分类系统,所述系统包括:
样本制作模块:获取历史遥感影像数据及对应的土地矢量数据,制作土地覆盖类型训练样本及对应的土地利用类型训练样本;
分类模型创建模块:构建深度学习语义分割网络模型,通过土地覆盖类型训练样本训练所述深度学习语义分割网络模型;
转换模型创建模块:基于门控机制构建地理空间关联关系特征提取单元,以地理空间关联关系特征提取单元为基本单元,引入注意力模块,建立编码-解码结构的类型转换网络模型;将土地利用类型训练样本分别按行与列进行划分,再按正反顺序分别进行排列,生成四组图像序列输入到类型转换网络模型中进行训练;
模型融合模块:将深度学习语义分割网络模型与类型转换网络模型进行串联整合,生成端到端土地利用分类模型;
分类识别模块:将待分类的遥感影像数据输入所述端到端土地利用分类模型,得到像素级土地利用分类产品。
本发明相对于现有技术具有以下有益效果:
1)本发明根据土地利用类型的地物组成,采用深度学习语义分割技术,基于历史遥感影像与对应的历史土地覆盖类型标注图进行分类模型训练,获得精确分类的像素级土地覆盖地物类型分类底图;
2)本发明基于门控机制构建地理空间关联关系特征提取单元来提取各土地利用类型的地理空间关联关系,以地理空间关联关系特征提取单元为基本单元,建立编码-解码结构的类型转换网络模型。所述类型转换网络模型中,通过跨层特征融合的方式使空间关联关系在整个网络中传递,同时引入注意力机制,获取各土地利用类型的内部地物组成结构。构建土地覆盖地物类型与土地利用类型之间映射关系,可以将土地覆盖类型的细分结果进行同一土地利用类型的归并,完成了土地覆盖地物类型分类底图向土地利用分类标注图的转换;
3)将深度学习语义分割网络模型与类型转换网络模型融合,形成端到端土地利用分类模型,基于所述端到端土地利用分类模型可实现高分辨率遥感影像像素级土地利用分类。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于深度学习的土地利用分类方法流程示意图;
图2为本发明类型转换网络模型结构示意图;
图3为本发明地理空间关联关系特征提取单元结构示意图;
图4为跨层特征组合模块结构示意图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
请参阅图1,本发明提出一种基于深度学习的土地利用分类方法,所述方法包括:
S1、获取历史遥感影像数据及对应的土地矢量数据,制作土地覆盖类型训练样本及对应的土地利用类型训练样本;具体为:
收集历史遥感影像数据、历史土地利用矢量数据和历史土地覆盖矢量数据,采用扫描线算法获取各矢量数据的边界区域,对各矢量数据进行矢量栅格化处理,生成相应的标注底图,同时对标注底图中标注边界不正确的区域进行纠正;
采用人工标注的方式,对土地覆盖类型标注底图中具有明显代表性的人造地物进行单独标注,所述代表性的人造地物比如体育场、游乐场、广场等,得到精细的土地利用类型标注图与土地覆盖类型标注图;
对历史遥感数据影像及其对应的土地覆盖类型标注图进行切片处理,产生标准尺寸的土地覆盖类型训练样本;
对土地覆盖类型标注图及其对应的土地利用类型标注图进行切片处理,产生标准尺寸的土地利用类型训练样本。
在制作训练样本时统计各样本图像上各土地覆盖类型或土地利用类型所占比例,根据统计结果进行样本筛选,构建出类别平衡的分类训练集。
S2、构建深度学习语义分割网络模型,通过土地覆盖类型训练样本训练所述深度学习语义分割网络模型;
采用并行高分辨率特征提取网络模型作为基础网络,其在特征提取过程中能够保证提取的特征图具有较高分辨率,减少了特征提取过程中空间信息的损失,同时在特征提取过程中多次进行不同尺度的特征融合操作,能够有效提取多尺度特征,提高分割精度。土地覆盖类型训练样本进行训练,设置合理的模型训练超参数,使深度学习语义分割模型能够自动提取分类特征,实现像素级土地覆盖分类。
本发明基于深度学习语义分割技术生成精细土地覆盖地物类型分类底图。各土地利用类型均由一种或多种土地覆盖地物组成,比如土地利用类型为学校,其内部包含多种土地覆盖类型,土地利用分类结果与土地覆盖地物精确分类精度紧密相关。本发明基于历史遥感影像数据,采用深度学习语义分割技术,自动提取分类特征,获取精细的像素级土地覆盖地物分类底图。
S3、基于门控机制构建地理空间关联关系特征提取单元,以地理空间关联关系特征提取单元为基本单元,引入注意力模块,建立一个编码-解码(Encoder-Decoder)结构的类型转换网络模型;
请参阅图2,所述类型转换网络模型结构示意图,所述类型转换网络模型包括编码(Encoder)部分、注意力模块和解码(Decoder)部分;
所述编码部分中,多个地理空间关联关系特征提取单元组成多个特征提取层,不同特征提取层之间采用跨层特征组合模块对提取的特征进行特征跨层组合;
所述注意力模块连接类型转换网络模型的编码部分和解码部分,通过注意力模块内部学习不同土地覆盖地物在各土地利用类型中所占权重;
所述解码部分中,多个地理空间关联关系特征提取单元组成多个特征提取层,不同特征提取层之间采用跨层特征组合模块对提取的特征进行特征跨层组合,输出层经过softmax函数输出最终分类结果。
请参阅图3,所述地理空间关联关系特征提取单元结构示意图,其具体结构包括:
通过一个卷积计算与sigmoid激活函数组合成第一门控单元,用于计算当前单元的地理空间关联关系系数矩阵;
通过两个卷积计算和不同的激活函数组合成第二门控单元,用于获得当前单元的局部空间关联关系矩阵;
采用三个空洞率不同的空洞卷积核组合成多尺度空间特征提取单元,用于生成当前单元的分类特征;
将第一门控单元、第二门控单元、多尺度空间特征提取单元组合,构成地理空间关联关系特征提取单元,用于提取地理空间关联关系的分类特征。
所述地理空间关联关系特征提取单元的输入为上一层地理空间关联关系特征提取单元的输出和当前层前一个地理空间关联关系特征提取单元的输出以及当前层全局空间关联关系。
各土地利用类型之间存在有地理空间关联关系,例如大面积耕地内部存在有少量建筑,其与耕地的地理空间关联关系应被识别为设施农用地而非住宅用地。上述地理空间关联关系是一种基于长距离空间依赖的关系,仅提取局部小范围的图像特征难以描述这种空间关联关系,因此本发明通过在神经网络中加入门控机制来控制特征在网络中的传递,提取各土地利用类型之间的空间关联关系,同时通过特征跨层融合,保证网络所提取的空间关联关系能够在整个网络中传递,加强长距离空间依赖关系对网络特征提取的辅助作用,提高土地利用分类的精度。整个类型转换网络的特征提取流程如下:
S31、在地理空间关联关系特征提取单元内部进行特征提取,产生新的分类特征,同时对网络提取的地理空间关联关系进行更新,结合图3,具体计算过程如下:
设第
i层第
t个地理空间关联关系特征提取单元为当前单元,设当前单元的输入为上一层地理空间关联关系特征提取单元输出的分类特征
、当前层前一个地理空间关联关系特征提取单元的输出的分类特征
以及当前层全局地理空间关联关系矩阵
,其中
为第
i层第
t-1个地理空间关联关系特征提取单元的输出,
为第
i-1层第
t个地理空间关联关系特征提取单元的输出,
为当前层第
t-1个跨层特征组合模块的输出,其中
i代表第
i个特征提取层,
t代表特征提取层中第
t个地理空间关联关系特征提取单元;
1)根据当前的单元输入的两个分类特征
与
,通过一个卷积计算与
sigmoid激活函数组合成第一门控单元,计算当前单元的地理空间关联关系系数矩阵
,该矩阵用于对输入单元的全局地理空间关联关系进行筛选,将与当前单元特征不匹配的空间关联关系进行删除,
的公式如下:
式(1)中
和
为卷积计算的权重参数,
为卷积计算的偏置参数,
sigmoid为激活函数;
2)根据当前的单元输入的两个分类特征
与
,通过两个卷积计算和不同的激活函数组合成第二门控单元,计算当前单元的局部空间关联关系矩阵
,的计算公式如下:
式(2)中
,
,
,
为卷积计算的权重参数,
,
为卷积计算的偏置参数,
为矩阵对应元素相乘计算;
3)根据当前的单元输入的两个分类特征
与
,采用三个空洞率不同的空洞卷积核组合成多尺度空间特征提取单元,不同空洞率的卷积核将提供特征提取范围大小不同的感受野,通过不同的感受野提取多尺度空间特征,再对特征进行连接操作,提取当前单元的分类特征
的计算公式如下:
式(3)中
k代表第
k个卷积计算,
为第
k个卷积计算获取的分类特征,
,
为卷积计算的权重参数,
为卷积计算的偏置参数;式(4)中
connect函数为特征连接与特征降维计算;
4)基于当前单元的地理空间关联关系系数矩阵
对输入的全局地理空间关联关系矩阵
进行特征选择,再与当前单元计算得到的局部地理空间关联关系矩阵
进行组合计算,生成新的全局地理空间关联关系矩阵
,其计算公式如下:
5)将新的全局地理空间关联关系矩阵与当前单元提取的分类特征进行组合计算,将地理空间关联关系信息引入分类特征
中,计算生成当前单元最终的分类特征
,其计算公式如下:
S32、所述跨层特征组合模块对提取的特征进行特征跨层组合,跨层特征组合模块的结构示意图如图4所示,结合图4,具体方法为:
对上一特征提取层获取的全局地理空间关联关系矩阵
进行卷积计算和激活函数激活计算,生成一个与当前层全局地理空间关联关系矩阵维度相同的待融合特征
,其计算公式如下:
式(7)中
为卷积计算的权重参数,
为卷积计算的偏置参数。
基于上一个特征提取单元提取的分类特征
,计算融合特征的系数矩阵
,该系数矩阵用于对待融合特征
进行特征选择,其计算公式如下:
将待融合特征
与系数矩阵
进行组合计算,并与当前层的全局地理空间关联关系矩阵
相加,生成新的进行了跨层特征融合的全局地理空间关联关系矩阵
,其计算公式如下:
S33、对于从编码部分提取的特征序列
,
,
n为编码部分最后一层特征提取单元总数,在注意力模块中通过对输入的特征序列
H进行加权计算,完成对土地利用内部组成结构特征的提取。
由于各土地利用类型可能由多种土地覆盖地物组成,部分土地利用类型的内部地物组成类型可能存在相似性,因此在网络特征提取过程中需要对其内部组成结构进行提取,在注意力模块中通过对输入的特征序列进行加权计算,完成对土地利用内部组成结构特征的提取,进一步提高分类精度。
对于从网络编码部分提取的特征序列H,在注意力模块中首先分别计算键矩阵K、值矩阵V与查询矩阵Q,其计算公式如下:
式(10)、(11)、(12)中
、
和
为权重参数,
、
和
为偏置参数。
获取了键矩阵
K、值矩阵
V与查询矩阵
Q后再计算注意力加权矩阵
C,首先需要计算第
i个特征的注意力得分
:
最后将加权矩阵
C与特征序列
H进行矩阵乘法计算,产生新的特征序列
,其计算公式如下:
S34、通过解码部分进一步提取特征,输出分类结果。
本发明建立了地理空间关联关系与内部组成结构的土地标签类型转换模型。通过在深度神经网络中加入门控单元对网络提取的特征进行选择与组合,提取具有长距离空间依赖关系的空间关联关系,通过跨层特征组合的方式保证各特征提取层的空间关联关系在整个网络中传递,辅助网络进行分类特征提取,同时采用注意力机制获取各土地利用类型内部复杂的土地覆盖地物组成结构,构建土地覆盖地物类型与土地利用类型之间的映射关系,能够将土地覆盖分类图转换为土地利用分类图,将土地覆盖类型的细分结果进行同一土地利用类型的归并,实现对组成复杂的土地利用类型精确分类,提高土地利用分类的准确性。
S4、将土地利用类型训练样本分别按行与列进行划分,再按正反顺序分别进行排列,生成四组图像序列输入到类型转换网络模型中进行训练;
具体的,所述将土地利用类型训练样本分别按行与列进行划分,再按正反顺序分别进行排列,生成四组图像序列输入到类型转换网络模型中进行训练具体为:
将训练样本按行划分,按照从上到下的顺序排列形成第一组图像序列,按照从下到上的顺序组成第二组图像序列;
将训练样本按列划分,按照从左到右的顺序排列形成第三组图像序列,按照从右到左的顺序组成第四组图像序列;
每个训练样本每次将一组图像序列输入类型转换网络模型中进行训练。
S5、将深度学习语义分割网络模型与类型转换网络模型进行串联整合,生成端到端土地利用分类模型;
采用将深度学习语义分割网络模型与类型转换网络模型串联,组成端到端土地利用分类模型,通过所述端到端土地利用分类模型即可实现遥感影像数据的土地利用类型的分类。
S6、将待分类的遥感影像数据输入所述端到端土地利用分类模型,得到像素级土地利用分类产品。
与上述方法实施例相对应,本发明还公开一种基于深度学习的土地利用分类系统,所述系统包括:
样本制作模块:获取历史遥感影像数据及对应的土地矢量数据,制作土地覆盖类型训练样本及对应的土地利用类型训练样本;
分类模型创建模块:构建深度学习语义分割网络模型,通过土地覆盖类型训练样本训练所述深度学习语义分割网络模型;
转换模型创建模块:基于门控机制构建地理空间关联关系特征提取单元,以地理空间关联关系特征提取单元为基本单元,引入注意力模块,建立编码-解码结构的类型转换网络模型;将土地利用类型训练样本分别按行与列进行划分,再按正反顺序分别进行排列,生成四组图像序列输入到类型转换网络模型中进行训练;
模型融合模块:将深度学习语义分割网络模型与类型转换网络模型进行串联整合,生成端到端土地利用分类模型;
分类识别模块:将待分类的遥感影像数据输入所述端到端土地利用分类模型,得到像素级土地利用分类产品。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。