CN115035402B - 一种用于土地覆盖分类问题的多级特征聚合系统及方法 - Google Patents

一种用于土地覆盖分类问题的多级特征聚合系统及方法 Download PDF

Info

Publication number
CN115035402B
CN115035402B CN202210394183.4A CN202210394183A CN115035402B CN 115035402 B CN115035402 B CN 115035402B CN 202210394183 A CN202210394183 A CN 202210394183A CN 115035402 B CN115035402 B CN 115035402B
Authority
CN
China
Prior art keywords
module
feature
result
features
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210394183.4A
Other languages
English (en)
Other versions
CN115035402A (zh
Inventor
翁理国
陈冰宇
夏旻
胡凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210394183.4A priority Critical patent/CN115035402B/zh
Publication of CN115035402A publication Critical patent/CN115035402A/zh
Application granted granted Critical
Publication of CN115035402B publication Critical patent/CN115035402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了遥感技术领域的一种用于土地覆盖分类问题的多级特征聚合系统及方法,包括:获取土地覆盖数据集;将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;迭代训练结束后,保存训练好的最佳模型权重;重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果。本发明提高了对高分辨率遥感图像的分割精度,分割效果改善明显。

Description

一种用于土地覆盖分类问题的多级特征聚合系统及方法
技术领域
本发明涉及一种用于土地覆盖分类问题的多级特征聚合系统及方法,属于遥感技术领域。
背景技术
对遥感影像进行像素级分类(又称为语义分割),获取到的土地利用/覆盖的详细信息在各个领域都是有价值的资源,例如城市规划、变化检测、植被监测、甚至军事侦察。在大数据时代背景下,获取的遥感数据范围广、信息量大,且获取数据的手段多、周期短、不受极端的地理条件和恶劣的自然现象的约束。如何对大量的高分辨率遥感图像进行处理并获取需要的信息,成为遥感领域的关键。
传统的基于手工制作的特征提取器和规则的方法,在数据量大、方差小的情况下几乎是不可行的。经典的机器学习遥感影像分类方法在遥感大数据环境下特征提取能力有限,泛化能力差,无法实现更精确的遥感影像像素级分类。基于深度学习的完全卷积神经网络被认为是图像分割中一个里程碑,表明为可变大小图片进行端到端的像素级分类成为现实。但是,尽管它广受欢迎,但还是有一些局限性,没有以有效的方式考虑全局上下文信息。其它经典方法如U-Net算法可以同时获取上下文信息和位置信息,但也局限于获得单一阶段的信息,无法很好地恢复高分辨率细节信息;DeepLab算法提出用级联或并行的空洞卷积,通过多种空洞率来捕获多尺度上下文,但也会带来新的潜在问题,比如空间上的连续所能给出的信息(比如边缘信息)可能因此而丢失,同时对于不利于小物体如建筑物的分割。
在土地覆盖分类任务中,建筑物的占地面积变化很大,从正投影来看很容易与温室混淆;不同林地种植的树木种类多样,灌溉方式和土壤类型也存在差异;道路和周围环境在亮度和纹理方面很容易混淆。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种用于土地覆盖分类问题的多级特征聚合系统及方法,提高了对高分辨率遥感图像的分割精度,分割效果改善明显。
为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种用于土地覆盖分类问题的多级特征聚合方法,包括:
获取土地覆盖数据集;
将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;
迭代训练结束后,保存训练好的最佳模型权重;
重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果。
进一步的,所述土地覆盖数据集为将高分辨率遥感图像从左到右从上到下不重叠裁剪为512×512尺寸大小的图片后,按照7:2:1的比例随机划分图片成的训练集、验证集和测试集。
进一步的,所述解码器包括多级特征注意力上采样模块,双路特征提炼模块和通道阶梯细化模块,所述双路特征提炼模块通过两个不同的分支对最新的特征进行细化,并将它们与来自编码器的相邻两个阶段的特征一起输入到多级特征注意力上采样模块中完成一个上采样过程,并将上采样结果发送到下一个双路特征提炼模块,所述多级特征注意力上采样模块利用两个嵌套着的通道注意力从多级特征中恢复对高分辨率遥感影像的定位信息,所述通道阶梯细化模块放置在最后一次上采样之前,通过递减通道数,逐步细化已恢复的高分辨率特征图,在最后一次上采样后生成预测分割图。
进一步的,所述全局依赖模块的处理流程为:
获取输入特征图输入特征图X;
对输入特征图X使用最大池化操作,得到输出M;
对输入特征图X使用卷积1和卷积4进行计算变形,分别得到结果V和结果
对输出M使用卷积2和卷积3进行计算变形,得到结果T和结果G;
将结果V和结果T进行矩阵乘法运算后,通过Sigmoid激活函数得到结果S;
将结果S和结果G相乘,得到结果Y;
将结果Y和结果进行残差连接,得到最终输出特征Z。
进一步的,所述多级特征注意力上采样模块有低级特征、高级特征和最新特征三个输入,所述低级特征和高级特征来源于编码器的相邻层级的特征,所述最新特征是全局依赖模块或上一个多级特征注意力上采样模块生成的特征。
进一步的,所述多级特征注意力上采样模块的处理流程为:
对低级特征执行具有批处理归一化和ReLU非线性激活的一个3×3卷积,同时保持特征图的大小和通道数不变;
将处理后的低级特征乘以一个通过对相邻的高级特征执行一个具有Sigmoi d非线性激活的1×1卷积生成的全局上下文向量,得到加权后的低级特征;
将上采样后的高级特征与加权后的低级特征相加,得到第一阶段生成特征;
将第一阶段生成特征与由最新特征生成的全局上下文向量相乘;
将上采样后的最新特征与加权后的最新特征相加,得到下一个最新特征。
进一步的,所述双路特征提炼模块具有两个支路,其中第一个支路使用深度可分离卷积来提炼输入一半的特征,所述第一个支路采用两层的卷积组合代替一个完整的标准卷积层,其中第一层的卷积通过对每个输入通道应用单个卷积滤波器来执行轻量级滤波,第二层是1×1卷积负责通过计算输入通道的线性组合来构建新特征,第二个支路使用通道阶梯细化结构来得到另外一半的特征。
第二方面,本发明提供了一种用于土地覆盖分类问题的多级特征聚合系统,包括:
数据获取模块:用于获取土地覆盖数据集;
迭代训练模块:用于将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;
模型权重保存模块:用于迭代训练结束后,保存训练好的最佳模型权重;
分割结果预测模块:用于重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果。
第三方面,本发明提供了一种用于土地覆盖分类问题的多级特征聚合装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比,本发明所达到的有益效果:
一、本发明基于现有的深度学习平台,提出了多级特征聚合网络模型方法来提高对高分辨率遥感图像的分割精度,分割效果改善明显,尤其在对小物体的完整性和边缘的恢复上,解决了土地覆盖分类任务中的难题。
二、本发明提出的全局依赖模块通过学习所有位置之间的亲和关系并过滤冗余通道信息来提取高分辨率遥感图像的深层全局特征,双路径特征提炼模块使用两个独立的分支来获取不同深度层次的特征,丰富了模型的层次结构。
三、本发明针对土地覆盖分类任务提出了一种新的语义分割网络架构,该方法在每次上采样前添加了一个简单有效的特征细化模块,有效增强了恢复高分辨遥感图像详细信息的能力。
附图说明
图1是本发明实施例一提供的用于土地覆盖分类任务的工作流程图;
图2是本发明实施例一提供的多级特征聚合网络结构图;
图3是本发明实施例一提供的全局依赖模块结构图;
图4是本发明实施例一提供的多级特征注意力上采样模块结构图;
图5是本发明实施例一提供的通道阶梯细化模块结构图;
图6是本发明实施例一提供的双路特征提炼模块结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例一:
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本实施例所提出的用于土地覆盖分类任务的多级特征聚合方法,其工作流程图如图1所示。主要的工作为构建并训练网络,通过训练好的网络输出对遥感图像的精细分割结果。具体包括如下步骤:
步骤1:制作土地覆盖数据集。
将获取到的高分辨率遥感图像从左到右从上到下不重叠裁剪为512×512尺寸大小的图片。然后按照7:2:1的比例随机划分图片成训练集、验证集和测试集。最后根据对象类别的不同,给每张图片的每个像素上色,生成对应的标签集。比如构成建筑物的像素全标记为红色,构成水域的像素全标记为绿色,非研究对象类(即背景类)标记为白色。
步骤2:构建多级特征聚合网络。
本发明所提出的多级特征聚合方法,其网络结构如图2所示。编码器由修改后的ResNet-50经典分类算法的主干充当。残差块-1~残差块-4与ResNet-50的卷积块保持一致,残差块-5是步幅为1的卷积块,所以编码器的最终输出特征图的大小为输入图像的1/16(即下采样4次)。解码器由多级特征注意力上采样模块,双路特征提炼模块和通道阶梯细化模块构成。全局依赖模块捕获全局依赖信息并从编码器的输出中去除冗余通道信息。接下来双路特征提炼模块通过两个不同的分支对最新的特征进行细化,并将它们与来自编码器的相邻两个阶段的特征一起输入到多级特征注意力上采样模块中完成一个上采样过程,并将上采样结果发送到下一个双路特征提炼模块。重复此过程,直到将第三个多级特征注意力上采样模块的结果发送到通道阶梯细化模块。最后,在最后一次上采样后生成预测分割图。下面具体介绍每个模块的定义和作用。
(1)全局依赖模块。该模块的作用是捕获全局依赖信息,同时压缩冗余的通道信息,提取高分辨率遥感图像的深度全局特征。该模块的结构如图3所示。将全局依赖模块的核心操作定义为(假设为输入为二维):
这里[i,j]表示图中某像素点的坐标,即索引位置;X[i,j]表示在输入特征图X的索引位置[i,j]上的值;Y表示该操作对应的输出;一元函数g(·)表示计算位置[i,j]处输入的表示;成对函数f(X[m,q],X[x,j]))计算[m,q]和所有[x,j]之间的标量,值的范围为0~1,值越大说明这两个位置之间的亲和力越强烈。
公式(1)中的全局依赖行为体现在操作中考虑了所有位置。作为比较,最常见的卷积操作对局部邻域中的输入加权求和,未整体考虑所有位置之间的关系。全局依赖操作也不同于全连接层。公式(1)根据不同位置之间的关系得到一个亲和力矩阵F,而全连接层破坏了位置结构,简单粗暴学习输出与输入之间的权重。下面给出公式(1)的具体实现。
首先通过两个1×1卷积(卷积1和卷积2)分别对输入进行计算变形,然后对得到的结果进行矩阵乘法运算,最后紧接着一个Sigmoid激活函数,将结果以非线性的方式映射到0和1之间。这个过程可以用公式(2)和(3)概括:
其中,V表示对输入到该模块的特征图X使用卷积1后产生的矩阵结果,v1表示第1个输出通道的矩阵分量,v2表示第2个输出通道的矩阵分量,以此类推,Cout表示输出特征图V的通道数量,VCout表示最后1个输出通道的矩阵分量;K表示可训练权重,b表示偏差。每个矩阵分量具体计算如下:cin表示输入特征图的第c个输入通道。
T(包括下文提到的G和)的计算方式与V十分类似,仅尺寸大小或通道数不同,均不再给出。卷积1和卷积2的输出通道数Cout均为512,与输入通道数2048相比,目的是大大降低计算量。
S=σ(V e T) (3)
这里符号e表示矩阵乘法,σ(g)表示一种非线性激活函数,这里实现为Sigmoid函数。S表示成对函数f的运算结果,即所有位置间关系的亲和力矩阵。
为简单起见,我们仅以线性嵌入的形式考虑g(·),这用一个1×1卷积(卷积3)实现。g(·)的结果用G表示。
最后f函数和g函数的运算结果相乘,得到输出特征Y,即:
Y=S e G (4)
还需要说明的是,为了减少计算量,我们对X做了一个步幅为2的2×2最大池化操作以得到输出M。这不会改变全局依赖行为,只会使计算更加稀疏。
为了进一步提高该模块的性能,我们还加入了一个残差连接,如公式(5)所示。还应该注意的是,输出特征图与输入具有相同的大小,而输出通道的数量仅为输入的一半,用于压缩冗余通道信息。因此,采用1×1卷积(卷积4)来匹配通道数。
其中Z是全局依赖模块的最终输出特征,表示对X使用卷积4的结果。
至此,我们完成了全局依赖模块的所有设计及实现。
(2)多级特征注意力上采样模块。该模块不同于一般的上采样模块,它有三个输入,其中的两个来源于编码器的相邻层级的特征,我们分别称之为低级特征和高级特征,另外一个是全局依赖模块或上一个多级特征注意力上采样模块生成的特征,我们称之最新特征。我们设计,最新特征图的尺寸和通道数与高级特征的相同,低级特征的通道数是高级特征的1/2,且长宽尺寸是高级特征的2倍,该模块结构如图4所示。详细地说,分为两个阶段,第一个阶段如虚线框出来的部分所示,首先对低级特征执行具有批处理归一化和ReLU非线性激活的一个3×3卷积同时保持特征图的大小和通道数不变。然后乘以一个全局上下文向量,该向量是通过对相邻的高级特征执行一个具有Sigmoid非线性激活的1×1卷积生成的。最后,将上采样后的高级特征与加权后的低级特征相加。第二个阶段,将第一阶段生成的特征与由最新特征生成的全局上下文向量相乘,最后将上采样后的最新特征与加权后的特征相加,这样就得到了模块的最终输出,即下一个我们想要的最新特征,其大小和通道数与低级特征一致。
仔细观察该模块的结构,其实这是一个嵌套结构,如果把第一阶段的输出看作是低级特征,结合剩下的部分,又变成了一个第一阶段。我们这样设计,还可以重复利用主干网络的卷积块-2和卷积块-3的输出特征图,它们的分辨率分别为原图的1/8/和1/4,这无论是对于定位信息还是语义信息来说都是较为折中,这对恢复高分辨率图像的定位具有重大意义。
(3)通道阶梯细化模块。在最后一次上采样之前,加入一个通道阶梯细化模块,目的是为了逐步细化已恢复的较高分辨率特征。该模块的结构如图5所示。该模块的第一层是一个1×1卷积,我们用它缩减通道数到输出通道数的b倍。超参数b的值越大,性能稍微得到提升,但模型复杂度也变得越大,因此可根据现实需求灵活设置,最低设置为1。它还可以将所有通道的信息结合起来。接下来是一个基本的残差块,它可以细化特征图。最后,再用一个1×1卷积层进一步缩减通道数。这样分两次减少通道数,可以达到逐渐细化特征图的目的。
(4)双路特征提炼模块。该模块的作用是,在不改变原来的尺寸大小和通道数的基础上重新提炼最新特征,与紧接着的上采样模块结合,有效增强其恢复高分辨遥感图像细节信息的能力。该模块的结构如图6所示。双路特征提炼模块有两个支路,第一个支路使用深度可分离卷积来提炼输入一半的特征。它的基本思想是用两层的卷积组合代替一个完整的标准卷积层。第一层的卷积通过对每个输入通道应用单个卷积滤波器来执行轻量级滤波。它相对标准卷积极其高效,但它仅仅滤波输入通道,没有结合各个通道来创造新的特征。第二层是1×1卷积负责通过计算输入通道的线性组合来构建新特征。因此,相比于标准卷积层,深度可分离卷积空间相关和通道相关分离,极大地降低了计算量而仅有略微的精度损失。因此,通过这一支路我们甚至可以成倍增大中间通道数,在更多的特征中去提炼所需要的特征。通过实验可知,中间通道数设置为输入通道数的3倍,可以在性能和模型复杂度之间取得良好折中。第二个支路使用通道阶梯细化结构来得到另外一半的特征。该支路逐步减少通道数,达到细化特征图的目的。综上,通过独立的两个支路,我们可以得到层数深浅不一的特征为接下来的上采样做好准备,而且这并没有导致参数量和计算量的大量增加。
步骤3:初始化模型参数和相关设置。
将权重参数初始化成均值为0、标准差为0.01的正态随机数,偏差初始化成0。我们的实现基于公共平台PyTorch,所用的显卡为GeForce RTX 2080Ti。批量大小设置为4。采用的优化器为Adam优化器,动量和权重衰减参数分别设置为0.9和0.0005,学习率更新采用“ploy”策略,基础学习率设置为0.01,形状控制参数设置为0.9。最大迭代次数设置为300。优化器的动量和权重衰减分别设置为0.9和0.0005。损失函数为交叉熵损失函数。
步骤4:训练模型。
该方法构建的是一个有监督的深度学习网络模型。因此,土地覆盖训练集包含图片和对应的标签。在训练阶段使用了马赛克数据增强——在遍历每个训练图片时,随机抽取另外三个图片,同时在中心区域随机生成一个拼接点,即待拼接4张图的公共顶点。超出边界的像素被舍去,边界内未被拼接到的区域则用黑色填充。然后对该拼接后图进行仿射变换,包括随机缩放,平移等操作,输出与原始训练图片同等大小的图。最后对图片进行HSV(色调-饱和度-明度)颜色转换。
然后将增强后的样本送到多级特征聚合网络中,经网络输出得到变换后的数据,将其与对应的标签比较,计算损失值,然后优化器指导使损失值更小的参数更新的方向,通过多次这样的迭代,就能得到一个最为理想的模型权重,使分割效果最好。
步骤5:保存训练好的最佳模型权重。
步骤6:重新加载模型和保存的权重,对无标签的测试集预测分割结果。
本方法针对高分辨率遥感影像具有强大的特征提取能力和高分辨率细节恢复能力。首先,针对全局上下文信息受限的问题,该方法提出了一个全局依赖模块。该模块被放置在编码器和解码器的中间,通过学习一个亲和力矩阵来获取所有位置之间的相关关系,即任何一个位置与所有不同位置的权重值。这有利于把握整体的环境信息,做出正确的对道路、林地和水域的区域判断。另一方面,对于对象数不多的土地覆盖分类任务而言,全局依赖模块还可以压缩冗余的通道信息,来提炼高分辨率遥感图像的深度全局特征。其次,在每次上采样之前,该方法添加了一个双路特征提炼模块,通过两个独立的支路,在不改变原来的尺寸大小的基础上得到层数深浅不一的特征。这样做的好处是,丰富了模型的层次结构,同时与紧接着的上采样模块结合,有效增强其恢复高分辨遥感图像细节信息的能力。然后,多级特征注意力上采样模块利用两个嵌套着的通道注意力从多级特征中恢复对高分辨率遥感影像的定位信息,不同于传统网络U-Net等只利用了两级特征。最后,通道阶梯细化模块,放置在最后一次上采样之前,通过递减通道数,逐步细化已恢复的高分辨率特征图,达到平滑过渡到特定的土地覆盖分类任务的目的。
本发明基于上述方法,达到了用于土地覆盖分类任务的高分辨率遥感图像的高精度分割。相对于现有的分割模型来说,其效果得到了较大的提升。尤其在对小物体的分割完整性和对边缘细节信息的恢复方面改善明显。
实施例二:
一种用于土地覆盖分类问题的多级特征聚合系统,可实现实施例一所述的一种用于土地覆盖分类问题的多级特征聚合方法,包括:
数据获取模块:用于获取土地覆盖数据集;
迭代训练模块:用于将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;
模型权重保存模块:用于迭代训练结束后,保存训练好的最佳模型权重;
分割结果预测模块:用于重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果。
实施例三:
本发明实施例还提供了一种用于土地覆盖分类问题的多级特征聚合装置,可实现实施例一所述的一种用于土地覆盖分类问题的多级特征聚合方法,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行下述方法的步骤:
获取土地覆盖数据集;
将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;
迭代训练结束后,保存训练好的最佳模型权重;
重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果。
实施例四:
本发明实施例还提供了一种计算机可读存储介质,可实现实施例一所述的一种用于土地覆盖分类问题的多级特征聚合方法,其上存储有计算机程序,该程序被处理器执行时实现下述方法的步骤:
获取土地覆盖数据集;
将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;
迭代训练结束后,保存训练好的最佳模型权重;
重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种用于土地覆盖分类问题的多级特征聚合方法,其特征是,包括:
获取土地覆盖数据集;
将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;
迭代训练结束后,保存训练好的最佳模型权重;
重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果;
所述解码器包括多级特征注意力上采样模块,双路特征提炼模块和通道阶梯细化模块,所述双路特征提炼模块通过两个不同的分支对最新的特征进行细化,并将它们与来自编码器的相邻两个阶段的特征一起输入到多级特征注意力上采样模块中完成一个上采样过程,并将上采样结果发送到下一个双路特征提炼模块,所述多级特征注意力上采样模块利用两个嵌套着的通道注意力从多级特征中恢复对高分辨率遥感影像的定位信息,所述通道阶梯细化模块放置在最后一次上采样之前,通过递减通道数,逐步细化已恢复的高分辨率特征图,在最后一次上采样后生成预测分割图;
所述全局依赖模块的处理流程为:
输入特征图X;
对输入特征图X使用最大池化操作,得到输出M;
对输入特征图X使用卷积1和卷积4进行计算变形,分别得到结果V和结果
对输出M使用卷积2和卷积3进行计算变形,得到结果T和结果G;
将结果V和结果T进行矩阵乘法运算后,通过Sigmoid激活函数得到结果S;
将结果S和结果G相乘,得到结果Y;
将结果Y和结果进行残差连接,得到最终输出特征Z;
所述全局依赖模块的核心操作为:
其中,[i,j]、[m,q]、[x,j]均为输入特征图X中像素点的坐标,即索引位置;Y表示索引位置[m,q]对应的输出;X[m,q]表示在输入特征图X的索引位置[m,q]上的值;X[x,j]表示在输入特征图X的索引位置[x,j]上的值;X[i,j]表示在输入特征图X的索引位置[i,j]上的值;一元函数g(·)表示计算位置[i,j]处输入的表示;成对函数f(X[m,q],X[x,j]))表示计算[m,q]和所有[x,j]之间的标量,f(X[m,q],X[x,j]))的取值范围为0~1。
2.根据权利要求1所述的用于土地覆盖分类问题的多级特征聚合方法,其特征是,所述土地覆盖数据集为将高分辨率遥感图像从左到右从上到下不重叠裁剪为512×512尺寸大小的图片后,按照7:2:1的比例随机划分图片成的训练集、验证集和测试集。
3.根据权利要求1所述的用于土地覆盖分类问题的多级特征聚合方法,其特征是,所述多级特征注意力上采样模块有低级特征、高级特征和最新特征三个输入,所述低级特征和高级特征来源于编码器的相邻层级的特征,所述最新特征是全局依赖模块或上一个多级特征注意力上采样模块生成的特征。
4.根据权利要求3所述的用于土地覆盖分类问题的多级特征聚合方法,其特征是,所述多级特征注意力上采样模块的处理流程为:
对低级特征执行具有批处理归一化和ReLU非线性激活的一个3×3卷积,同时保持特征图的大小和通道数不变;
将处理后的低级特征乘以一个通过对相邻的高级特征执行一个具有Sigmoi d非线性激活的1×1卷积生成的全局上下文向量,得到加权后的低级特征;
将上采样后的高级特征与加权后的低级特征相加,得到第一阶段生成特征;
将第一阶段生成特征与由最新特征生成的全局上下文向量相乘;
将上采样后的最新特征与加权后的最新特征特征相加,得到下一个最新特征。
5.根据权利要求1所述的用于土地覆盖分类问题的多级特征聚合方法,其特征是,所述双路特征提炼模块具有两个支路,其中第一个支路使用深度可分离卷积来提炼输入一半的特征,所述第一个支路采用两层的卷积组合代替一个完整的标准卷积层,其中第一层的卷积通过对每个输入通道应用单个卷积滤波器来执行轻量级滤波,第二层是1×1卷积负责通过计算输入通道的线性组合来构建新特征,第二个支路使用通道阶梯细化结构来得到另外一半的特征。
6.一种用于土地覆盖分类问题的多级特征聚合系统,其特征是,包括:
数据获取模块:用于获取土地覆盖数据集;
迭代训练模块:用于将土地覆盖数据集中的训练集输入预先构建的多级特征聚合网络进行迭代训练,所述多级特征聚合网络包括编码器、解码器和全局依赖模块,所述全局依赖模块位于编码器和解码器的中间,通过学习亲和力矩阵码器和解码器的中间,获取所有位置之间的权重值并过滤冗余通道信息;
模型权重保存模块:用于迭代训练结束后,保存训练好的最佳模型权重;
分割结果预测模块:用于重新加载最佳模型权重,对土地覆盖数据集中的测试集预测分割结果;
在所述迭代训练模块中,所述全局依赖模块的处理流程为:
输入特征图X;
对输入特征图X使用最大池化操作,得到输出M;
对输入特征图X使用卷积1和卷积4进行计算变形,分别得到结果V和结果
对输出M使用卷积2和卷积3进行计算变形,得到结果T和结果G;
将结果V和结果T进行矩阵乘法运算后,通过Sigmoid激活函数得到结果S;
将结果S和结果G相乘,得到结果Y;
将结果Y和结果进行残差连接,得到最终输出特征Z;
所述全局依赖模块的核心操作为:
其中,[i,j]、[m,q]、[x,j]均为输入特征图X中像素点的坐标,即索引位置;Y表示索引位置[m,q]对应的输出;X[m,q]表示在输入特征图X的索引位置[m,q]上的值;X[x,j]表示在输入特征图X的索引位置[x,j]上的值;X[i,j]表示在输入特征图X的索引位置[i,j]上的值;一元函数g(·)表示计算位置[i,j]处输入的表示;成对函数f(X[m,q],X[x,j]))表示计算[m,q]和所有[x,j]之间的标量,f(X[m,q],X[x,j]))的取值范围为0~1。
7.一种用于土地覆盖分类问题的多级特征聚合装置,其特征是,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~5任一项所述方法的步骤。
8.计算机可读存储介质,其上存储有计算机程序,其特征是,该程序被处理器执行时实现权利要求1~5任一项所述方法的步骤。
CN202210394183.4A 2022-04-15 2022-04-15 一种用于土地覆盖分类问题的多级特征聚合系统及方法 Active CN115035402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210394183.4A CN115035402B (zh) 2022-04-15 2022-04-15 一种用于土地覆盖分类问题的多级特征聚合系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210394183.4A CN115035402B (zh) 2022-04-15 2022-04-15 一种用于土地覆盖分类问题的多级特征聚合系统及方法

Publications (2)

Publication Number Publication Date
CN115035402A CN115035402A (zh) 2022-09-09
CN115035402B true CN115035402B (zh) 2023-09-12

Family

ID=83119046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210394183.4A Active CN115035402B (zh) 2022-04-15 2022-04-15 一种用于土地覆盖分类问题的多级特征聚合系统及方法

Country Status (1)

Country Link
CN (1) CN115035402B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315324B (zh) * 2023-08-30 2024-03-22 南京工业大学 一种用于火星崎岖地形的轻量级分类检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991354A (zh) * 2021-03-11 2021-06-18 东北大学 一种基于深度学习的高分辨率遥感影像语义分割方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN114022785A (zh) * 2021-11-15 2022-02-08 中国华能集团清洁能源技术研究院有限公司 一种遥感影像语义分割方法、系统、设备及存储介质
WO2022052367A1 (zh) * 2020-09-10 2022-03-17 中国科学院深圳先进技术研究院 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052367A1 (zh) * 2020-09-10 2022-03-17 中国科学院深圳先进技术研究院 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质
CN112991354A (zh) * 2021-03-11 2021-06-18 东北大学 一种基于深度学习的高分辨率遥感影像语义分割方法
CN113807210A (zh) * 2021-08-31 2021-12-17 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN114022785A (zh) * 2021-11-15 2022-02-08 中国华能集团清洁能源技术研究院有限公司 一种遥感影像语义分割方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Attentional Feature Fusion;Yimian Dai et al.;《arXiv》;第1-14页 *

Also Published As

Publication number Publication date
CN115035402A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN110443842B (zh) 基于视角融合的深度图预测方法
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN109087258B (zh) 一种基于深度学习的图像去雨方法及装置
CN113888744A (zh) 一种基于Transformer视觉上采样模块的图像语义分割方法
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN112396607A (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
Pérez-Benito et al. Smoothing vs. sharpening of colour images: Together or separated
CN112270366B (zh) 基于自适应多特征融合的微小目标检测方法
CN112991350A (zh) 一种基于模态差异缩减的rgb-t图像语义分割方法
CN112329801A (zh) 一种卷积神经网络非局部信息构建方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN115082675A (zh) 一种透明物体图像分割方法及系统
CN115035402B (zh) 一种用于土地覆盖分类问题的多级特征聚合系统及方法
CN115984701A (zh) 一种基于编解码结构的多模态遥感图像语义分割方法
CN115775316A (zh) 基于多尺度注意力机制的图像语义分割方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
CN114494699A (zh) 基于语义传播与前背景感知的图像语义分割方法及系统
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant