CN114943893B - 一种土地覆盖分类的特征增强方法 - Google Patents

一种土地覆盖分类的特征增强方法 Download PDF

Info

Publication number
CN114943893B
CN114943893B CN202210476210.2A CN202210476210A CN114943893B CN 114943893 B CN114943893 B CN 114943893B CN 202210476210 A CN202210476210 A CN 202210476210A CN 114943893 B CN114943893 B CN 114943893B
Authority
CN
China
Prior art keywords
feature
module
information
network
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210476210.2A
Other languages
English (en)
Other versions
CN114943893A (zh
Inventor
翁理国
马占明
胡凯
夏旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210476210.2A priority Critical patent/CN114943893B/zh
Publication of CN114943893A publication Critical patent/CN114943893A/zh
Application granted granted Critical
Publication of CN114943893B publication Critical patent/CN114943893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种土地覆盖分类的特征增强方法，包括如下步骤：S1、获取训练图像集和测试图像集；S2、构造网络模型，包括建立四个下采样层；S3、构建解码网络，包括建立自注意特征模块、通道特征强化模块和特征融合模块；S4、通过特征融合模块，将下采样过程中的不同尺寸的信息进行融合，指导骨干网络特征地图获取空间维度上隐藏层的信息。该种土地覆盖分类的特征增强方法，加强了隐藏层中的语义信息的提取，将隐藏层的语义信息传递原始特征图，得到特征图的上下文像素的类别信息，从而改善建筑物和水域分割过程中的边缘模糊和建筑物误判等问题，提高了分割精度，增强了算法的普适性。

Description

一种土地覆盖分类的特征增强方法
技术领域
本发明涉及图像处理技术领域，具体为一种土地覆盖分类的特征增强方法。
背景技术
随着遥感数据采集技术得进步，获得不同地区的多种遥感影像数据越来越便捷。传统的遥感影像分类方法有目视解译法、统计分析法、聚类分析法等。这些方法虽然简单、灵活，但是局限性很大且解译精度差，已经不适合当今的海量遥感影像分类。随后发展的支持向模糊数学、向量机、决策树和人工神经网络等分类法，在数据处理的速度上无法满足现在数据的“大尺度”和“时效性”。深度学习的出现为土地覆盖分类提供了一种新的方法。深度学习是一种深层次结构的神经网络，比人工神经网络、支持向量机等浅层结构的模型能够更好地提取遥感影像的特征，在影像分类中取得了比以往更高的精度，有效地推动遥感影像自动化、智能化解译的发展。
CNN提取的抽象特征对图像分类、图像中包含哪些类别的物体，以及图像中物体粗略位置的定位很有效，但是由于采用了感知域，对图像特征的提取更多的是以“一小块临域”为单位的，因此很难做到精细(像素级)的分割，不能很准确的划定物体具体的轮廓。遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。因此针对复杂场景的建筑物和水域检测目前存在的不足之处总结如下：
问题1：现有的语义分割网络更多的使用特征图多尺度融合来增强图像分割的效果，对通道信息关注不够，导致建筑物和水域误判。
问题2：现有的语义分割通常采用下采样操作来提取抽象语义特征，因此高分辨率细节容易丢失，分割结果中会出现细节不准确、边缘模糊等问题。
对于问题1，利用自注意特征模块，从隐藏层中提取特征信息，并将隐藏层的特征信息传递到原始特征图，有效获取上下文语义信息之间的依赖关系。并且我们提出的通道注意模块，通过对各通道的依赖性进行建模并提高网络的表示能力，并且对特征信息进行逐个通道调整，这样网路就可以学习通过最大池化信息来选择性的加强包含有用的特征并抑制无用特征，从而提升模型的泛化能力，减少建筑物和水域大面积误判。
对于问题2，在解决问题1的基础上，利用特征融合模块用于指导骨干网络特征地图获取空间维度上隐藏层的信息。最后通过上采样恢复特征图，输出结果是更加详细的预测图像。
为解决上述两个问题，最终本发明专利提出了一种土地覆盖分类的特征增强方法。
发明内容
本发明的主要目的在于提供一种用于土地覆盖分类的特征增强方法，网络加强了隐藏层中的语义信息的提取，将隐藏层的语义信息传递原始特征图，得到特征图的上下文像素的类别信息，从而改善建筑物和水域分割过程中的边缘模糊和建筑物误判等问题，提高了分割精度，增强了算法的普适性。本发明提供了如下的技术方案：
本发明一种土地覆盖分类的特征增强方法，是利用深度学习平台实现分类网络的搭建，分类网络的训练包括数据集的制作及训练调参过程，包括如下步骤：
S1、获取训练图像集和测试图像集；
S2、构造网络模型，包括建立四个下采样层，将图像数据输入模型中，逐层采样获取语义信息，并被提供给解码网络用于语义信息解码，为上采用做准备；
S3、构建解码网络，包括建立自注意特征模块、通道特征强化模块和特征融合模块；所述自注意特征模块用于获取隐藏层更多的特征信息，并将隐藏层的特征信息传递到原始特征图，获取上下文语义信息之间的依赖关系；所述通道特征强化模块用于对各通道的依赖性进行建模，以提高网络的表示能力；
S4、通过特征融合模块，将下采样过程中的不同尺寸的信息进行融合，指导骨干网络特征地图获取空间维度上隐藏层的信息，之后通过上采样恢复特征图，输出结果即为更加详细的预测图像；
S5、利用数据集对分类网络进行模型迭代训练，进行准确度测试，直至模型训练达到预想效果。
作为本发明的一种优选技术方案，所述步骤S1的具体步骤如下：
S1.1、在谷歌地球上截取若干张分辨率为1500×800的大图；
S1.2、对截取图片使用labelme工具进行人工掩膜标注，标记为3种类型的对象：建筑物、水域和背景；
S1.3、对图片进行分块，将其中70％作为训练集，将30％作为验证集。
作为本发明的一种优选技术方案，所述步骤S3中通道特征强化模块是利用特征通道之间的关系来生成通道关注图，具体流程如下：
S301、通过最大池化提取特征图的纹理信息，以用来聚合要素图像中的空间信息，输入的特征图通过最大池化可以生成一个空间上下文描述符，描述符被转发到一个共享网络，通过sigmoid函数产生通道关注图，共享网络应用于每个描述符之后，通过sigmoid函数输出特征向量；
S302、对特征图进行1×1卷积，之后乘以通过sigmoid函数输出特征向量，用来完成通道维度的重新校准，最终通道特征强化模块输出通道分量。
作为本发明的一种优选技术方案，所述S3中自注意特征模块获取每个隐藏层与其上下文隐藏层之间关系的具体流程为：
S303、通过1×1卷积对输入特征图进行降维；
S304、将通过1×1卷积操作之后特征图分别通过三个映射函数η，φ，γ实现尺寸为的C×H×W特征映射，特征映射分别对应查询矩阵Xq、键矩阵XK、值矩阵XV；
S305、查询矩阵Xq、键矩阵XK和值矩阵XV分别通过映射函数η、φ和γ获得，查询矩阵通过关键矩阵查询通道之间的特征信息，将键值矩阵乘以查询矩阵，对得到的特征矩阵的第一维进行归一化Softmax，得到矩阵计算过程可表示为：/>
S306、通过归一化Softmax之后得到的特征矩阵的每个通道重要性被区分，将获得的值矩阵XV与包含通道重要信息的特征矩阵/>相乘得到特征图，特征图通过特征映射函数μ输出检测结果图，隐藏层特征信息被传送到原始特征图，并且获得包含每个像素及其上下文像素的类别信息的特征映射。
作为本发明的一种优选技术方案，所述步骤S4的具体流程为：
S401、低级特征向量x首先进行3×3的批量归一化和ReLU非线性激活函数，实现维数H×W×C的特征映射
S402、输入高级特征向量y通过嵌入式模块SFS计算输出结果V，输入高级特征向量y进行不同卷积核大小的卷积操作，对高级特征向量y进行卷积核3×3操作之后输出特征对高级特征向量y进行卷积核5×5的卷积操作输出/>实现不同尺寸感受野的自适应调整，然后进行两个特征图的像素级融合，得到新的特征图U，计算过程如下所示：
S403、特征图U通过Fgp函数生成1×1×C的特征图s，其中Fgp为全局平均池化函数，对整个网路在结构上做正则化防止过拟合，s中的第C个元素通过步骤S402中U的H×W维度上进行压缩计算得到的，计算过程如下：
sC＝Fgp(UC)；
S404、特征图s通过Ffc函数生成一个紧凑的特征向量z，其中Ffc为全连接函数，使其能够进行精确和自适应的选择特征，同时减少维度以提高效率，计算过程如下：
z＝Ffc(s)；
S405、特征向量z通过重塑操作调整形状变为两个全连接层的值a和值b，选择按照信道的方向使用softmax，值a和值b经过softmax之后输出两个矩阵ac和bc，ac是a的第c个元素，bc是b的第c个元素，将生成的两个函数ac和bc分别与步骤S402中高级特征向量y进行卷积核3×3操作之后输出的特征和对高级特征向量y进行卷积核5×5的卷积操作输出的/>分别相乘得到新的特征/>和新的特征/>
S406、由于ac+bc＝1，能够实现对分支中的特征图设置权重，又因为不同的分支卷积核尺寸不同，实现了让网络自己选择合适的卷积核。对步骤S405中的输出新的特征和新的特征/>进行加权操作，然后求和得到最终的输出向量V，计算过程如下所示：
S407、高级特征y进行3×3卷积、批量归一化和ReLU后，实现维数H×W×C的特征映射特征映射/>与嵌入式SFS模块输出结果V相乘得到新的权重与特征映射/>相加，输出融合后的特征图New，SFS(·)代表的是嵌入式SFS模块的整个计算过程，在解码的过程中使用该模块三次，计算过程如下所示：
S408、特征融合模块可以融合不同尺寸的特征图，低级特征向量x输入的是来自通道特征强化模块的特征图，高级特征向量y输入的是来自自注意模块的特征图，通道特征强化模块和自注意模块的输入都是骨干网特征图，然后特征融合模块将高级层特征信息与低级特征信息进行融合以用来提高土地覆盖分割精度，输出更加精细的检测图。
作为本发明的一种优选技术方案，所述步骤S5的具体为：将遥感数据集输入到网络中进行训练，在训练次数达到预设阈值或测试的准确度达到目标数值后表明所搭建的网络模型已经符合要求。
本发明的有益效果是：
1、该种土地覆盖分类的特征增强方法，通道注意强化模块通过对各通道的依赖性进行建模并提高网络的表示能力，并且对特征信息进行逐个通道调整，这样网络就可以学习通过最大池化信息来选择性的加强包含有用的特征并抑制无用特征，这个方法解决了建筑物大面积误判和水域分割过程中边缘模糊等问题；
2、本发明构建了特征融合模块用于指导骨干网络特征地图获取空间维度上隐藏层的信息。从通道注意强化模块和自注意特征模块中提取隐藏层空间维度的特征信息，增强特征图的语义信息。它有助于通过更精确的上采样恢复特征图，提高分割精度；
3、本发明构建的自注意模块可以有效探索隐藏层之间的特征信息，通过对特征图每个维度进行不同程度的缩放操作，过滤冗余信息来提取高分辨率遥感图像的深层全局信息，从而优化学习的上下文。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的实现流程图；
图2是本发明实施例中所构建的土地检测网络的结构示意图；
图3是本发明的通道特征强化模块的结构图；
图4是本发明的自注意模块的结构图；
图5是本发明的特征融合模块的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：本发明所提出的用于土地覆盖分类的特征增强方法，最主要的工作为搭建并训练网络，该网络输入土地覆盖的遥感图像，并通过网络输出遥感图像的预测结果。利用深度学习平台实现所网络的搭建，网络的训练包括数据集的制作及训练调参过程。
整体流程图如图1所示，具体包括如下步骤：
1.获取训练图像集和测试图像集
步骤1、本发明中数据集来自谷歌地球，它将卫星照片、航拍照片和GIS以三维模型的形式呈现出来。在谷歌地球上截取若干张分辨率为1500×800的大图，这些大图空间跨度极大，拍摄角度多样，数据集覆盖范围广，包括很多较为复杂的地形环境，较为逼真的模拟真实土地覆盖分割任务情景，充分考察了模型的真实检测能力。
步骤2、对截取图片使用labelme工具进行人工掩膜标注，这些图片被手动标记为3种类型的对象：建筑物(白色，RGB[255,255,255])，水域(蓝色，RGB[0,180,255])，背景(黑色，RGB[0,0,0])。数据集共有2000张像素为224×224的图片组成，是由若干张1500×800的大图裁剪而成。
步骤(3)将图片进行分块，将其中70％作为训练集，将30％作为验证集，分拣完成后有1400张训练集，600张验证集。
2.构造网络模型
如图2所示，本发明构造了多级聚合网络模型，模型主要分为编码和解码结构，采用ResNet18作为主干网络，经过多层下采样获取更丰富的语义信息，经过自注意模块过滤冗余信息，通过通道强化模块对各通道的依赖性进行建模挖掘隐藏信息，然后通过多级特征融合模块融合高级和低级语义信息，最终不断上采样输出预测图，实现分割任务。
如图3所示，本发明在模型中构造了一种通道特征强化模块，利用特征通道之间的关系来生成通道关注图。通道注意力在给定输入图像是“什么”有意义的。特征图的每个通道都被视为特征检测器，我们挤压输入特征图的空间维度来计算通道注意力。具体步骤如下：
步骤1、为了减少无关信息的影响，我们通过最大池化提取纹理信息，以用来聚合要素图像中的空间信息，输入的特征图通过最大池化可以生成一个空间上下文描述符。实现在输入图像上进行小的空间位移时保持平移不变性以便于网络获得较好的鲁棒性，描述符被转发到一个共享网络(MLP)，通过sigmoid函数产生我们的通道关注图。共享网络由带有一个隐藏层的多层感知器(MLP)组成。共享网络应用于每个描述符之后，我们通过sigmoid函数输出特征向量。
步骤2、为了匹配通道的数量，特征图经过1×1卷积之后乘以通过sigmoid函数输出特征向量，用来完成通道维度的重新校准，最终通道特征强化模块输出通道分量。
如图4所示，本发明在模型中构造了自注意特征模块。将自我注意机制的思想嵌入到卷积神经网络的隐藏层中，获取每个隐藏层与其上下文隐藏层之间的关系，从而实现隐藏层特征信息到原始特征图的传递，捕获像素分类过程中上下文像素的类别，从而有效减少像素误分类，避免网络分割过程中建筑物误判和水域边缘模糊。具体步骤如下：
步骤1、首先对输入图像进行降维，图像特征图X的维数是C×H×W，由于通道C＝512或者C＝256太大，参数在传递过程中的计算量比较大，为了减少计算负担，在通过1×1卷积来降低特征维数。
步骤2、将通过1×1卷积操作之后特征图分别通过三个映射函数η，φ，γ实现尺寸为的C×H×W特征映射，特征映射分别对应查询矩阵Xq、键矩阵XK、值矩阵XV。用以捕获每个像素及其上下文像素的类别信息。特征映射的目的是便于矩阵乘法。矩阵乘法可以将提取的隐藏层的特征信息传递到原始特征图中。
步骤3、查询矩阵Xq、键矩阵XK和值矩阵XV分别通过映射函数η、φ和γ获得，查询矩阵通过关键矩阵查询通道之间的特征信息，将键值矩阵乘以查询矩阵，对得到的特征矩阵的第一维进行归一化Softmax，得到矩阵计算过程可表示为：/>
步骤4，通过归一化Softmax之后得到的特征矩阵的每个通道重要性被区分，将获得的值矩阵XV与包含通道重要信息的特征矩阵/>相乘得到特征图，特征图通过特征映射函数μ输出检测结果图，隐藏层特征信息被传送到原始特征图，并且获得包含每个像素及其上下文像素的类别信息的特征映射。可以改善建筑物和水域分类错误和误判等问题。
如图5所示，本发明在模型中构建了特征融合模块，在自注意模块和通道特征强化模块探索隐藏层的特征信息后，通过三个特征融合模块逐步完成将隐藏层的特征信息与主干网的特征图融合。特征融合模块的主要思想是使用高级特征为低级特征指导信息以生成新特征。这项工作的提出的特征融合模块如图5所示，特征融合模块合并了骨干网特征图和自注意模块、通道特征强化模块提取的隐藏层特征图以用来提高分割精度。具体步骤如下：
步骤1、低级特征向量x首先进行3×3的批量归一化和ReLU非线性激活函数，实现维数H×W×C的特征映射
步骤2、输入高级特征向量y通过嵌入式模块SFS计算输出结果V，输入高级特征向量y进行不同卷积核大小的卷积操作，对高级特征向量y进行卷积核3×3操作之后输出特征对高级特征向量y进行卷积核5×5的卷积操作输出/>实现不同尺寸感受野的自适应调整，然后进行两个特征图的像素级融合，得到新的特征图U，计算过程如下所示：
步骤3、特征图U通过Fgp函数生成1×1×C的特征图s，其中Fgp为全局平均池化函数，对整个网路在结构上做正则化防止过拟合，s中的第C个元素通过步骤2中U的H×W维度上进行压缩计算得到的，计算过程如下：
sC＝Fgp(UC)；
步骤4、特征图s通过Ffc函数生成一个紧凑的特征向量z，其中Ffc为全连接函数，使其能够进行精确和自适应的选择特征，同时减少维度以提高效率，计算过程如下：
z＝Ffc(s)；
步骤5、特征向量z通过重塑操作调整形状变为两个全连接层的值a和值b，选择按照信道的方向使用softmax，值a和值b经过softmax之后输出两个矩阵ac和bc，ac是a的第c个元素，bc是b的第c个元素，将生成的两个函数ac和bc分别与步骤2中高级特征向量y进行卷积核3×3操作之后输出的特征和对高级特征向量y进行卷积核5×5的卷积操作输出的/>分别相乘得到新的特征/>和新的特征/>
步骤6、由于ac+bc＝1，能够实现对分支中的特征图设置权重，又因为不同的分支卷积核尺寸不同，实现了让网络自己选择合适的卷积核。对步骤S405中的输出新的特征和新的特征/>进行加权操作，然后求和得到最终的输出向量V，计算过程如下所示：
步骤7、高级特征y进行3×3卷积、批量归一化和ReLU后，实现维数H×W×C的特征映射特征映射/>与嵌入式SFS模块输出结果V相乘得到新的权重与特征映射/>相加，输出融合后的特征图New，SFS(·)代表的是嵌入式SFS模块的整个计算过程，在解码的过程中使用该模块三次，计算过程如下所示：
步骤8、特征融合模块可以融合不同尺寸的特征图，低级特征向量x输入的是来自通道特征强化模块的特征图，高级特征向量y输入的是来自自注意模块的特征图，通道特征强化模块和自注意模块的输入都是骨干网特征图，然后特征融合模块将高级层特征信息与低级特征信息进行融合以用来提高土地覆盖分割精度，输出更加精细的检图。
3.利用数据集进行网络模型训练的过程如下
将遥感数据集输入到网络中进行训练，在训练次数达到预设阈值或测试的准确度达到目标数值后表明本发明所搭建的网络模型已经符合要求。具体步骤如下：
3.1将做好数据集进行挑选，将全图为背景的进行剔除，然后将训练集和验证集按照7：3进行分拣，这些图片被手动标记为3种类型的对象：建筑物(白色，RGB[255,255,255])，水域(蓝色，RGB[0,180,255])，背景(黑色，RGB[0,0,0])。数据集共有2000张像素为224×224的图片组成，是由若干张1500×800的大图裁剪而成。
3.2本发明在Windows平台上使用单个GTX3070显卡进行推理计算。该模型采用深度学习框架pytorch构建，所有模型被训练300个epoch，初始学习率为0.001，批量大小为3。设置Adam优化器的权重衰减为0.0001，其它参数为默认值。
3.3本发明以像素准确率(PA)、类别平均像素准确率(MPA)、平均交并比(MIou)作为模型的评价指标。为了验证本发明的使用有效性，将本发明与BisenetV2、ExtremeC3、FCN8s、PAN、PSPNet、Unet、SegNet、EsNet、EDANet、LinkNet、DeeplabV3plus、OcrNet进行了比较，所得结果如表1所示。
表1各模型对比结果
网络 类别平均像素准确率(％) 像素准确率(％) 平均交并比(％)
Fcn8s 80.99 81.71 65.35
SegNet 87.06 87.78 75.23
LinkNet 88.95 88.30 77.80
PAN 87.11 89.12 77.86
EDANet 87.04 89.25 77.86
ExtremeC3 88.60 88.36 78.75
DeepLapV3+ 88.88 86.44 79.20
BiseNetV2 89.17 89.50 79.47
EsNet 90.19 88.95 79.65
UNet 90.46 89.35 79.98
OcrNet 89.39 90.06 80.49
PSPNet 88.83 89.49 80.85
本发明 90.10 90.90 82.85
表1可以看出，本发明提出的土地覆盖分类特征增强方法，MPA，PA，MIoU分别获得90.10％、90.90％和82.85％。加强了隐藏层通道之间的重要性搜索，有效的将隐藏层特征信息和骨干网特征图相结合，减少了遥感图像中建筑物和水域的大面积误判。所有的三项指标几乎全部超过了比较网络。本发明在土地覆盖分割任务中能够得到较好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，本发明基于现有的深度学习平台，提出的模块能够有效提高分类性能，优化策略能够提高训练过程的稳定性和准确性，在提高精度的同时能够解决输出结果建筑物和水域误判以及轮廓不清楚的问题。本发明设计的土地覆盖分类特征增强方法充分挖掘了隐藏层特征信息，提供了丰富的语义信息特征图，实现了建筑物和水域轮廓的有效提取，并且提高了算法的泛化性能。

Claims (3)

1.一种土地覆盖分类的特征增强方法，是利用深度学习平台实现分类网络的搭建，分类网络的训练包括数据集的制作及训练调参过程，其特征在于，包括如下步骤：
S1、获取训练图像集和测试图像集；
S2、构造网络模型，包括建立四个下采样层，将图像数据输入模型中，逐层采样获取语义信息，并被提供给解码网络用于语义信息解码，为上采用做准备；
S3、构建解码网络，包括建立自注意特征模块、通道特征强化模块和特征融合模块；所述自注意特征模块用于获取隐藏层更多的特征信息，并将隐藏层的特征信息传递到原始特征图，获取上下文语义信息之间的依赖关系；所述通道特征强化模块用于对各通道的依赖性进行建模，以提高网络的表示能力；
S4、通过特征融合模块，将下采样过程中的不同尺寸的信息进行融合，指导骨干网络特征地图获取空间维度上隐藏层的信息，之后通过上采样恢复特征图，输出结果即为更加详细的预测图像；
S5、利用数据集对分类网络进行模型迭代训练，进行准确度测试，直至模型训练达到预想效果；
所述步骤S3中通道特征强化模块是利用特征通道之间的关系来生成通道关注图，具体流程如下：
S301、通过最大池化提取特征图的纹理信息，以用来聚合要素图像中的空间信息，输入的特征图通过最大池化可以生成一个空间上下文描述符，描述符被转发到一个共享网络，通过sigmoid函数产生通道关注图，共享网络应用于每个描述符之后，通过sigmoid函数输出特征向量；
S302、对特征图进行1×1卷积，之后乘以通过sigmoid函数输出特征向量，用来完成通道维度的重新校准，最终通道特征强化模块输出通道分量；
所述步骤S3中自注意特征模块获取每个隐藏层与其上下文隐藏层之间关系的具体流程为：
S303、通过1×1卷积对输入特征图进行降维；
S304、将通过1×1卷积操作之后特征图分别通过三个映射函数η，φ，γ实现尺寸为的C×H×W特征映射，特征映射分别对应查询矩阵Xq、键矩阵XK、值矩阵XV；
S305、查询矩阵Xq、键矩阵XK和值矩阵XV分别通过映射函数η、φ和γ获得，查询矩阵通过关键矩阵查询通道之间的特征信息，将键值矩阵乘以查询矩阵，对得到的特征矩阵的第一维进行归一化Softmax，得到矩阵计算过程可表示为：/>
S306、通过归一化Softmax之后得到的特征矩阵的每个通道重要性被区分，将获得的值矩阵XV与包含通道重要信息的特征矩阵/>相乘得到特征图，特征图通过特征映射函数μ输出检测结果图，隐藏层特征信息被传送到原始特征图，并且获得包含每个像素及其上下文像素的类别信息的特征映射；
所述步骤S4的具体流程为：
S401、低级特征向量x首先进行3×3的批量归一化和ReLU非线性激活函数，实现维数H×W×C的特征映射
S402、输入高级特征向量y通过嵌入式模块SFS计算输出结果V，输入高级特征向量y进行不同卷积核大小的卷积操作，对高级特征向量y进行卷积核3×3操作之后输出特征对高级特征向量y进行卷积核5×5的卷积操作输出/>实现不同尺寸感受野的自适应调整，然后进行两个特征图的像素级融合，得到新的特征图U，计算过程如下所示：
S403、特征图U通过Fgp函数生成1×1×C的特征图s，其中Fgp为全局平均池化函数，对整个网路在结构上做正则化防止过拟合，s中的第C个元素通过步骤S402中U的H×W维度上进行压缩计算得到的，计算过程如下：
sC＝Fgp(UC)；
S404、特征图s通过Ffc函数生成一个紧凑的特征向量z，其中Ffc为全连接函数，使其能够进行精确和自适应的选择特征，同时减少维度以提高效率，计算过程如下：
z＝Ffc(s)；
S405、特征向量z通过重塑操作调整形状变为两个全连接层的值a和值b，选择按照信道的方向使用softmax，值a和值b经过softmax之后输出两个矩阵ac和bc，ac是a的第c个元素，bc是b的第c个元素，将生成的两个函数ac和bc分别与步骤S402中高级特征向量y进行卷积核3×3操作之后输出的特征和对高级特征向量y进行卷积核5×5的卷积操作输出的/>分别相乘得到新的特征/>和新的特征/>
S406、由于ac+bc＝1，能够实现对分支中的特征图设置权重，又因为不同的分支卷积核尺寸不同，实现了让网络自己选择合适的卷积核；对步骤S405中的输出新的特征和新的特征/>进行加权操作，然后求和得到最终的输出向量V，计算过程如下所示：
S407、高级特征y进行3×3卷积、批量归一化和ReLU后，实现维数H×W×C的特征映射特征映射/>与嵌入式SFS模块输出结果V相乘得到新的权重与特征映射/>相加，输出融合后的特征图New，SFS(·)代表的是嵌入式SFS模块的整个计算过程，在解码的过程中使用该模块三次，计算过程如下所示：
S408、特征融合模块可以融合不同尺寸的特征图，低级特征向量x输入的是来自通道特征强化模块的特征图，高级特征向量y输入的是来自自注意模块的特征图，通道特征强化模块和自注意模块的输入都是骨干网特征图，然后特征融合模块将高级层特征信息与低级特征信息进行融合以用来提高土地覆盖分割精度，输出更加精细的检测图。
2.根据权利要求1所述的一种土地覆盖分类的特征增强方法，其特征在于，所述步骤S1的具体步骤如下：
S1.1、在谷歌地球上截取若干张分辨率为1500×800的大图；
S1.2、对截取图片使用labelme工具进行人工掩膜标注，标记为3种类型的对象：建筑物、水域和背景；
S1.3、对图片进行分块，将其中70％作为训练集，将30％作为验证集。
3.根据权利要求1所述的一种土地覆盖分类的特征增强方法，其特征在于，所述步骤S5的具体为：将遥感数据集输入到网络中进行训练，在训练次数达到预设阈值或测试的准确度达到目标数值后表明所搭建的网络模型已经符合要求。
CN202210476210.2A 2022-04-29 2022-04-29 一种土地覆盖分类的特征增强方法 Active CN114943893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210476210.2A CN114943893B (zh) 2022-04-29 2022-04-29 一种土地覆盖分类的特征增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210476210.2A CN114943893B (zh) 2022-04-29 2022-04-29 一种土地覆盖分类的特征增强方法

Publications (2)

Publication Number Publication Date
CN114943893A CN114943893A (zh) 2022-08-26
CN114943893B true CN114943893B (zh) 2023-08-18

Family

ID=82907777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210476210.2A Active CN114943893B (zh) 2022-04-29 2022-04-29 一种土地覆盖分类的特征增强方法

Country Status (1)

Country Link
CN (1) CN114943893B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496342A (zh) * 2022-09-05 2022-12-20 煤炭科学技术研究院有限公司 一种基于主客观动态权重的冲击地压预警方法和装置
CN116503406B (zh) * 2023-06-28 2023-09-19 中铁水利信息科技有限公司 基于大数据的水利工程信息管理系统
CN117689960B (zh) * 2024-01-31 2024-04-26 中国地质大学（武汉） 一种岩性场景分类模型构建方法及分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200090A (zh) * 2020-10-12 2021-01-08 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN113469094A (zh) * 2021-07-13 2021-10-01 上海中科辰新卫星技术有限公司 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200090A (zh) * 2020-10-12 2021-01-08 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN113469094A (zh) * 2021-07-13 2021-10-01 上海中科辰新卫星技术有限公司 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的高分辨率遥感影像语义分割研究;胡支波;中国优秀硕士学位论文全文数据库(第12期);第3、4章 *

Also Published As

Publication number Publication date
CN114943893A (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN108537742A (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN110111346B (zh) 基于视差信息的遥感图像语义分割方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN109034184A (zh) 一种基于深度学习的均压环检测识别方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN116052016A (zh) 基于深度学习的遥感图像云和云影的精细分割检测方法
CN112419333B (zh) 一种遥感影像自适应特征选择分割方法及系统
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN114494821A (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN117372881B (zh) 一种烟叶病虫害智能识别方法、介质及系统
Li et al. A self-attention feature fusion model for rice pest detection
CN111832508B (zh) 基于die_ga的低照度目标检测方法
Li et al. ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution
CN112528803B (zh) 道路特征提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant