CN112580453A - 一种基于遥感影像和深度学习的土地利用分类方法及系统 - Google Patents

一种基于遥感影像和深度学习的土地利用分类方法及系统 Download PDF

Info

Publication number
CN112580453A
CN112580453A CN202011421679.3A CN202011421679A CN112580453A CN 112580453 A CN112580453 A CN 112580453A CN 202011421679 A CN202011421679 A CN 202011421679A CN 112580453 A CN112580453 A CN 112580453A
Authority
CN
China
Prior art keywords
features
remote sensing
image
original
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011421679.3A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202011421679.3A priority Critical patent/CN112580453A/zh
Publication of CN112580453A publication Critical patent/CN112580453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于遥感影像和深度学习的土地利用分类方法及系统，该方法包括：S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。本发明在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习，在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。

Description

一种基于遥感影像和深度学习的土地利用分类方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于遥感影像和深度学习的土地利用分类方法及系统。
背景技术
土地利用分类是区分土地利用空间地域组成单元的过程。这种空间地域单元是土地利用的地域组合单位，表现人类对土地利用、改造的方式和成果，反映土地的利用形式和用途(功能)。土地利用分类是为完成土地资源调查或进行统一的科学土地管理，从土地利用现状出发，根据土地利用的地域分异规律、土地用途、土地利用方式等，将一个国家或地区的土地利用情况，按照一定的层次等级体系划分为若干不同的土地利用类别。
高分辨率遥感影像的土地利用分类是遥感图像分析与应用的基础问题，由于遥感图像和自然图像之间的极大的差异性，目前将图像分析技术直接应用到遥感影像分析上的效果并不好，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象，而如何进一步提高土地利用分类的精度是目前研究中一直面临的问题。
发明内容
本发明所要解决的技术问题是现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象等问题。本发明目的在于提供一种基于遥感影像和深度学习的土地利用分类方法及系统，提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。
本发明通过下述技术方案实现：
第一方面，本发明提供了一种基于遥感影像和深度学习的土地利用分类方法，该方法包括以下步骤：
S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；
S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；
S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。
工作原理是：基于现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象等问题。本发明创新地设计了一种基于遥感影像和深度学习的土地利用分类方法，采用深度学习端到端的训练，方便模型的部署和应用；在特征提取网络中构造分层连接，为卷积神经网络提出了一种新的构建模块(即深度学习多尺度网络结构Res2Net)，以更细粒度表示小目标的多尺度特征，并增加每个网络层的感受野；同时，在上采样中采用多尺度特征融合来规避上采样结果模糊和平滑的弊端。
本发明为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。
本发明提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。
进一步地，步骤S1中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：由于城市和乡镇土地的遥感图像较大，为了后面的深度神经网络模型训练，将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。
进一步地，步骤S2的具体步骤如下：
S21：采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，即将步骤S1生成的训练集和验证集送入Res2Net提取图像特征的高维表达，在Resnet的基础上在每个残差单元增加层级残差链接，增加小目标特征提取的感受野。所述图像特征经过1x1卷积将特征分成4组特征xi，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为Ki，输出提取的特征yi的公式如下所示：
Figure BDA0002822647600000021
式中，xi表示第i组的卷积特征，ki表示第i组的3x3卷积，yi-1表示第i组卷积特征的输出；
S22：将步骤S21提取的特征yi和原特征xi集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：
Figure BDA0002822647600000031
式中，∑为求和符号。
进一步地，步骤S3的具体步骤如下：
S31：为了提升步骤S22提取特征对像素的判别能力，在解码的部分，采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；
Figure BDA0002822647600000032
其中din是输入的卷积，采用大小可变的池内核dkernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；
S32：将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无效的信息；提高深度神经网络模型对像素的判别能力。其中，不同的尺度对应不同的上采样回原特征。
S33：将步骤S32得到融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。
进一步地，所述步骤S2、S3中的使用过程中通过损失函数反向传播误差来优化神经网络模型的参数，即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么顾及难学习的样本，使用focal loss让模型更加关注难学习的样本。损失函数的公式为：
Figure BDA0002822647600000033
式中，α和γ是可以调节的超参数；ypred是模型的预测值，y是真实样本的类别。
第二方面，本发明还提供了一种基于遥感影像和深度学习的土地利用分类系统，该系统支持所述的一种基于遥感影像和深度学习的土地利用分类方法，该系统包括：
获取单元，用于获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；
处理单元包括第一处理单元和第二处理单元，所述第一处理单元，用于通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；所述第二处理单元，用于将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像；
输出单元，用于输出分类后的图像。
本发明系统为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段(第一处理单元)使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段(第二处理单元)使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。本发明和使用deeplab系列的网络相比精度提升了约5％，该土地利用分类能够快速准确的判断场景土地利用类型和位置，在地类检索、违章违建识别、土地资源管理等方面具有潜在应用价值。
进一步地，所述第一处理单元执行过程如下：
采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征xi，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为Ki，输出提取的特征yi的公式如下所示：
Figure BDA0002822647600000041
式中，xi表示第i组的卷积特征，ki表示第i组的3x3卷积，yi-1表示第i组卷积特征的输出；
将提取的特征yi和原特征xi集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：
Figure BDA0002822647600000042
式中，∑为求和符号。
进一步地，所述第二处理单元执行过程如下：
采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；
Figure BDA0002822647600000043
其中din是输入的卷积，采用大小可变的池内核dkernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；
将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无用的信息；
将融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。
第三方面，本发明还提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行所述的一种基于遥感影像和深度学习的土地利用分类方法。
第四方面，本发明还提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现所述的一种基于遥感影像和深度学习的土地利用分类方法。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明方法提出在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习。
2、本发明方法在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。
3、本发明网络使用深度学习端到端的结构，能够接收任意尺寸的原始影像，最后输出一张与原始影像相同大小且带有像素标注的分类图，即同时实现像素分类和定位的并存。
4、本发明提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种基于遥感影像和深度学习的土地利用分类方法流程图。
图2为本发明遥感图像的土地利用网络示意图。
图3为本发明实施例中实验在准确率和召回率的精度示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
在以下描述中，为了提供对本发明的透彻理解阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、电路、材料或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
在本发明的描述中，需要理解的是，术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
实施例1
如图1至图3所示，本发明一种基于遥感影像和深度学习的土地利用分类方法，该方法包括以下步骤：
S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；
S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；
S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。
本实施例中，步骤S1中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：由于城市和乡镇土地的遥感图像较大，为了后面的深度神经网络模型训练，将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。
本实施例中，步骤S2的具体步骤如下：
S21：采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，即将步骤S1生成的训练集和验证集送入Res2Net提取图像特征的高维表达，在Resnet的基础上在每个残差单元增加层级残差链接，增加小目标特征提取的感受野。所述图像特征经过1x1卷积将特征分成4组特征xi，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为Ki，输出提取的特征yi的公式如下所示：
Figure BDA0002822647600000071
式中，xi表示第i组的卷积特征，ki表示第i组的3x3卷积，yi-1表示第i组卷积特征的输出；
S22：将步骤S21提取的特征yi和原特征xi集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：
Figure BDA0002822647600000072
式中，∑为求和符号。
本实施例中，步骤S3的具体步骤如下：
S31：为了提升步骤S22提取特征对像素的判别能力，在解码的部分，采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；
Figure BDA0002822647600000073
其中din是输入的卷积，采用大小可变的池内核dkernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；
S32：将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无效的信息；提高深度神经网络模型对像素的判别能力。其中，不同的尺度对应不同的上采样回原特征。
S33：将步骤S32得到融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。
本实施例中，所述步骤S2、S3中的使用过程中通过损失函数反向传播误差来优化神经网络模型的参数，即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么顾及难学习的样本，使用focal loss让模型更加关注难学习的样本。损失函数的公式为：
Figure BDA0002822647600000081
式中，α和γ是可以调节的超参数。ypred是模型的预测值，y是真实样本的类别。
实施时：使用图像分割的技术对遥感影像快速、准确地获取农作物类别信息对农业部门的生产管理、政策制定具有重要作用。
本发明所采用的遥感图像包括36张高分二号(Gaofen-2，GF-2)影像，其空间分辨率均为1m/pixel。本发明对图像进行了人工标注，搭建了完整的数据集。实验在准确率和召回率上均有比较好的效果，准确率(precision)和召回率(recall)的精度如图3所示。
工作原理是：基于现有基于遥感影像的土地利用分类方法精度不高，效果不佳，因为遥感影像中由于分辨率产生的小样本分类训练难度大，易产生过拟合现象等问题。本发明创新地设计了一种基于遥感影像和深度学习的土地利用分类方法，采用深度学习端到端的训练，方便模型的部署和应用；在特征提取网络中构造分层连接，为卷积神经网络提出了一种新的构建模块(即深度学习多尺度网络结构Res2Net)，以更细粒度表示小目标的多尺度特征，并增加每个网络层的感受野；同时，在上采样中采用多尺度特征融合来规避上采样结果模糊和平滑的弊端。
本发明为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。
本发明提高小样本数据在神经网络中训练效果，在数据扩充的基础上，基于细粒度的分类关注小样本特征，将局部特征与全局特征结合在一起，既关注整体的分类效果又对局部更精细的分类。本发明技术从像素级的尺度对遥感图像的土地利用分类问题进行研究，像素级的土地利用分类技术能够分析遥感影像自动化完成解译工作，提取不同类别的面积等信息，有助于对作物状态和国土资源的状况及时掌握。
实施例2
如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种基于遥感影像和深度学习的土地利用分类系统，该系统支持实施例1所述的一种基于遥感影像和深度学习的土地利用分类方法，该系统包括：
获取单元，用于获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；
处理单元包括第一处理单元和第二处理单元，所述第一处理单元，用于通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；所述第二处理单元，用于将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像；
输出单元，用于输出分类后的图像。
本实施例中，所述获取单元中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：由于城市和乡镇土地的遥感图像较大，为了后面的深度神经网络模型训练，将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。
本实施例中，所述第一处理单元执行过程如下：
采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征xi，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为Ki，输出提取的特征yi的公式如下所示：
Figure BDA0002822647600000091
式中，xi表示第i组的卷积特征，ki表示第i组的3x3卷积，yi-1表示第i组卷积特征的输出；
将提取的特征yi和原特征xi集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：
Figure BDA0002822647600000092
式中，∑为求和符号。
本实施例中，所述第二处理单元执行过程如下：
采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；
Figure BDA0002822647600000093
其中din是输入的卷积，采用大小可变的池内核dkernel来抽象出不同的子区域，使用了padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调。
将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息，从而权重强的可以增强有用的特征，反之权重弱的可以削弱无用的信息；
将融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。
本实施例中，所述处理单元中通过损失函数反向传播误差来优化神经网络模型的参数，即将训练图像和标签一起输入深度神经网络中训练，通过损失函数反向传播误差来优化模型的参数，针对不同类别的像素数量不均衡提出了改进方法，但有时还需要将像素分为难学习和容易学习这两种样本。容易学习的样本模型可以很轻松地将其预测正确，模型只要将大量容易学习的样本分类正确，loss就可以减小很多，从而导致模型不怎么顾及难学习的样本，使用focal loss让模型更加关注难学习的样本。损失函数的公式为：
Figure BDA0002822647600000101
式中，α和γ是可以调节的超参数。ypred是模型的预测值，y是真实样本的类别。
本发明系统为解决遥感图像在像素级的土地利用分类中存在的问题，提出在编码阶段(第一处理单元)使用Res2Net的层级残余结构对小地物的特征加强学习。同时，在解码阶段(第二处理单元)使用多尺度的池化来覆盖遥感图像的各个尺度，对特征进行加强和过滤，提升模型的精度。本发明和使用deeplab系列的网络相比精度提升了约5％，该土地利用分类能够快速准确的判断场景土地利用类型和位置，在地类检索、违章违建识别、土地资源管理等方面具有潜在应用价值。
实施例3
如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行实施例1所述的一种基于遥感影像和深度学习的土地利用分类方法。
其中，一种基于遥感影像和深度学习的土地利用分类方法按照实施例1中的方法步骤执行。在此不再一一赘述。
实施例4
如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现实施例1所述的一种基于遥感影像和深度学习的土地利用分类方法。
其中，一种基于遥感影像和深度学习的土地利用分类方法按照实施例1中的方法步骤执行。在此不再一一赘述。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，该方法包括以下步骤：
S1：获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；
S2：通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；
S3：将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像。
2.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，步骤S1中对获取的城市和乡镇土地的遥感影像原始图像进行预处理，包括：将遥感影像原始图像切割成512x512的小图，并以7：2：1的比例划分为训练集、验证集和测试集。
3.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，步骤S2的具体步骤如下：
S21：采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征xi，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为Ki，输出提取的特征yi的公式如下所示：
Figure FDA0002822647590000011
式中，xi表示第i组的卷积特征，ki表示第i组的3x3卷积，yi-1表示第i组卷积特征的输出；
S22：将步骤S21提取的特征yi和原特征xi集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：
Figure FDA0002822647590000012
式中，∑为求和符号。
4.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，步骤S3的具体步骤如下：
S31：采用4种尺度的池化层来精炼特征的聚合能力，其中池化分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；其表达式如下：
Figure FDA0002822647590000013
其中din是输入的卷积，采用大小可变的池内核dkernel来抽象出不同的子区域，使用padding技术，在图像周围额外添加一圈像素，使得卷积后的图像尺寸和卷积前的一样，stride池化的步调；
S32：将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息；
S33：将步骤S32得到融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。
5.根据权利要求1所述的一种基于遥感影像和深度学习的土地利用分类方法，其特征在于，所述步骤S2、S3中的使用过程中通过损失函数反向传播误差来优化神经网络模型的参数，使用focal loss损失函数的公式为：
Figure FDA0002822647590000021
式中，α和γ是超参数；ypred是模型的预测值，y是真实样本的类别。
6.一种基于遥感影像和深度学习的土地利用分类系统，其特征在于，该系统支持如权利要求1至5中任意一项所述的一种基于遥感影像和深度学习的土地利用分类方法，该系统包括：
获取单元，用于获取城市和乡镇土地的遥感影像原始图像，并对其进行预处理；
处理单元包括第一处理单元和第二处理单元，所述第一处理单元，用于通过深度神经网络，对预处理后的原始图像进行卷积和池化处理，提取特征；并将提取的特征与原始图像的原特征进行级联，得到级联后的特征集；所述第二处理单元，用于将所述级联后的特征集进行多尺度的池化得到多尺度的映射特征，及将所述多尺度的映射特征通过融合与上采样处理至与原始图像相同的像素，得到分类后的图像；
输出单元，用于输出分类后的图像。
7.根据权利要求6所述的一种基于遥感影像和深度学习的土地利用分类系统，其特征在于，所述第一处理单元执行过程如下：
采用深度学习多尺度网络结构Res2Net，对预处理后的原始图像提取图像特征的高维表达，所述图像特征经过1x1卷积将特征分成4组特征xi，i∈{1,2,3,4}，每个子集的分辨率大小和原特征相同，通道数减少为原来的1/4表示为Ki，输出提取的特征yi的公式如下所示：
Figure FDA0002822647590000022
式中，xi表示第i组的卷积特征，ki表示第i组的3x3卷积，yi-1表示第i组卷积特征的输出；
将提取的特征yi和原特征xi集成在一起，即将局部的特征和全局的特征级联在一起，丰富特征F的表达式为：
Figure FDA0002822647590000031
式中，∑为求和符号。
8.根据权利要求6所述的一种基于遥感影像和深度学习的土地利用分类系统，其特征在于，所述第二处理单元执行过程如下：
采用4种尺度的池化层来精炼特征的聚合能力，其中池化的stride分别为1×1，2×2，3×3，6×6，从这四个维度覆盖遥感影像的各个尺度特征，在每个尺度的到后面一次使用1x1的卷积将通道数降低为1/4得到通道双线程插值得到多尺度特征；
将所述多尺度特征作为监督信息回传到各通道中，与解码器输入的特征每个像素对应相乘，学习各个特征的权重，得到加权后的原特征图信息；
将融合后的特征，在通道维度上结合所述多尺度特征融合信息与加权后的原特征图信息，经过双线性插值上采样得到预测输出结果。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-6任一所述的一种基于遥感影像和深度学习的土地利用分类方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-6任一所述的一种基于遥感影像和深度学习的土地利用分类方法。
CN202011421679.3A 2020-12-08 2020-12-08 一种基于遥感影像和深度学习的土地利用分类方法及系统 Pending CN112580453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011421679.3A CN112580453A (zh) 2020-12-08 2020-12-08 一种基于遥感影像和深度学习的土地利用分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011421679.3A CN112580453A (zh) 2020-12-08 2020-12-08 一种基于遥感影像和深度学习的土地利用分类方法及系统

Publications (1)

Publication Number Publication Date
CN112580453A true CN112580453A (zh) 2021-03-30

Family

ID=75127662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011421679.3A Pending CN112580453A (zh) 2020-12-08 2020-12-08 一种基于遥感影像和深度学习的土地利用分类方法及系统

Country Status (1)

Country Link
CN (1) CN112580453A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435254A (zh) * 2021-05-27 2021-09-24 云南师范大学 一种基于哨兵二号影像的耕地深度学习提取方法
CN113569788A (zh) * 2021-08-05 2021-10-29 中国科学院地理科学与资源研究所 一种建筑物语义分割网络模型训练方法、系统及应用方法
CN114707785A (zh) * 2021-12-03 2022-07-05 浙江臻善科技股份有限公司 基于深度学习的农村居民点多尺度空间特征分析方法
CN116246175A (zh) * 2023-05-05 2023-06-09 西昌学院 土地利用信息生成方法、电子设备和计算机可读介质
WO2023225808A1 (en) * 2022-05-23 2023-11-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Learned image compress ion and decompression using long and short attention module

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150684A1 (en) * 2016-11-30 2018-05-31 Shenzhen AltumView Technology Co., Ltd. Age and gender estimation using small-scale convolutional neural network (cnn) modules for embedded systems
CN110781923A (zh) * 2019-09-27 2020-02-11 重庆特斯联智慧科技股份有限公司 特征提取方法及装置
CN111242127A (zh) * 2020-01-15 2020-06-05 上海应用技术大学 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150684A1 (en) * 2016-11-30 2018-05-31 Shenzhen AltumView Technology Co., Ltd. Age and gender estimation using small-scale convolutional neural network (cnn) modules for embedded systems
CN110781923A (zh) * 2019-09-27 2020-02-11 重庆特斯联智慧科技股份有限公司 特征提取方法及装置
CN111242127A (zh) * 2020-01-15 2020-06-05 上海应用技术大学 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HANAWH: "【深度学习】【语义分割】ASPP", 《HTTPS://BLOG.CSDN.NET/QQ_36530992/ARTICLE/DETAILS/102628455》 *
LIANG-CHIEH CHEN 等: "Rethinking Atrous Convolution for Semantic Image Segmentation", 《ARXIV》 *
SHANG-HUA GAO 等: "Res2Net: A New Multi-scale Backbone Architecture", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
TSUNG-YI LIN 等: "Focal Loss for Dense Object Detection", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
XIAOPIN ZHAO 等: "DA-Res2Net: a novel Densely connected residual Attention network for image semantic segmentation", 《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》 *
三年一梦: "Focal Loss理解", 《HTTPS://WWW.CNBLOGS.COM/KING-LPS/P/9497836.HTML》 *
蒋斌 等: "基于 DenseNet 的复杂交通场景语义分割方法", 《模式识别与人工智能》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435254A (zh) * 2021-05-27 2021-09-24 云南师范大学 一种基于哨兵二号影像的耕地深度学习提取方法
CN113569788A (zh) * 2021-08-05 2021-10-29 中国科学院地理科学与资源研究所 一种建筑物语义分割网络模型训练方法、系统及应用方法
CN113569788B (zh) * 2021-08-05 2022-05-10 中国科学院地理科学与资源研究所 一种建筑物语义分割网络模型训练方法、系统及应用方法
CN114707785A (zh) * 2021-12-03 2022-07-05 浙江臻善科技股份有限公司 基于深度学习的农村居民点多尺度空间特征分析方法
WO2023225808A1 (en) * 2022-05-23 2023-11-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Learned image compress ion and decompression using long and short attention module
CN116246175A (zh) * 2023-05-05 2023-06-09 西昌学院 土地利用信息生成方法、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
Sun et al. BAS $^{4} $ Net: Boundary-aware semi-supervised semantic segmentation network for very high resolution remote sensing images
Wang et al. Remote sensing image super-resolution and object detection: Benchmark and state of the art
CN112580453A (zh) 一种基于遥感影像和深度学习的土地利用分类方法及系统
Dong et al. DenseU-net-based semantic segmentation of small objects in urban remote sensing images
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN112183432B (zh) 一种基于中分辨率sar图像的建筑区提取方法以及系统
Wang et al. Object-scale adaptive convolutional neural networks for high-spatial resolution remote sensing image classification
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN112712138A (zh) 一种图像处理方法、装置、设备及存储介质
CN115761222B (zh) 图像分割方法、遥感图像分割方法以及装置
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113256649A (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN109034213A (zh) 基于相关熵原则的高光谱图像分类方法和系统
CN116935332A (zh) 一种基于动态视频的渔船目标检测与跟踪方法
CN116343103A (zh) 一种基于三维gis场景与视频融合的自然资源监管方法
Liu et al. Semantic segmentation of high-resolution remote sensing images using an improved transformer
Wang et al. YOLO V4 with hybrid dilated convolution attention module for object detection in the aerial dataset
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
Li et al. Superdense-scale network for semantic segmentation
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 610000 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan

Applicant after: Chengdu shuzhilian Technology Co.,Ltd.

Address before: 610000 No.2, 4th floor, building 1, Jule Road intersection, West 1st section of 1st ring road, Wuhou District, Chengdu City, Sichuan Province

Applicant before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330