CN113963261A - 基于多尺度融合的全卷积神经网络耕地提取方法及系统 - Google Patents

基于多尺度融合的全卷积神经网络耕地提取方法及系统 Download PDF

Info

Publication number
CN113963261A
CN113963261A CN202111255638.6A CN202111255638A CN113963261A CN 113963261 A CN113963261 A CN 113963261A CN 202111255638 A CN202111255638 A CN 202111255638A CN 113963261 A CN113963261 A CN 113963261A
Authority
CN
China
Prior art keywords
scale
feature
neural network
convolution neural
characteristic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111255638.6A
Other languages
English (en)
Inventor
朱瑞飞
李竺强
马经宇
王春月
徐猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang Guang Satellite Technology Co Ltd
Original Assignee
Chang Guang Satellite Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Guang Satellite Technology Co Ltd filed Critical Chang Guang Satellite Technology Co Ltd
Priority to CN202111255638.6A priority Critical patent/CN113963261A/zh
Publication of CN113963261A publication Critical patent/CN113963261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度融合的全卷积神经网络耕地提取方法及系统，其中，该方法包括：基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，对得到的多个矢量单元进行图像处理，得到训练样本数据集；构建多尺度融合的全卷积神经网络，利用训练样本数据集对多尺度融合的全卷积神经网络进行训练，其中，多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块；将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中进行预测，生成类别栅格影像，并通过图像后处理算法得到最终的耕地矢量图斑。该方法可以从高分辨率影像中稳定地提取较为规整、均质的耕地地块矢量。

Description

基于多尺度融合的全卷积神经网络耕地提取方法及系统
技术领域
本发明涉及光学遥感技术领域，特别涉及一种基于多尺度融合的全卷积神经网络耕地提取方法及系统。
背景技术
耕地的数量和质量是保证我国农业可持续发展的关键。通过遥感图像对耕地进行识别和分类的意义不止在于能够有利用对耕地进行监测和保护。对不同时间段的遥感图像上耕地进行分析，可以对于我国农作物长势、分布甚至产量等信息进行统计和预估。传统的遥感耕地提取多依靠中低分辨率的多光谱影像，主要通过农作物在生长季的光谱特征与其他地物的光谱差异进行耕地分布范围的提取。此方法适合提取大范围种植区域的耕地提取，对于小面积的耕地提取精度很难保证。
利用高分辨率遥感影像准确地提取耕地地块是精准农业的基本任务与迫切需求。一些学者提出了基于影像分割的方式来获得完整、规则的地块，但由于欠分割，过分割等问题的存在，很难得到较高的精度。目前，获取高精度的耕地地块产品主要还是依靠人工解译以及计算机辅助制图的手段为主，费时费力。高分辨率遥感影像耕地地块的自动化提取算法依然是国内外遥感应用领域共同面临的科学问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于多尺度融合的全卷积神经网络耕地提取方法，该方法可以从高分辨率中稳定地提取较为规整、均质的耕地地块矢量。
本发明的另一个目的在于提出一种基于多尺度融合的全卷积神经网络耕地提取系统。
为达到上述目的，本发明一方面实施例提出了基于多尺度融合的全卷积神经网络耕地提取方法，包括以下步骤：步骤S1，基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集；步骤S2，构建多尺度融合的全卷积神经网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块；步骤S3，将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
本发明实施例的基于多尺度融合的全卷积神经网络耕地提取方法，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影像中稳定地提取较为规整、匀质的耕地地块矢量。
另外，根据本发明上述实施例的基于多尺度融合的全卷积神经网络耕地提取方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述步骤S1具体包括：步骤S101，通过预设遥感卫星获取所述高分辨率遥感影像，并对所述高分辨率遥感影像进行预处理；步骤S102，通过面向对象多尺度分割的方式对预处理后的高分辨率遥感影像进行无监督分割，得到多个矢量单元；步骤S103，对所述多个矢量单元进行图像处理，得到所述训练样本数据集。
进一步地，在本发明的一个实施例中，还包括：步骤S104，利用增强方法对所述训练样本数据集中的样本数据进行翻转、旋转、裁剪以及缩放任一种或多种组合操作，增加所述训练样本数据集中样本数据数量。
进一步地，在本发明的一个实施例中，所述步骤S2具体包括：步骤S201，向所述多尺度融合的全卷积神经网络输入所述训练样本数据集中的样本原始影像图，经过两个3×3的卷积以及两个BN层以及ReLU激活函数，输出样本原始影像图尺寸
Figure BDA0003323759850000021
大小的特征图；步骤S202，利用四个尺度的特征网络分支结构将卷积前特征与一系列四种尺度卷积后的特征进行并行连接，输出的四个分支结构分别为包含样本原始影像图尺寸大小的特征图；步骤S203，将所述包含样本原始影像图尺寸大小的特征图进行统一采样为第一个尺度大小的特征图进行连接，得到初始融合特征F1；步骤S204，通过所述初始融合特征F1计算影像的类别概率图Pm，粗略估计每一个像素所属的类别特征Fc；步骤S205，利用注意力机制转换将像元特征与所述类别特征Fc进行处理，得到上下文特征Fq；步骤S206，根据所述上下文特征Fq，并将所述初始融合特征F1与上下文特征进行融合，得到的分割特征F2；步骤S207，利用交叉熵作为类别损失函数，通过随机梯度下降优化函数进行损失下降，完成所述多尺度融合的全卷积神经网络训练。
进一步地，在本发明的一个实施例中，所述步骤S202中具体包括：
所述第一个分支结构，包括四个Bottleneck Block残差块，输出特征图S1，所述特征图S1的尺寸为样本样本原始影像图的
Figure BDA0003323759850000022
所述第二个分支结构，将所述第一特征图S1并行扩展，根据所述第一特征图S1分别进行尺度变换，包括特征通道降维以及下采样生成特征图
Figure BDA0003323759850000031
和特征图
Figure BDA0003323759850000032
再将所述特征图
Figure BDA0003323759850000033
与所述特征图
Figure BDA0003323759850000034
分别对应进行尺寸采样并进行叠加融合，输出的二个分支结构分别包含样本原始影像图尺寸大小的
Figure BDA0003323759850000035
的特征图；
所述第三个分支结构，将所述包含样本原始影像图尺寸大小的
Figure BDA0003323759850000036
的特征图作为输入，同时对所述特征图
Figure BDA0003323759850000037
并行扩展，得到特征图
Figure BDA0003323759850000038
特征图
Figure BDA0003323759850000039
特征图
Figure BDA00033237598500000310
再次将所述特征图
Figure BDA00033237598500000311
所述特征图
Figure BDA00033237598500000312
所述特征图
Figure BDA00033237598500000313
分别对应进行尺寸采样并进行叠加融合，输出的三个分支结构分别为包含样本原始影像图尺寸大小的
Figure BDA00033237598500000314
的特征图；
所述第四个分支结构，将所述包含样本原始影像图尺寸大小的
Figure BDA00033237598500000315
的特征图作为输入，同时对所述特征图
Figure BDA00033237598500000316
并行扩展，得到特征图
Figure BDA00033237598500000317
特征图
Figure BDA00033237598500000318
特征图
Figure BDA00033237598500000319
特征图
Figure BDA00033237598500000320
再将所述特征图
Figure BDA00033237598500000321
所述特征图
Figure BDA00033237598500000322
所述特征图
Figure BDA00033237598500000323
所述特征图
Figure BDA00033237598500000324
分别对应进行尺寸采样并进行叠加融合，输出的四个分支结构分别为包含样本原始影像图尺寸大小的
Figure BDA00033237598500000325
的特征图。
进一步地，在本发明的一个实施例中，所述步骤S205中注意力机制转换具体为：
Figure BDA00033237598500000326
其中，Fq为上下文特征，C为样本原始影像图中类别个数，wij为像素与类别为j的特征
Figure BDA00033237598500000327
的相似度量，δ(·)与ρ(·)为注意力机制的两个特征转换方程。
进一步地，在本发明的一个实施例中，所述步骤S206中融合具体为：
F2＝λ·F1+(1-λ)·Fq
其中，F2为分割特征，λ为融合权重，F1为初始融合特征，Fq为上下文特征。
进一步地，在本发明的一个实施例中，所述步骤S207中的交叉熵损失为：
Figure BDA00033237598500000328
其中，
Figure BDA00033237598500000329
为交叉熵损失，C为样本原始影像图中类别个数，yi为真实标签值，
Figure BDA00033237598500000330
为预测值。
进一步地，在本发明的一个实施例中，所述步骤S3具体包括：
步骤S301，将待提取耕地影像输入至所述训练好的多尺度融合的全卷积网络模型中，进行端对端分割解译，得到类别栅格结果；
步骤S302，根据所述类别栅格结果对相邻区域同属性进行合并，得到所述耕地矢量图斑。
为达到上述目的，本发明另一方面实施例提出了基于多尺度融合的全卷积神经网络耕地提取系统，包括：无监督分割模块，用于基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集；训练模块，用于构建多尺度融合的全卷积神经网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块；验证模块，用于将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
本发明实施例的基于多尺度融合的全卷积神经网络耕地提取系统，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影像中稳定地提取较为规整、匀质的耕地地块矢量。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取方法的流程图；
图2是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取方法的具体执行示意图；
图3是本发明一个实施例的基于非监督多尺度分割方式所构建训练样本集的示意图，其中，(a)为真彩色影像，(b)为多尺度分割的地物矢量结果，(c)为筛选后的耕地矢量结果，(d)为网络输入二值化标签(黑色为背景，灰色为耕地)；
图4是本发明一个实施例的多尺度融合的全卷积神经网络的结构示意图；
图5是本发明一个具体实施例的不同地域测试集耕地分割结果图，其中，(a)为真影像，(b)为真值标签，(c)为采用本方法提取的效果；
图6是本发明一个具体实施例的大区域影像耕地提取矢量叠加效果图，其中，(a)不经过相邻区域同属性合并提取结果，(b)相邻区域同属性合并提取结果；
图7是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法及系统，首先将参照附图描述根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法。
图1是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取方法的流程图。
如图1所示，该基于多尺度融合的全卷积神经网络耕地提取方法包括以下步骤：
在步骤S1中，基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集。
进一步地，在本发明的一个实施例中，步骤S1具体包括：
步骤S101，通过预设遥感卫星获取高分辨率遥感影像，并对高分辨率遥感影像进行预处理；
步骤S102，通过面向对象多尺度分割的方式对预处理后的高分辨率遥感影像进行无监督分割，得到多个矢量单元；
步骤S103，对多个矢量单元进行图像处理，得到训练样本数据集。
进一步地，在本发明的一个实施例中，还可以包括：
步骤S104，利用增强方法对训练样本数据集中的样本数据进行翻转、旋转、裁剪以及缩放任一种或多种组合操作，增加训练样本数据集中样本数据数量。
具体地，
在步骤S2中，构建多尺度融合的全卷积神经网络，利用训练样本数据集对多尺度融合的全卷积神经网络进行训练，其中，多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块。
具体地，如图4所示，向多尺度融合的全卷积神经网络输入训练样本数据集中的样本原始影像图，以四波段多光谱遥感影像I为例，其输入尺寸为896×896×4(即：影像长×影像宽×波段数)作为网络的输入。
步骤S201，经过两个3×3的卷积以及两个BN层以及ReLU激活函数，输出样本原始影像图尺寸
Figure BDA0003323759850000061
大小的特征图，大小为224×224×64。
步骤S202，对多尺度特征并行连接结构，在初始特征提取后，接下来经过四个尺度的特征网络分支结构。其特点是对卷积前特征与一系列不同尺度卷积后的特征进行特征融合，以保证特征层次的丰富性。
第一个分支结构，包括四个Bottleneck Block残差块，输出特征图S1:224×224×256，特征图S1的尺寸为样本样本原始影像图的
Figure BDA0003323759850000062
第二个分支结构，将第一特征图S1并行扩展，根据第一特征图S1分别进行尺度变换，包括特征通道降维以及下采样生成特征图
Figure BDA0003323759850000063
特征图
Figure BDA0003323759850000064
再将特征图
Figure BDA0003323759850000065
与特征图
Figure BDA0003323759850000066
分别对应进行尺寸采样并进行叠加融合，输出的二个分支结构分别包含样本原始影像图尺寸大小的
Figure BDA0003323759850000067
的特征图；
第三个分支结构，将包含样本原始影像图尺寸大小的
Figure BDA0003323759850000068
的特征图作为输入，同时对特征图
Figure BDA0003323759850000069
并行扩展，得到特征图
Figure BDA00033237598500000610
特征图
Figure BDA00033237598500000611
特征图
Figure BDA00033237598500000612
Figure BDA00033237598500000613
再次将特征图
Figure BDA00033237598500000614
特征图
Figure BDA00033237598500000615
特征图
Figure BDA00033237598500000616
分别对应进行尺寸采样并进行叠加融合，输出的三个分支结构分别为包含样本原始影像图尺寸大小的
Figure BDA00033237598500000617
的特征图；
第四个分支结构，将包含样本原始影像图尺寸大小的
Figure BDA00033237598500000618
的特征图作为输入，同时对特征图
Figure BDA00033237598500000619
并行扩展，得到特征图
Figure BDA00033237598500000620
特征图
Figure BDA00033237598500000621
特征图
Figure BDA00033237598500000622
特征图
Figure BDA00033237598500000623
再将特征图
Figure BDA00033237598500000624
特征图
Figure BDA00033237598500000625
特征图
Figure BDA00033237598500000626
特征图
Figure BDA00033237598500000627
分别对应进行尺寸采样并进行叠加融合，输出的四个分支结构分别为包含样本原始影像图尺寸大小的
Figure BDA00033237598500000628
的特征图。
接下来，将上下文特征融合，考虑遥感影像中的耕地地块目标尺度性差异大的问题，在不同级别下的特征层分割不同尺寸的目标。
步骤S203，将上述输出的四个分支结构分别为包含样本原始影像图尺寸大小的特征图进行统一采样为第一个尺度大小的特征图进行连接，得到网络初始融合特征F1，大小为224×224×720；
步骤S204，本发明实施例考虑待分类像元的周围邻域像元的特征进行上下文特征融合，将F1特征通过式(1)计算出影像的类别概率图Pm，粗略估计每一个像素所属的类别特征Fc，再次根据公式(2)通过Pm与F1特征的转置相乘，得到Fc类别特征。
Pm＝softmax(F1) (1)
FC＝F1 T×Pm (2)
步骤S205，利用注意力机制转换将像元特征与类别特征Fc进行处理，得到上下文特征Fq，具体为：
Figure BDA0003323759850000071
其中，Fq为上下文特征，C为样本原始影像图中类别个数，wij为像素与类别为j的特征
Figure BDA0003323759850000072
的相似度量，δ(·)与ρ(·)为注意力机制的两个特征转换方程。
步骤S206，根据上下文特征Fq，并将初始融合特征F1与上下文特征进行融合如下公式(4)，得到的分割特征F2，尺寸为224×224×512。
F2＝λ·F1+(1-λ)·Fq (4)
其中，F2为分割特征，λ为融合权重，F1为初始融合特征，Fq为上下文特征。
步骤S207，本发明实施例选择使用交叉熵损失作为类别损失函数，如公式(5)，采用随机梯度下降(SGD)算法进行优化训练，学习率设置为线性递减，完成多尺度融合的全卷积神经网络训练。
Figure BDA0003323759850000073
其中，
Figure BDA0003323759850000074
为交叉熵损失，C为样本原始影像图中类别个数，yi为真实标签值，
Figure BDA0003323759850000075
为预测值。
在步骤S3中，将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
进一步地，在本发明的一个实施例中，步骤S3具体包括：
步骤S301，将待提取耕地影像输入至训练好的多尺度融合的全卷积网络模型中，进行端对端分割解译，得到类别栅格结果；
步骤S302，根据类别栅格结果对相邻区域同属性进行合并，得到耕地矢量图斑。
具体地，基于训练好的多尺度融合的全卷积网络模型，对待提取耕地影像进行端对端分割解译，解译过程中为提升由于分块而带来的格网边缘差异效果，采用带有重叠的滑窗框进行推理过程。
如图2所示，根据实际应用需求，可选择是否对最终的结果进行相邻区域同属性合并。若选择相邻区域同属性合并，可以将破碎相邻的农田进行合并，生成的耕地图斑尺度层次较大，可为大区域种植结构分类以及耕地数据统计提供中间成果；若选择相邻区域同属性不合并，产生的细分地块可以得到地块级耕地产品，可以为后续精细化农业监测提供支撑。最终可以得到符合条件的耕地地块，并输出成的矢量格式成果。
下面通过一个具体实施例对本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法进一步说明。
该具体实施例中选择东北、华北、华中三块区域的高分辨率遥感影像(分辨率优于1米)进行训练与测试，具体地，从上述高分辨率遥感影像中识别出耕地地地块，并在构建训练样本集中采用非监督分割的方式加快训练样本集的构建，最终通过训练得到的模型完成待提取影像的耕地提取，同时可根据实际的需求进行相邻地块合并，并输出矢量格式成果。最终测试精度评价表如下：
表1基于多尺度融合的全卷积神经网络耕地提取算法精度评价表
区域 原始样本数 增量后样本数 训练/验证数 训练时间 总体精度
东北(农安县) 20,280 — 16,224/4056 98小时 0.944
华北(庆云县) 292 2336 1986/350 12小时 0.957
华中(南县) 469 3752 3190/562 20小时 0.954
上表1展示了选取的三块区域进行耕地测试的结果，总体精度平均0.952。测试过程中平均每个测试样本预测时间为1.18秒。如5图所示，选取不同地理区划的测试集耕地提取效果图展示如下，其中，图5(a)为真影像，(b)为真值标签，(c)为本发明实施例的方法所提取的效果(黑色为背景，灰色为耕地)。
如图6所示，可以看出本专利较为完整的提取了耕地的边界；其中图6(a)不经过相邻区域同属性合并提取结果，可以看出耕地内部的田埂、小路都很好的分割开得到较为精细的结果；其中图6(b)相邻区域同属性合并提取结果，可以得到较大尺度的耕地范围边界，可以减少数据冗余。
根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取方法，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影像中稳定地提取较为规整、匀质的耕地地块矢量。
其次参照附图描述根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取系统。
图6是本发明一个实施例的基于多尺度融合的全卷积神经网络耕地提取系统的结构示意图。
如图6所示，该系统10包括：无监督分割模块100、训练模块200和验证模块300。
其中，无监督分割模块100用于基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集。训练模块200用于构建多尺度融合的全卷积神经网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块。验证模块300用于将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
根据本发明实施例提出的基于多尺度融合的全卷积神经网络耕地提取系统，采用非监督图像分割的方式先分割，再手工标记分割单元的属性，提升样本集构建效率，解决了语义分割前期样本人工构建的耗时性问题；采用并行连接的四个尺度的特征网络结构，提升了提取的耕地地块的光滑的边缘效果；在网络的特征输出层加入邻域特征融合模块，整合上下文信息有效提升分割的准确性，抑制了高分辨率遥感影像中的噪声；最终从高分辨率遥感影像中稳定地提取较为规整、匀质的耕地地块矢量。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，包括以下步骤：
步骤S1，基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集；
步骤S2，构建多尺度融合的全卷积神经网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块；
步骤S3，将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
2.根据权利要求1所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，所述步骤S1具体包括：
步骤S101，通过预设遥感卫星获取所述高分辨率遥感影像，并对所述高分辨率遥感影像进行预处理；
步骤S102，通过面向对象多尺度分割的方式对预处理后的高分辨率遥感影像进行无监督分割，得到多个矢量单元；
步骤S103，对所述多个矢量单元进行图像处理，得到所述训练样本数据集。
3.根据权利要求2所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，还包括：
步骤S104，利用增强方法对所述训练样本数据集中的样本数据进行翻转、旋转、裁剪以及缩放任一种或多种组合操作，增加所述训练样本数据集中样本数据数量。
4.根据权利要求1所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，所述步骤S2具体包括：
步骤S201，向所述多尺度融合的全卷积神经网络输入所述训练样本数据集中的样本原始影像图，经过两个3×3的卷积以及两个BN层以及ReLU激活函数，输出样本原始影像图尺寸
Figure FDA0003323759840000011
大小的特征图；
步骤S202，利用四个尺度的特征网络分支结构将卷积前特征与一系列四种尺度卷积后的特征进行并行连接，输出的四个分支结构分别为包含样本原始影像图尺寸大小的特征图；
步骤S203，将所述包含样本原始影像图尺寸大小的特征图进行统一采样为第一个尺度大小的特征图进行连接，得到初始融合特征F1；
步骤S204，通过所述初始融合特征F1计算影像的类别概率图Pm，粗略估计每一个像素所属的类别特征Fc；
步骤S205，利用注意力机制转换将像元特征与所述类别特征Fc进行处理，得到上下文特征Fq；
步骤S206，根据所述上下文特征Fq，并将所述初始融合特征F1与上下文特征进行融合，得到的分割特征F2；
步骤S207，利用交叉熵作为类别损失函数，通过随机梯度下降优化函数进行损失下降，完成所述多尺度融合的全卷积神经网络训练。
5.根据权利要求4所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，所述步骤S202中具体包括：
所述第一个分支结构，包括四个Bottleneck Block残差块，输出特征图S1，所述特征图S1的尺寸为样本样本原始影像图的
Figure FDA0003323759840000021
所述第二个分支结构，将所述第一特征图S1并行扩展，根据所述第一特征图S1分别进行尺度变换，包括特征通道降维以及下采样生成特征图
Figure FDA0003323759840000022
和特征图
Figure FDA0003323759840000023
再将所述特征图
Figure FDA0003323759840000024
与所述特征图
Figure FDA0003323759840000025
分别对应进行尺寸采样并进行叠加融合，输出的二个分支结构分别包含样本原始影像图尺寸大小的
Figure FDA0003323759840000026
的特征图；
所述第三个分支结构，将所述包含样本原始影像图尺寸大小的
Figure FDA0003323759840000027
的特征图作为输入，同时对所述特征图
Figure FDA0003323759840000028
并行扩展，得到特征图
Figure FDA0003323759840000029
特征图
Figure FDA00033237598400000210
特征图
Figure FDA00033237598400000211
再次将所述特征图
Figure FDA00033237598400000212
所述特征图
Figure FDA00033237598400000213
所述特征图
Figure FDA00033237598400000214
分别对应进行尺寸采样并进行叠加融合，输出的三个分支结构分别为包含样本原始影像图尺寸大小的
Figure FDA00033237598400000215
的特征图；
所述第四个分支结构，将所述包含样本原始影像图尺寸大小的
Figure FDA00033237598400000216
的特征图作为输入，同时对所述特征图
Figure FDA00033237598400000217
并行扩展，得到特征图
Figure FDA00033237598400000218
特征图
Figure FDA00033237598400000219
特征图
Figure FDA00033237598400000220
特征图
Figure FDA00033237598400000221
再将所述特征图
Figure FDA00033237598400000222
所述特征图
Figure FDA00033237598400000223
所述特征图
Figure FDA00033237598400000224
所述特征图
Figure FDA00033237598400000225
分别对应进行尺寸采样并进行叠加融合，输出的四个分支结构分别为包含样本原始影像图尺寸大小的
Figure FDA00033237598400000226
的特征图。
6.根据权利要求4所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，所述步骤S205中注意力机制转换具体为：
Figure FDA0003323759840000031
其中，Fq为上下文特征，C为样本原始影像图中类别个数，wij为像素与类别为j的特征
Figure FDA0003323759840000032
的相似度量，δ(·)与ρ(·)为注意力机制的两个特征转换方程。
7.根据权利要求4所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，所述步骤S206中融合具体为：
F2＝λ·F1+(1-λ)·Fq
其中，F2为分割特征，λ为融合权重，F1为初始融合特征，Fq为上下文特征。
8.根据权利要求1所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，所述步骤S207中的交叉熵损失为：
Figure FDA0003323759840000033
其中，
Figure FDA0003323759840000034
为交叉熵损失，C为样本原始影像图中类别个数，yi为真实标签值，
Figure FDA0003323759840000035
为预测值。
9.根据权利要求1所述的基于多尺度融合的全卷积神经网络耕地提取方法，其特征在于，所述步骤S3具体包括：
步骤S301，将待提取耕地影像输入至所述训练好的多尺度融合的全卷积网络模型中，进行端对端分割解译，得到类别栅格结果；
步骤S302，根据所述类别栅格结果对相邻区域同属性进行合并，得到所述耕地矢量图斑。
10.一种基于多尺度融合的全卷积神经网络耕地提取系统，其特征在于，包括：
无监督分割模块，用于基于非监督多尺度分割方式对高分辨率遥感影像进行无监督分割，以构建训练样本数据集；
训练模块，用于构建多尺度融合的全卷积神经网络，利用所述训练样本数据集对所述多尺度融合的全卷积神经网络进行训练，其中，所述多尺度融合的全卷积神经网络中采用并行连接的四个尺度的特征网络结构，特征输出层加入邻域特征融合模块；
验证模块，用于将待提取耕地影像输入训练好的多尺度融合的全卷积神经网络中，得到耕地矢量图斑。
CN202111255638.6A 2021-10-27 2021-10-27 基于多尺度融合的全卷积神经网络耕地提取方法及系统 Pending CN113963261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111255638.6A CN113963261A (zh) 2021-10-27 2021-10-27 基于多尺度融合的全卷积神经网络耕地提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111255638.6A CN113963261A (zh) 2021-10-27 2021-10-27 基于多尺度融合的全卷积神经网络耕地提取方法及系统

Publications (1)

Publication Number Publication Date
CN113963261A true CN113963261A (zh) 2022-01-21

Family

ID=79467481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111255638.6A Pending CN113963261A (zh) 2021-10-27 2021-10-27 基于多尺度融合的全卷积神经网络耕地提取方法及系统

Country Status (1)

Country Link
CN (1) CN113963261A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082743A (zh) * 2022-08-16 2022-09-20 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN115661655A (zh) * 2022-11-03 2023-01-31 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN117668420A (zh) * 2024-02-01 2024-03-08 中国测绘科学研究院 一种考虑自适应邻域的耕地连片度计算方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082743A (zh) * 2022-08-16 2022-09-20 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN115082743B (zh) * 2022-08-16 2022-12-06 之江实验室 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法
CN115661655A (zh) * 2022-11-03 2023-01-31 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN115661655B (zh) * 2022-11-03 2024-03-22 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN117668420A (zh) * 2024-02-01 2024-03-08 中国测绘科学研究院 一种考虑自适应邻域的耕地连片度计算方法及系统
CN117668420B (zh) * 2024-02-01 2024-04-23 中国测绘科学研究院 一种考虑自适应邻域的耕地连片度计算方法及系统

Similar Documents

Publication Publication Date Title
Li et al. A 30-year (1984–2013) record of annual urban dynamics of Beijing City derived from Landsat data
CN113963261A (zh) 基于多尺度融合的全卷积神经网络耕地提取方法及系统
CN102110227B (zh) 基于上下文关系的多分辨率遥感图像复合分类方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN103971115A (zh) 一种基于NDVI和PanTex指数的高分辨率遥感影像新增建设用地图斑自动提取方法
Wang et al. Spatiotemporal fusion of remote sensing image based on deep learning
Peng et al. Object-based change detection from satellite imagery by segmentation optimization and multi-features fusion
Wang et al. Sub-pixel mapping with point constraints
Masouleh et al. Fusion of deep learning with adaptive bilateral filter for building outline extraction from remote sensing imagery
Yang et al. Deep learning-based automated terrain classification using high-resolution DEM data
Zhang et al. Impervious surface extraction from high-resolution satellite image using pixel-and object-based hybrid analysis
CN111008644B (zh) 基于局部动态能量函数fcn-crf模型的生态变化监测方法
Xie et al. Classifying historical remotely sensed imagery using a tempo-spatial feature evolution (T-SFE) model
Shunying et al. BSNet: Boundary-semantic-fusion network for farmland parcel mapping in high-resolution satellite images
Gao et al. SSC-SFN: spectral-spatial non-local segment federated network for hyperspectral image classification with limited labeled samples
Sun et al. Deep learning for check dam area extraction with optical images and digital elevation model: A case study in the hilly and gully regions of the Loess Plateau, China
Ren et al. Cycle-consistent adversarial networks for realistic pervasive change generation in remote sensing imagery
Firoze et al. Urban tree generator: spatio-temporal and generative deep learning for urban tree localization and modeling
Subhashini et al. A review on road extraction based on neural and non-neural networks
Jemy et al. Quadruple stacked-based concept: A novel approach for change detection
Benz et al. Towards an automated image-based estimation of building age as input for Building Energy Modeling (BEM)
Cheng et al. Automated detection of impervious surfaces using night-time light and Landsat images based on an iterative classification framework
Valdiviezo-N et al. Morphological reconstruction algorithms for urban monitoring using satellite data: proper selection of the marker and mask images
Gaurav et al. RainRoof: Automated Shared Rainwater Harvesting Prediction
Badapalli et al. Long-term temporal analysis of desertification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination