CN111178316B - 一种高分辨率遥感影像土地覆盖分类方法 - Google Patents

一种高分辨率遥感影像土地覆盖分类方法 Download PDF

Info

Publication number
CN111178316B
CN111178316B CN202010009028.7A CN202010009028A CN111178316B CN 111178316 B CN111178316 B CN 111178316B CN 202010009028 A CN202010009028 A CN 202010009028A CN 111178316 B CN111178316 B CN 111178316B
Authority
CN
China
Prior art keywords
space
module
convolution
feature map
spatial resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010009028.7A
Other languages
English (en)
Other versions
CN111178316A (zh
Inventor
钟燕飞
王俊珏
马爱龙
郑卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010009028.7A priority Critical patent/CN111178316B/zh
Publication of CN111178316A publication Critical patent/CN111178316A/zh
Application granted granted Critical
Publication of CN111178316B publication Critical patent/CN111178316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法,用于自动搜索适合于特定数据集的卷积神经网络架构。本发明结合深度学习理论,设计层次化搜索空间和级联训练策略,将卷积神经网络设计转化为基于数据驱动模式,并构建了一系列的轻量级操作作为候选,以保证搜索网络架构的效率。该框架通过空洞金字塔池化模块对网络架构进行适配,使其适用于高分辨率遥感图像识别任务。本发明能够解决现有的人工设计架构专业知识与时间成本要求高等问题,针对特定高分辨率遥感影像土地覆盖分类数据集自动搜索合适的深度学习模型,可以有效提高模型设计效率与精度。

Description

一种高分辨率遥感影像土地覆盖分类方法
技术领域
本发明属于高分辨率遥感影像识别领域,特别涉及一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法。
背景技术
遥感技术的飞速发展,现在可以提供大量的高分辨率遥感影像。与低分辨率影像相比,高分辨率遥感影像包含更详细的空间信息,不仅带来了机遇,但也给遥感图像的分类带来挑战。基于高分辨率遥感影像技术的分类与分析现已运用于土地覆盖分类任务中。
长期以来,土地覆盖分类任务一直是遥感方面的一项艰巨任务。常规方法仅依赖于低级光谱和空间特征,例如定向梯度的直方图,对象光谱指数,尺度不变特征变换和灰度级共现矩阵。由于光谱和空间信息的可用性,Fauvel于2012年提出了一种融合空间和光谱特征的融合方法,与仅基于光谱或空间信息的其他方法相比,该方法具有更好的性能。作为上下文分类模型的条件随机场模型在像素级分类任务中具有自然优势,在条件随机场框架内集成了光谱,空间上下文和位置信息,以从不同角度提供补充信息,能够解决土地覆盖制图中光谱变异性的常见问题。
最近,深度学习算法已成为机器学习和模式识别中的主要范例。在2012年ImageNet大规模视觉分类挑战中,AlexNet卷积神经网络(Convolutional NeuralNetwork,CNN)取得了令人瞩目的成绩,各种基于CNN的方法逐渐运用于高分辨率遥感影像分类任务中。经典的卷积神经网络GoogleNet于CaffeNet网络已经成功迁移至高分辨率场景分类任务中,并证明了预训练模型参数的有效性。基于无监督的深度学习方法也逐渐开展,利用生成对抗网络通过在未标记的数据上交替训练鉴别器和生成器,可以获得不受监管的特征并将其用于场景分类。
尽管借助深度学习方法已大大提高了高分辨率影像分类的性能,但为特定的分类任务设计良好的CNN架构需要广泛的专业知识。人为设计深度学习架构,任务包括不同的要求,并且需要仔细构造不同类型的CNN。设计CNN时,设计人员需要具备以下素质:1)出色的数据分析能力;2)对不同的HRS图像分类任务有很好的了解;3)在各种分类模型设计方面的丰富经验。这意味着设计师需要遥感和计算机视觉方面的广泛专业知识。此外,由于实验不足或经验不足,手工制作的CNN可能无法很好地完成任务。
发明内容
为了解决这些问题并减少高分辨率遥感影像分类的难度和复杂性,亟需一种基于神经结构搜索的遥感深度神经网络搜索框架,以自动找到最适合高分辨率遥感影像土地覆盖分类任务的深度神经网络架构。神经网络架构搜索旨在自动在感兴趣的数据集上直接学习模型架构,已广泛应用于自然语言处理,图像分类,对象检测,语义分割等。这种数据驱动技术可以自动搜索通过了解数据集的分布特征,找到合适的神经网络架构。因此非常适合与高分辨率遥感影像土地覆盖分类任务结合,解决上述问题。
本发明的目的在于提出一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法。提出的基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法采用了两阶段级联优化策略,在基于梯度的网络架构搜索(搜索阶段)中,设置了分层的基本搜索空间以提高的搜索效率。基于梯度下降法,交替优化体系结构和模型参数。搜索完成后,可以使用体系结构参数对搜索到的神经网络架构进行解码。然后,在任务驱动的体系结构训练(训练阶段) 中,再次对搜索到的神经网络架构进行训练以优化模型参数。
在本发明中我们所提出的基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法具有以下两个显著特点。一是基于梯度的神经网络结构搜索,针对大型高分辨率遥感影像数据集,提出了一种基于梯度的高效搜索方法。首先,设计分层搜索空间,即模块级空间和过渡级空间。在搜索空间的限制下,基于梯度方法为搜索空间引入了一种简单,连续的松弛方案,从而为结构及其参数的联合优化带来了可区分的学习目标。与效率低下的异步优化相反,可以对所有参数进行端到端训练,从而可以高效,快速地搜索高性能网络。此外,为了确保搜索网络的效率,针对模块级搜索,提出了一系列包括深度可分离卷积的轻量级操作。第二个显著特点是任务驱动的模型训练。对于土地覆盖分类任务,我们使用粗糙的空间金字塔池来处理分割概率图的输出,其中利用了多尺度上下文信息。
本发明提供基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法,实现步骤如下:
步骤1,获取高分辨率遥感影像土地覆盖分类数据集,将其拆分为两部分训练集,对输入数据进行归一化与数据增强;
步骤2,构建分层的基本搜索空间,并采用基于梯度的搜索算法求解基本搜索空间参数;
所述分层的基本搜索空间包括模块空间和过渡空间,所述模块空间定义为B个模块的组合,每个模块包括多个基础功能单元,基础功能单元用于将输入转换为不同的特征图;所述过渡空间用于定义不同特征图之间的空间分辨率转移路径;
步骤3,依据基本搜索空间参数利用投票算法与维特比算法解码最优深度学习模型,并在训练集上进行训练;
步骤4,基于训练收敛后的深度学习模型,对待分类样本进行预测,利用输出概率获取分类结果。
进一步的,步骤1的具体实现包括如下子步骤,
步骤1.1,利用无人机或者高分卫星进行拍摄,获取大量高空间分辨率影像;
步骤1.2,采集遥感影像中C类感兴趣地物像素样本,将样本腌膜与对应区域影像制作成深度学习土地覆盖分类训练集;
步骤1.3,将深度学习土地覆盖分类数据集划均等分成两个部分,训练集A与训练集B;
步骤1.4,将TrainA与TrainB进行归一化,并利用水平翻转、垂直翻转、随机旋转进行数据增强。
进一步的,步骤2的具体实现包括如下子步骤,
步骤2.1,建立模块空间,所述模块空间定义为B个模块的组合,每个模块包含多个不同的基础功能单元,模块空间是对基础功能单元组合的一个空间定义,最终需要在该空间中找到最优的基础功能单元组合;
首先获取初始输入数据
Figure GDA0003512168270000031
作为输入,其中s与l分别定义特征图的输出尺寸和图层索引,对于第一层,首先是影像输入通过3×3卷积获取空间分辨率为原始影像大小1/4的特征图
Figure GDA0003512168270000032
其中下标代表网络层数,00表示预热层中第一层,上标代表输出尺寸,然后再通过3×3卷积获取
Figure GDA0003512168270000033
01表示预热层第二层,这两个输入数据进入模块空间的第一个模块,通过一系列操作获取T1,然后
Figure GDA0003512168270000034
与中间结果T1作为第二个模块输入得到T2,以此类推,产生B个中间结果{T1,...,Tb,...,TB},B个中间结果均为特征图;对于Tb的具体公式如下:
Figure GDA0003512168270000035
其中,
Figure GDA0003512168270000036
指模块从第i个特征图,通过加权操作并融合结果得到对Tb的部分输出值,由上式可知Tb由模块空间的输入
Figure GDA0003512168270000037
以及它之前的中间结果{T1,...,Tb-1}得到,
Figure GDA0003512168270000038
表示加权操作,将加权操作应用于特征图并根据模块空间的参数α获得加权结果,该参数定义为:
Figure GDA0003512168270000039
其中αk≥0,0≤k≤8
其中αk是代表每个基础功能单元
Figure GDA0003512168270000048
的贡献程度,αk≥0且
Figure GDA0003512168270000041
基础功能单元包括:3×3最大池化,3×3平均池化,3×3深度可分离卷积,5×5深度可分离卷积,3×3深度可分离空洞卷积,5×5深度可分离空洞卷积,无操作和无连接;
步骤2.2,建立过渡空间,所述过渡空间定义了模块空间中特征图的空间分辨率变换过程,最终需要通过搜索获取特征图的最优空间分辨率转移路径;
特征图尺寸最多具有四个隐藏状态
Figure GDA0003512168270000042
其中上标指特征图空间分辨率尺寸,将特征图尺寸限制为最小空间分辨率OS32和最大OS4之间,OS是Output Stride缩写,数字代表原始输入图像尺寸与特征图的比值,β表示不同空间分辨率特征之间的转换概率,通过softmax归一化后,β满足以下条件:
Figure GDA0003512168270000043
Figure GDA0003512168270000044
因此,在过渡空间中,组合了前两个特征图并获得了三种组合:
Figure GDA0003512168270000045
Figure GDA0003512168270000046
分别代表前一层为输出尺寸2倍大小特征图,前一层为输出尺寸相同大小特征图,前一层为输出尺寸1/2倍大小特征图与前第二层的组合;
步骤2.3,对于土地覆盖分类任务,为分类模块中的每个空间分辨率设计一个空洞空间金字塔池化模块;
步骤2.4,对于训练集TrainA与TrainB,首先输入批次大小固定,尺寸大小固定的TrainA 中影像与对应腌膜,在模块空间和过渡空间组成的搜索空间中进行前向传播,利用空洞空间金字塔池化模块,获取分类概率图,与真实标注腌膜计算交叉熵损失,并利用梯度下降策略进行反向传播优化基础功能单元中的参数;然后输入TrainB,继续优化基本搜索空间参数α,β;不断交替上述步骤直至模型的损失函数收敛。
进一步的,步骤3的具体实现包括如下子步骤,
步骤3.1,根据收敛后的参数α,β,利用投票算法解码参数α获取模块单元组合,为步骤2.1中每个中间结果保留两个最强的连接边来解码模块空间,其中边的强度定义为:
Figure GDA0003512168270000047
利用维特比算法确定最大流路径以确定网络空间分辨率转移结构:首先初始化最大转移路径Imax=(i1,...,il,...,iL),起始节点概率:
Figure GDA0003512168270000051
按层进行遍历l<L,在每一层中,对每个尺度s,求取最大节点概率:
Figure GDA0003512168270000052
然后根据最大
Figure GDA0003512168270000053
的索引更新路径Imax
步骤3.2,获取解码得到的深度学习模型,将TrainA与TrainB进行融合获取全部训练集Train,将搜索到的深度学习模型在Train上进行重新训练。
进一步的,所述最优深度学习模型的网络结构由7个重复的模块单元组合构成,每一个模块单元组合包含前两层的两个特征图输入分别记为Hl-2,Hl-1,首先Hl-1通过3×3的最大池化层,Hl-2通过5×5深度可分离卷积,两者相加得到中间结果T1;然后T1通过3×3深度可分离空洞卷积,Hl-2通过5×5深度可分离空洞卷积,两者相加得到中间结果T2;T1通过3 ×3深度可分离卷积,Hl-2通过3×3深度可分离空洞卷积,两者相加得到中间结果T3;T1通过3×3深度可分离空洞卷积,T2通过3×3深度可分离空洞卷积,两者相加得到中间结果T4,最终四个T1,T2,T3,T4在深度上进行拼接并利用1×1卷积进行降维获取Hl;其中卷积的步长全为1,在模块单元组合中特征图的空间分辨率保持不变;
过渡单元用来定义模块空间中特征图空间分辨率转移情况,首先,影像输入大小为512 ×512,通过两个层步长为2的3×3卷积获取特征图大小为128×128的特征图
Figure GDA0003512168270000054
然后在通过两层步长为1的3×3卷积获取特征图
Figure GDA0003512168270000055
作为第一个模块单元组合输入,由搜索到的过渡空间可知,第一个模块单元组合空间分辨率不变,输出为
Figure GDA0003512168270000056
第二模块单元组合元的输入为
Figure GDA0003512168270000057
同样,由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA0003512168270000058
第三模块单元的输入为
Figure GDA0003512168270000059
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA00035121682700000510
第四个模块单元组合输入为
Figure GDA00035121682700000511
由于过渡空间定义的空间分辨率从OS4降低至OS8,所以对
Figure GDA00035121682700000512
分辨率利用步长为2的3×3卷积进行降采样获取
Figure GDA00035121682700000513
Figure GDA00035121682700000514
然后再输入至重复的模块单元组合,获取
Figure GDA00035121682700000515
第五模块单元组合的输入为
Figure GDA00035121682700000516
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA00035121682700000517
第六个模块单元组合输入为
Figure GDA0003512168270000061
由于过渡空间定义的空间分辨率此处为从OS8降低至 OS16,所以对
Figure GDA0003512168270000062
利用步长为2的3×3卷积进行降采样获取
Figure GDA0003512168270000063
Figure GDA0003512168270000064
然后再输入至重复的模块单元组合,获取
Figure GDA0003512168270000065
第七模块单元组合的输入为
Figure GDA0003512168270000066
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA0003512168270000067
最终将获取到的
Figure GDA0003512168270000068
利用空洞金字塔池化提取多尺度特征,并且进行16倍双线性插值上采样还原成原始图像大小特征图,利用1×1卷积层使其通道数降维为类别数并利用softmax获取土地覆盖分类概率图。
与现有的技术相比,本发明的优点和有益效果:基于深度学习的高分辨率遥感影像土地覆盖分类方法通常是对现有基于自然图像设计的深度学习架构的直接应用或是简单修改,尚未考虑到高分辨率遥感影像的复杂性与特殊性:(1)低分辨率:与近景摄影获取的自然影像不同,高分辨率遥感影像是通过星载或航飞传感器获得,拥有超长观测距离,空间分辨率极低;(2)广空间覆盖范围:遥感影像拥有比自然影像更大的空间覆盖范围,其中地物多样且复杂。本发明无需人工设计,能够自动获取符合特定数据集特征的土地覆盖深度学习架构。
附图说明
图1是本发明步骤1中数据融合大赛赛道一高空间分辨率遥感影像土地覆盖分类数据集的部分可视化图。
图2是本发明步骤2.1中设计的模块空间示意图。
图3是本发明步骤2.2中设计的过渡空间示意图。
图4是本发明步骤2.3空洞空间金字塔池化操作示意图。
图5是本发明步骤3.1解码得到的最优网络架构示意图。
图6是本发明步骤4中预测得到土地覆盖分类结果图。
具体实施方式
下面通过实施例,进一步阐明本发明的突出特点和显著进步,仅在于说明本发明而决不限制本发明。
本发明实施例提供一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法,实现步骤如下:
(一)使用公开数据融合大赛赛道一高空间分辨率遥感影像土地覆盖分类数据集(DFCTrack1),DFCTrack1训练数据集包含2783张WorldView-3图像,其大小为1024×1024像素。该数据集包含五个土地覆盖类别:地面、高植被、建筑屋顶、水和桥梁,其可视化图如1所示。
1.1.由于该公开数据集已经存在标签,则直接按1:1划分训练集TrainA与TrainB。
1.2.利用Python编写数据增强算法,实现影像0.5概率的水平翻转、上下翻转以及旋转等操等,并完成输入影像的归一化操作。
(二)构建一个分层的基本搜索空间,并利用梯度下降方法搜索基本搜索空间参数。
2.1.搜索框架利用Pytorch编程1.3.0框架进行编程设计,将模块空间定义为B个模块的组合,通常重复多次以形成整个体系结构,每个模块是基础功能单元的集合(基础功能单元集合包含八个常用功能单元)。模块空间是对每个模块中功能单元集合的空间定义,最终需要在该空间中找到最优的功能单元组合。
该模块空间是由B个模块组成的向无环图,首先获取初始输入数据
Figure GDA0003512168270000071
作为输入,其中s与l分别定义特征图的输出尺寸和图层索引,对于第一层,首先是影像输入通过3×3 卷积获取空间分辨率为原始影像大小1/4的特征图
Figure GDA0003512168270000072
(其中下标代表网络层数,00表示预热层中第一层)上标代表输出尺寸(Output Stride,OS)),然后再通过3×3卷积获取
Figure GDA0003512168270000073
(01 表示预热层第二层),这两个输入数据进入模块空间的第一个模块,通过一系列操作获取 T1,然后
Figure GDA0003512168270000074
与中间结果T1作为第二个模块输入得到T2,以此类推,产生B个中间结果 {T1,...,Tb,...,TB},B个中间结果均为特征图。对于Tb的具体公式如下:
Figure GDA0003512168270000075
其中,
Figure GDA0003512168270000076
指模块从第i个特征图,通过加权操作并融合结果得到对Tb的部分输出值,由上式可知Tb由模块空间的输入
Figure GDA0003512168270000077
以及它之前的中间结果{T1,...,Tb-1}得到。
Figure GDA0003512168270000078
表示加权操作,将加权操作应用于特征图并根据模块空间的参数α获得加权结果,该参数定义为:
Figure GDA0003512168270000079
其中αk≥0,0≤k≤8
其中αk代表每个基础功能
Figure GDA00035121682700000710
的贡献程度,αk≥0且
Figure GDA00035121682700000711
利用softmax进行实现其归一化,
Figure GDA00035121682700000712
为基础功能单元集合,该基础功能单元集合由八个功能组成如下表所示:
Figure GDA00035121682700000713
Figure GDA0003512168270000081
这些功能在现有卷积神经网络中都很普遍,为了确保获得的网络具有较高的效率,所有卷积均由轻量级深度可分离卷积取代,模块空间如图2所示。
2.2.在拥有模块空间之后,需要将其按一定空间分辨率转移路径堆叠起来,空间分辨率转移路径由过渡空间定义,其旨在表明特征图在各个模块空间之间的特征图空间分辨率变换过程,最终需要通过搜索获取最优特征图的空间分辨率转移路径。
在设计过渡空间时,我们设计过渡空间中特征图尺寸最多具有四个隐藏状态
Figure GDA0003512168270000082
其中上标指示特征图空间分辨率尺寸。可以通过恒等变换、上采样、下采样三个操作将特征图
Figure GDA0003512168270000083
转换为相邻的分辨率s/2和2s或保持不变s。我们将特征图尺寸限制为最小空间分辨率OS32和最大OS4之间(OS是Output Stride缩写,数字代表原始输入图像尺寸与特征图的比值,该符号用来表示此特征图的尺寸大小)。β表示不同空间分辨率特征之间的转换概率,通过softmax归一化后,β满足以下条件:
Figure GDA0003512168270000084
Figure GDA0003512168270000085
因此,在过渡空间中,组合了前两个特征图并获得了三种组合:
Figure GDA0003512168270000086
Figure GDA0003512168270000087
分别代表前一层为输出尺寸2倍大小特征图,前一层为输出尺寸相同大小特征图,前一层为输出尺寸1/2倍大小特征图与前第二层的组合。α和β是基本搜索空间参数,其中α表示模块空间中加权操作的权重,而β表示层之间空间分辨率的状态转移概率。它们是解码搜索到的神经网络架构的核心参数,其具体设计示意图如图3所示。
2.3.对于土地覆盖分类任务
为分类模块中的每个空间分辨率设计了一个空洞空间金字塔池化(AtrousSpatial Pyramid Pooling,ASPP)模块。该策略通过采用具有不同膨胀率的多个并行卷积滤波器来利用多尺度特征。而且,多尺度特征通过级联融合,增强了对复杂地面物体的识别能力。当我们在第7 层获得四种不同的多尺度特征时,它们被双线性差值上采样到原始分辨率,然后求和生成分类概率图,其中空洞空间金字塔池化操作如图4所示。
2.4.网络架构参数优化
对于训练集TrainA与TrainB,实验设置如下:架构搜索优化12000步,批次大小为2,影像尺寸大小随机裁剪为256×256,选用随机梯度下降优化器,将模型优化器初始学习率设置为0.03,架构优化器学习率设置为0.003,学习率策略作用于模型优化器,选用余弦退火方式,最终将至0.001。在模块空间和过渡空间组成的搜索空间中进行前向传播,利用空洞空间金字塔池(Atrous Spatial Pyramid Pooling,ASPP)模块,获取分类概率图,与真实标注腌膜计算交叉熵损失,并利用梯度下降策略进行反向传播优化参数w,w是八个功能单元(卷积层) 的参数。然后输入TrainB同样设定的数据,继续优化网络架构参数α,β。不断交替上述步骤直至交叉熵损失收敛。
(三)依据基本搜索空间参数利用投票算法与维特比算法解码最优深度学习模型架构
步骤3.1,根据收敛后的网络架构参数α,β,利用投票算法解码参数α获取最优模块单元组合。为步骤2.1中每个中间结果保留两个最强的连接边来解码模块空间,其中边的强度定义为:
Figure GDA0003512168270000091
利用维特比算法确定最大流路径以确定网络空间分辨率转移结构。首先初始化最大转移路径Imax=(i1,...,il,...,iL),起始节点概率:
Figure GDA0003512168270000092
按层进行遍历(l<7),在每一层中,对每个尺度s,求取最大节点概率:
Figure GDA0003512168270000093
然后根据最大
Figure GDA0003512168270000094
的索引更新路径Imax
搜索到最优模块空间和过渡空间后,得到相应的模块单元组合(解码之后的模块空间) 和过渡单元,最终解码得到的最优结构如图5,该结构包含模块单元组合与过渡单元,其中圆形的点代表的是特征图,箭头代表特征图空间分辨率转移情况,也就是过渡单元,模块单元由三个圆点与两个箭头组成。网络结构由7个重复的模块单元组合构成,每一个模块单元组合包含前两层的两个特征图输入分别记为Hl-2,Hl-1,首先Hl-1通过3×3的最大池化层,Hl-2通过5×5深度可分离卷积,两者相加得到中间结果T1;然后T1通过3×3深度可分离空洞卷积,Hl-2通过5×5深度可分离空洞卷积,两者相加得到中间结果T2;T1通过3×3深度可分离卷积,Hl-2通过3×3深度可分离空洞卷积,两者相加得到中间结果T3;T1通过3×3 深度可分离空洞卷积,T2通过3×3深度可分离空洞卷积,两者相加得到中间结果T4。最终四个T1,T2,T3,T4在深度上进行拼接并利用1×1卷积进行降维获取Hl。其中卷积的步长全为 1,在模块单元组合中特征图的空间分辨率保持不变。过渡单元用来定义特征图空间分辨率转移情况。举例说明,首先,影像输入大小为512×512,通过两个层步长为2的3×3卷积获取特征图大小为128×128的特征图
Figure GDA0003512168270000101
然后在通过两层步长为1的3×3卷积获取特征图
Figure GDA0003512168270000102
Figure GDA0003512168270000103
作为第一个模块单元组合输入,由搜索到的过渡空间可知,第一个模块单元组合空间分辨率不变,输出为
Figure GDA0003512168270000104
第二模块单元组合的输入为
Figure GDA0003512168270000105
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA0003512168270000106
第三模块单元组合的输入为
Figure GDA0003512168270000107
Figure GDA0003512168270000108
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA0003512168270000109
第四个模块单元组合输入为
Figure GDA00035121682700001010
由于过渡空间定义的空间分辨率此处为从OS4降低至OS8,所以对
Figure GDA00035121682700001011
分辨率利用步长为2的3×3卷积进行降采样获取
Figure GDA00035121682700001012
Figure GDA00035121682700001013
然后再输入至重复的模块单元组合,获取
Figure GDA00035121682700001014
第五模块单元组合的输入为
Figure GDA00035121682700001015
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA00035121682700001016
第六个模块单元组合输入为
Figure GDA00035121682700001017
由于过渡空间定义的空间分辨率此处为从OS8降低至OS16,所以对
Figure GDA00035121682700001018
利用步长为2 的3×3卷积进行降采样获取
Figure GDA00035121682700001019
Figure GDA00035121682700001020
然后再输入至重复的模块单元组合,获取
Figure GDA00035121682700001021
第七模块单元组合的输入为
Figure GDA00035121682700001022
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure GDA00035121682700001023
最终将获取到的
Figure GDA00035121682700001024
利用空洞金字塔池化提取多尺度特征,并且进行16倍双线性插值上采样还原成原始图像大小特征图,利用1×1卷积层使其通道数降维为类别数并利用softmax获取土地覆盖分类概率图。
步骤3.2,对搜索到的模型进行重新训练,模型训练设置参数如下:训练步数设置为25200 步的训练,每批16个样本,批次大小设置为512×512,采用了动量0.9的SGD优化器。初始学习率设置为0.03,并在16800和22400步时逐步降低到之前的十分之一。
(四)输入一张全新的待分类图进入训练完成模型进行预测,其结果如图6。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法,其特征在于,包括以下步骤:
步骤1,获取高分辨率遥感影像土地覆盖分类数据集,将其拆分为两部分训练集,对输入数据进行归一化与数据增强;
步骤2,构建分层的基本搜索空间,并采用基于梯度的搜索算法求解基本搜索空间参数;
所述分层的基本搜索空间包括模块空间和过渡空间,所述模块空间定义为B个模块的组合,每个模块包括多个基础功能单元,基础功能单元用于将输入转换为不同的特征图;所述过渡空间用于定义不同特征图之间的空间分辨率转移路径;
步骤3,依据基本搜索空间参数利用投票算法与维特比算法解码最优深度学习模型,并在训练集上进行训练;
步骤2的具体实现包括如下子步骤,
步骤2.1,建立模块空间,所述模块空间定义为B个模块的组合,每个模块包含多个不同的基础功能单元,模块空间是对基础功能单元组合的一个空间定义,最终需要在该空间中找到最优的基础功能单元组合;
首先获取初始输入数据
Figure FDA0003512168260000011
作为输入,其中s与l分别定义特征图的输出尺寸和图层索引,对于第一层,首先是影像输入通过3×3卷积获取空间分辨率为原始影像大小1/4的特征图
Figure FDA0003512168260000012
其中下标代表网络层数,00表示预热层中第一层,上标代表输出尺寸,然后再通过3×3卷积获取
Figure FDA0003512168260000013
01表示预热层第二层,这两个输入数据进入模块空间的第一个模块,通过一系列操作获取T1,然后
Figure FDA0003512168260000014
与中间结果T1作为第二个模块输入得到T2,以此类推,产生B个中间结果{T1,...,Tb,...,TB},B个中间结果均为特征图;对于Tb的具体公式如下:
Figure FDA0003512168260000015
其中,
Figure FDA0003512168260000016
指模块从第i个特征图,通过加权操作并融合结果得到对Tb的部分输出值,由上式可知Tb由模块空间的输入
Figure FDA0003512168260000017
以及它之前的中间结果{T1,...,Tb-1}得到,
Figure FDA0003512168260000018
表示加权操作,将加权操作应用于特征图并根据模块空间的参数α获得加权结果,该参数定义为:
Figure FDA0003512168260000021
其中αk≥0,0≤k≤8
其中αk是代表每个基础功能单元
Figure FDA0003512168260000022
的贡献程度,αk≥0且
Figure FDA0003512168260000023
基础功能单元包括:3×3最大池化,3×3平均池化,3×3深度可分离卷积,5×5深度可分离卷积,3×3深度可分离空洞卷积,5×5深度可分离空洞卷积,无操作和无连接;
步骤2.2,建立过渡空间,所述过渡空间定义了模块空间中特征图的空间分辨率变换过程,最终需要通过搜索获取特征图的最优空间分辨率转移路径;
特征图尺寸最多具有四个隐藏状态
Figure FDA0003512168260000024
其中上标指特征图空间分辨率尺寸,下标为特征图的图层索引,将特征图尺寸限制为最小空间分辨率OS32和最大OS4之间,OS是Output Stride缩写,数字代表原始输入图像尺寸与特征图的比值,β表示不同空间分辨率特征之间的转换概率,通过softmax归一化后,β满足以下条件:
Figure FDA0003512168260000025
Figure FDA0003512168260000026
因此,在过渡空间中,组合了前两个特征图并获得了三种组合:
Figure FDA0003512168260000027
Figure FDA0003512168260000028
分别代表前一层为输出尺寸2倍大小特征图,前一层为输出尺寸相同大小特征图,前一层为输出尺寸1/2倍大小特征图与前第二层的组合;
步骤2.3,对于土地覆盖分类任务,为分类模块中的每个空间分辨率设计一个空洞空间金字塔池化模块;
步骤2.4,对于训练集TrainA与TrainB,首先输入批次大小固定,尺寸大小固定的TrainA中影像与对应腌膜,在模块空间和过渡空间组成的搜索空间中进行前向传播,利用空洞空间金字塔池化模块,获取分类概率图,与真实标注腌膜计算交叉熵损失,并利用梯度下降策略进行反向传播优化基础功能单元中的参数;然后输入TrainB,继续优化基本搜索空间参数α,β;不断交替上述步骤直至模型的损失函数收敛;
步骤4,基于训练收敛后的深度学习模型,对待分类样本进行预测,利用输出概率获取分类结果。
2.根据权利要求1所述的一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法,其特征在于:步骤1的具体实现包括如下子步骤,
步骤1.1,利用无人机或者高分卫星进行拍摄,获取大量高空间分辨率影像;
步骤1.2,采集遥感影像中C类感兴趣地物像素样本,将样本腌膜与对应区域影像制作成深度学习土地覆盖分类训练集;
步骤1.3,将深度学习土地覆盖分类数据集均等划分成两个部分,训练集A与训练集B;
步骤1.4,将TrainA与TrainB进行归一化,并利用水平翻转、垂直翻转、随机旋转进行数据增强。
3.根据权利要求1所述的一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法,其特征在于:步骤3的具体实现包括如下子步骤,
步骤3.1,根据收敛后的参数α,β,利用投票算法解码参数α获取模块单元组合,为步骤2.1中每个中间结果保留两个最强的连接边来解码模块空间,其中边的强度定义为:
Figure FDA0003512168260000031
利用维特比算法确定最大流路径以确定网络空间分辨率转移结构:首先初始化最大转移路径Imax=(i1,...,il,...,iL),起始节点概率:
Figure FDA0003512168260000032
按层进行遍历l<L,在每一层中,对每个尺度s,求取最大节点概率:
Figure FDA0003512168260000033
然后根据最大
Figure FDA0003512168260000034
的索引更新路径Imax
步骤3.2,获取解码得到的深度学习模型,将TrainA与TrainB进行融合获取全部训练集Train,将搜索到的深度学习模型在Train上进行重新训练。
4.根据权利要求1所述的一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法,其特征在于:所述最优深度学习模型的网络结构由7个重复的模块单元组合构成,每一个模块单元组合包含前两层的两个特征图输入分别记为Hl-2,Hl-1,首先Hl-1通过3×3的最大池化层,Hl-2通过5×5深度可分离卷积,两者相加得到中间结果T1;然后T1通过3×3深度可分离空洞卷积,Hl-2通过5×5深度可分离空洞卷积,两者相加得到中间结果T2;T1通过3×3深度可分离卷积,Hl-2通过3×3深度可分离空洞卷积,两者相加得到中间结果T3;T1通过3×3深度可分离空洞卷积,T2通过3×3深度可分离空洞卷积,两者相加得到中间结果T4,最终四个T1,T2,T3,T4在深度上进行拼接并利用1×1卷积进行降维获取Hl;其中卷积的步长全为1,在模块单元组合中特征图的空间分辨率保持不变;
过渡单元用来定义模块空间中特征图空间分辨率转移情况,首先,影像输入大小为512×512,通过两个层步长为2的3×3卷积获取特征图大小为128×128的特征图
Figure FDA0003512168260000041
然后在通过两层步长为1的3×3卷积获取特征图
Figure FDA0003512168260000042
Figure FDA0003512168260000043
作为第一个模块单元组合输入,由搜索到的过渡空间可知,第一个模块单元组合空间分辨率不变,输出为
Figure FDA0003512168260000044
第二模块单元组合元的输入为
Figure FDA0003512168260000045
同样,由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure FDA0003512168260000046
第三模块单元的输入为
Figure FDA0003512168260000047
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure FDA0003512168260000048
第四个模块单元组合输入为
Figure FDA0003512168260000049
由于过渡空间定义的空间分辨率从OS4降低至OS8,所以对
Figure FDA00035121682600000410
分辨率利用步长为2的3×3卷积进行降采样获取
Figure FDA00035121682600000411
Figure FDA00035121682600000412
然后再输入至重复的模块单元组合,获取
Figure FDA00035121682600000413
第五模块单元组合的输入为
Figure FDA00035121682600000414
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure FDA00035121682600000415
第六个模块单元组合输入为
Figure FDA00035121682600000416
由于过渡空间定义的空间分辨率此处为从OS8降低至OS16,所以对
Figure FDA00035121682600000417
利用步长为2的3×3卷积进行降采样获取
Figure FDA00035121682600000418
Figure FDA00035121682600000419
然后再输入至重复的模块单元组合,获取
Figure FDA00035121682600000420
第七模块单元组合的输入为
Figure FDA00035121682600000421
同样由于过渡空间定义的空间分辨率不变,利用重复的模块单元组合获取
Figure FDA00035121682600000422
最终将获取到的
Figure FDA00035121682600000423
利用空洞金字塔池化提取多尺度特征,并且进行16倍双线性插值上采样还原成原始图像大小特征图,利用1×1卷积层使其通道数降维为类别数并利用softmax获取土地覆盖分类概率图。
CN202010009028.7A 2020-01-06 2020-01-06 一种高分辨率遥感影像土地覆盖分类方法 Active CN111178316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010009028.7A CN111178316B (zh) 2020-01-06 2020-01-06 一种高分辨率遥感影像土地覆盖分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010009028.7A CN111178316B (zh) 2020-01-06 2020-01-06 一种高分辨率遥感影像土地覆盖分类方法

Publications (2)

Publication Number Publication Date
CN111178316A CN111178316A (zh) 2020-05-19
CN111178316B true CN111178316B (zh) 2022-04-15

Family

ID=70657857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010009028.7A Active CN111178316B (zh) 2020-01-06 2020-01-06 一种高分辨率遥感影像土地覆盖分类方法

Country Status (1)

Country Link
CN (1) CN111178316B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667004B (zh) * 2020-06-05 2024-05-31 孝感市思创信息科技有限公司 数据生成方法、装置、设备以及存储介质
CN111797703B (zh) * 2020-06-11 2022-04-01 武汉大学 基于鲁棒深度语义分割网络的多源遥感影像分类方法
CN112183376A (zh) * 2020-09-29 2021-01-05 中国人民解放军军事科学院国防科技创新研究院 针对eeg信号分类任务的深度学习网络架构搜索方法
FR3116925B1 (fr) 2020-11-27 2023-07-28 Reuniwatt Procédé de détection d’installations photovoltaïques sur une image par apprentissage profond
CN112598265B (zh) * 2020-12-18 2022-06-07 武汉大学 基于解耦风险估计的无人机高光谱松材线虫病快速探测方法
CN112766282B (zh) * 2021-01-18 2024-04-12 上海明略人工智能(集团)有限公司 图像识别方法、装置、设备及计算机可读介质
CN112927799B (zh) * 2021-04-13 2023-06-27 中国科学院自动化研究所 融合多示例学习和多任务深度影像组学的生存期分析系统
CN113239736B (zh) * 2021-04-16 2023-06-06 广州大学 一种基于多源遥感数据的土地覆盖分类标注图获取方法
CN113240055B (zh) * 2021-06-18 2022-06-14 桂林理工大学 基于宏操作变异神经架构搜索的色素性皮损图像分类方法
CN113780146B (zh) * 2021-09-06 2024-05-10 西安电子科技大学 基于轻量化神经架构搜索的高光谱图像分类方法及系统
CN113990303B (zh) * 2021-10-08 2024-04-12 华南理工大学 基于多分辨率空洞深度可分卷积网络的环境声音辨识方法
CN116524369B (zh) * 2023-04-18 2023-11-17 中国地质大学(武汉) 遥感影像分割模型构建方法、装置及遥感影像解译方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147132B2 (en) * 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
CN105260738B (zh) * 2015-09-15 2019-03-19 武汉大学 基于主动学习的高分辨率遥感影像变化检测方法及系统
US11232330B2 (en) * 2018-02-13 2022-01-25 Slingshot Aerospace, Inc. Adaptive neural network selection to extract particular results
CN110175671B (zh) * 2019-04-28 2022-12-27 华为技术有限公司 神经网络的构建方法、图像处理方法及装置
CN110188878A (zh) * 2019-05-31 2019-08-30 北京市商汤科技开发有限公司 神经网络搜索方法及装置

Also Published As

Publication number Publication date
CN111178316A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111178316B (zh) 一种高分辨率遥感影像土地覆盖分类方法
Wang et al. RSNet: The search for remote sensing deep neural networks in recognition tasks
CN108829677B (zh) 一种基于多模态注意力的图像标题自动生成方法
CN111582316B (zh) 一种rgb-d显著性目标检测方法
CN113469094A (zh) 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN110110599B (zh) 一种基于多尺度特征融合的遥感图像目标检测方法
CN113239782A (zh) 一种融合多尺度gan和标签学习的行人重识别系统及方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN113554032A (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN112508181A (zh) 一种基于多通道机制的图池化方法
CN116563683A (zh) 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法
CN114863266A (zh) 一种基于深度时空模式交互网络的土地利用分类方法
CN115375732A (zh) 一种基于模块迁移的无监督目标跟踪方法和系统
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN114565628B (zh) 一种基于边界感知注意的图像分割方法及系统
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
CN116071715A (zh) 一种自动驾驶汽车实时语义分割模型构建方法
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
CN111340113A (zh) 一种基于异构特征统一深度神经网络的中国水墨画识别方法
CN114492581A (zh) 基于迁移学习和注意力机制元学习应用在小样本图片分类的方法
CN113869396A (zh) 基于高效注意力机制的pc屏幕语义分割方法
CN113095479A (zh) 一种基于多尺度注意力机制的冰下层结构提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant