CN112163550A - 基于深度神经网络自动学习的遥感影像场景分类方法 - Google Patents

基于深度神经网络自动学习的遥感影像场景分类方法 Download PDF

Info

Publication number
CN112163550A
CN112163550A CN202011095311.2A CN202011095311A CN112163550A CN 112163550 A CN112163550 A CN 112163550A CN 202011095311 A CN202011095311 A CN 202011095311A CN 112163550 A CN112163550 A CN 112163550A
Authority
CN
China
Prior art keywords
neural network
deep neural
remote sensing
learning
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011095311.2A
Other languages
English (en)
Inventor
黄浩哲
李海峰
彭剑
陈力
崔振琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202011095311.2A priority Critical patent/CN112163550A/zh
Publication of CN112163550A publication Critical patent/CN112163550A/zh
Priority to AU2021103314A priority patent/AU2021103314A4/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度神经网络自动学习的遥感影像场景分类方法，包括以下步骤：设计与初始化神经网络结构空间；学习神经网络的结构，构建最优深度神经网络模型；利用遥感影像数据集训练所述的最优深度神经网络模型，训练过程为从头训练；利用训练完成的最优深度神经网络模型进行遥感影像场景分类。本发明方法包括神经网络结构学习过程与神经网络结构评估过程，通过上述流程，不仅能获得更高性能的机器学习模型，同时其高度自动化的过程能够有效节省机器学习模型结构设计过程中的人力与时间。

Description

基于深度神经网络自动学习的遥感影像场景分类方法
技术领域
本发明涉及图像处理与识别技术领域，尤其涉及基于深度神经网络自动学习的遥感影像场景分类方法。
背景技术
随着越来越多的遥感卫星被发射升空，遥感影像的获取变得越来越简单，因此对更快速更智能的遥感影像理解的需求也日益增加。随着遥感影像分辨率的提高，遥感影像中地物的细节越来越丰富，也产生了众多新的应用。其中，遥感影像场景分类是将每张遥感影像指定一个标签，这一标签表明了该影像中包含的地物所构成的场景，如商业区、学校或者公园。以往针对不同地物的特点手工设计特征来进行遥感影像理解的方法因为费时费力且准确性不高，已经逐渐被基于机器(深度)学习的方法所代替。
目前，遥感领域基于深度学习的场景分类方法往往通过构建一个深度神经网络自动从数据中学习到需要的特征，克服了手工设计特征的局限性，从而获得更好的性能。这些机器(深度)学习的方法主要依赖于利用机器学习专家设计的深度神经网络来处理场景分类问题。但模型结构的设计往往需要经验丰富的机器学习与遥感专家的参与，并且具有劳动密集的特点，需要花费大量的时间与人力。尤其是针对不同的数据集设计不同的深度神经网络的结构，受限于操作者自身的专家经验，其解决方案并不一定能拥有最佳的性能。
因此，面对日益增长的遥感影像智能理解的需求，亟需一种能够自适应的设计深度神经网络结构来处理遥感影像场景分类问题的智能算法。其一，可以将深度学习的建模过程自动化，从而大量节省人力与时间；其二，对于不同的数据将提供基于数据的最适宜的解决方案，能够进一步提升模型处理遥感影像场景分类任务的能力。
发明内容
有鉴于此，本发明的目的在于提供基于深度神经网络自动学习的遥感影像场景分类方法，所述方法包括神经网络结构学习过程与神经网络结构评估过程。通过上述流程，不仅能获得更高性能的机器学习模型，同时其高度自动化的过程能够有效节省机器学习模型结构设计过程中的人力与时间。
本发明的目的是这样实现的，基于深度神经网络自动学习的遥感影像场景分类方法，包括以下步骤：
步骤1，设计与初始化神经网络的结构空间；
步骤2，学习神经网络的结构，构建最优深度神经网络模型；
步骤3，利用遥感影像数据集训练所述的最优深度神经网络模型，训练过程为从头训练；
步骤4，利用训练完成的最优深度神经网络模型进行遥感影像场景分类。
具体地，步骤1中所述的神经网络包括单元，所述的单元是一个计算模块由N个求和节点组成，并且可以堆叠多次以形成整个卷积神经网络，每个单元都有两个输入张量I1和I2，所述的输入张量是前面单元的输出张量或前面的卷积层的输出张量，每个求和节点具有多个输入张量和一个输出张量，节点的输入张量将被从运算符集合O中选择的运算符处理，令Sn为第n个求和节点的输出张量，则第n个求和节点可能的输入张量为{I1,I2,S1,…Sn-1}，所有输出张量总和节点被串联为单元的输出，所述的运算符集合O中包含：3x3卷积、5x5卷积、3x3空洞卷积、5x5空洞卷积、最大池化、平均池化和等价连接。
具体地，所述的设计与初始化神经网络的结构空间包括设置用于学习深度神经网络结构的结构空间，并初始化深度神经网络的权值。
具体地，所述的学习神经网络的结构包括以下步骤：在遥感影像数据集上进行N1个时期(epoch)的自动深度神经网络结构学习，N1为设定阈值，以获取在该遥感影像数据集上结构最优的深度神经网络；在自动深度神经网络结构学习过程的每一个时期中，记当前时期数为m，基于给定遥感影像数据集进行自动深度神经网络结构学习，并获得当前时期下的最优神经网络结构Am；判断当前时期数n是否小于设定阈值N1，若小于设定阈值N1，则学习进入下一个时期；若等于设定阈值N1，则构建最优深度神经网络模型
Figure BDA0002723555010000031
附图说明
图1示出了本发明实施例的流程示意图；
图2示出了本发明实施例所进行的遥感影像场景分类流程图；
图3示出了本发明实施例中精度随着时期的变化示意图；
图4示出了本发明实施例学习到的神经网络结构的示例。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明实施例的流程示意图，基于深度神经网络自动学习的遥感影像场景分类方法，包括以下步骤：
步骤1，设计与初始化神经网络的结构空间；
步骤2，学习神经网络的结构，构建最优深度神经网络模型；
步骤3，利用遥感影像数据集训练所述的最优深度神经网络模型，训练过程为从头训练；
步骤4，利用训练完成的最优深度神经网络模型进行遥感影像场景分类。
步骤1中所述的神经网络包括单元，所述的单元是一个计算模块由N个求和节点组成，并且可以堆叠多次以形成整个卷积神经网络，每个单元都有两个输入张量I1和I2，所述的输入张量是前面单元的输出张量或前面的卷积层的输出张量，每个求和节点具有多个输入张量和一个输出张量，节点的输入张量将被从运算符集合O中选择的运算符处理，令Sn为第n个求和节点的输出张量，则第n个求和节点可能的输入张量为{I1,I2,S1,…Sn-1}，所有输出张量总和节点被串联为单元的输出，所述的运算符集合O中包含：3x3卷积、5x5卷积、3x3空洞卷积、5x5空洞卷积、最大池化、平均池化和等价连接。
具体地，所述的设计与初始化神经网络的结构空间包括设置用于学习深度神经网络结构的结构空间，并初始化深度神经网络的权值。
具体地，所述的学习神经网络的结构包括以下步骤：在遥感影像数据集上进行N1个时期(epoch)的神经网络结构学习，N1为设定阈值，以获取在该遥感影像数据集上结构最优的深度神经网络；在自动深度神经结构学习过程的每一个时期中，记当前时期数为m，基于给定遥感影像数据集进行自动深度神经网络结构学习，并获得当前时期下的最优神经网络结构Am；判断当前时期数m是否小于设定阈值N1，若小于设定阈值N1，则学习进入下一个时期；若等于设定阈值N1，则构建最优深度神经网络模型AN1。当所有影像轮流在学习过程中被使用了之后，即为完成了一个epoch。
从原始遥感影像数据集到场景分类完成，其具体流程如图2所示。所述的自动深度神经网络结构学习的过程包括：固定深度神经网络的结构，利用梯度下降训练深度神经网络的权值；固定深度神经网络的权值，对深度神经网络的结构参数进行学习，并改变网络结构。
在UC-Merced(UCM)、AID与NWPU45三个数据集上进行了50个时期(epoch)的深度神经网络结构学习。在学习过程中不断改变神经网络结构的同时进行深度神经网络的训练。UC-Merced数据集被按照1:1的比例划分为训练集与测试集，在每一个epoch的自动深度神经网络结构学习过程中，记录所学习到的网络在训练集上的精度(train accuracy)与测试集上的精度(valid accuracy)。图3表明，随着学习过程的进行，所学习到的结构的训练精度与测试精度逐渐提升，且在靠近50epoch时趋于收敛，表明最优神经网络结构的学习已经完成。学习到的结构将用于下一步的自动遥感影像增强。
如图4，为在UC-Merced数据集上学习到的最优神经网络结构的实例。图中I1与I2表示神经网络结构单元(Cell)的输入，Sep 5x5与Sep 3x3分别表示深度可分离卷积5x5与3x3，Max Pool表示最大池化，Sum代表将输入相加起来，concat表示合并连接。
如表1，对每个遥感影像数据集学习到的最优神经网络进行训练。训练集与测试集的比例包括1:1与4:1两种。与现有的人工设计的深度神经网络进行对比，可以发现本方法学习到的网络结构在性能上具有优越性。
表1本发明提出的方法与其他方法性能对比
Figure BDA0002723555010000061
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (4)

1.基于深度神经网络自动学习的遥感影像场景分类方法，其特征在于，包括以下步骤：
步骤1，设计与初始化神经网络的结构空间；
步骤2，学习神经网络的结构，构建最优深度神经网络模型；
步骤3，利用遥感影像数据集训练所述的最优深度神经网络模型，训练过程为从头训练；
步骤4，利用训练完成的最优深度神经网络模型进行遥感影像场景分类。
2.根据权利要求1所述的遥感影像场景分类方法，其特征在于，步骤1中所述的神经网络包括单元，所述的单元是一个计算模块由N个求和节点组成，并且可以堆叠多次以形成整个卷积神经网络，每个单元都有两个输入张量I1和I2，所述的输入张量是前面单元的输出张量或前面的卷积层的输出张量，每个求和节点具有多个输入张量和一个输出张量，节点的输入张量将被从运算符集合O中选择的运算符处理，令Sn为第n个求和节点的输出张量，则第n个求和节点可能的输入张量为{I1,I2,S1,…Sn-1}，所有输出张量总和节点被串联为单元的输出，所述的运算符集合O中包含：3x3卷积、5x5卷积、3x3空洞卷积、5x5空洞卷积、最大池化、平均池化和等价连接。
3.根据权利要求2所述的遥感影像场景分类方法，其特征在于，所述的设计与初始化神经网络的结构空间包括设置用于学习深度神经网络结构的结构空间，并初始化深度神经网络的权值。
4.根据权利要求2或3所述的遥感影像场景分类方法，其特征在于，所述的学习神经网络的结构包括以下步骤：在遥感影像数据集上进行N1个时期的自动深度神经网络结构学习，N1为设定阈值，以获取在该遥感影像数据集上结构最优的深度神经网络；在自动深度神经网络结构学习过程的每一个时期中，记当前时期数为m，基于给定遥感影像数据集进行自动深度神经网络结构学习，并获得当前时期下的最优神经网络结构Am；判断当前时期数m是否小于设定阈值N1，若小于设定阈值N1，则学习进入下一个时期；若等于设定阈值N1，则构建最优深度神经网络模型
Figure FDA0002723552000000021
CN202011095311.2A 2020-10-14 2020-10-14 基于深度神经网络自动学习的遥感影像场景分类方法 Pending CN112163550A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011095311.2A CN112163550A (zh) 2020-10-14 2020-10-14 基于深度神经网络自动学习的遥感影像场景分类方法
AU2021103314A AU2021103314A4 (en) 2020-10-14 2021-06-11 Remote sensing image scene classification method based on deep neural network automatic learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011095311.2A CN112163550A (zh) 2020-10-14 2020-10-14 基于深度神经网络自动学习的遥感影像场景分类方法

Publications (1)

Publication Number Publication Date
CN112163550A true CN112163550A (zh) 2021-01-01

Family

ID=73866865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011095311.2A Pending CN112163550A (zh) 2020-10-14 2020-10-14 基于深度神经网络自动学习的遥感影像场景分类方法

Country Status (2)

Country Link
CN (1) CN112163550A (zh)
AU (1) AU2021103314A4 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926698B (zh) * 2022-07-19 2022-10-14 深圳市南方硅谷半导体股份有限公司 基于演化博弈论的神经网络架构搜索的图像分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038440A (zh) * 2017-12-07 2018-05-15 河海大学 一种基于重叠池化的高光谱遥感影像分类方法
CN110390244A (zh) * 2019-03-18 2019-10-29 中国人民解放军61540部队 基于深度学习的遥感图像要素识别方法
CN111325165A (zh) * 2020-02-26 2020-06-23 中南大学 考虑空间关系信息的城市遥感影像场景分类方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038440A (zh) * 2017-12-07 2018-05-15 河海大学 一种基于重叠池化的高光谱遥感影像分类方法
CN110390244A (zh) * 2019-03-18 2019-10-29 中国人民解放军61540部队 基于深度学习的遥感图像要素识别方法
CN111325165A (zh) * 2020-02-26 2020-06-23 中南大学 考虑空间关系信息的城市遥感影像场景分类方法
CN111461258A (zh) * 2020-04-26 2020-07-28 武汉大学 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIE CHEN, ET AL.: ""Convolution Neural Network Architecture Learning for Remote Sensing Scene Classification"", 《ARXIV:2001.09614V1[CS.CV]》 *
刘异等: "联合Fisher核编码和卷积神经网络的影像场景分类", 《遥感信息》 *

Also Published As

Publication number Publication date
AU2021103314A4 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN112101430A (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN111695640B (zh) 地基云图识别模型训练方法及地基云图识别方法
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN112711985B (zh) 基于改进solo网络的果实识别方法、装置及机器人
CN115116054B (zh) 一种基于多尺度轻量级网络的病虫害识别方法
CN110874626B (zh) 一种量化方法及装置
CN107194415A (zh) 一种基于拉普拉斯中心性的峰值聚类方法
CN113807366B (zh) 一种基于深度学习的点云关键点提取方法
CN112381208A (zh) 一种深度渐进且逐步寻优的神经网络架构搜索方法与系统
CN109460792A (zh) 一种基于图像识别的人工智能模型训练方法及装置
CN112365511A (zh) 基于重叠区域检索与对齐的点云分割方法
CN112597919A (zh) 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法
CN112163550A (zh) 基于深度神经网络自动学习的遥感影像场景分类方法
CN114612450A (zh) 基于数据增广机器视觉的图像检测分割方法、系统、电子设备
CN112801204B (zh) 基于自动神经网络的具有终身学习能力的高光谱分类方法
CN114004152A (zh) 基于图卷积和循环神经网络的多风场风速时空预测方法
CN112200208B (zh) 基于多维度特征融合的云工作流任务执行时间预测方法
CN112163549B (zh) 一种基于自动机器学习的遥感影像场景分类方法
CN117058235A (zh) 跨多种室内场景的视觉定位方法
CN116433980A (zh) 脉冲神经网络结构的图像分类方法、装置、设备及介质
CN114581470B (zh) 一种基于植物群落行为的图像边缘检测方法
CN110826691A (zh) 基于yolo和lstm的地震速度谱智能拾取方法
CN115544811A (zh) 应用于数字孪生模型的数据管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101