CN111797833A - 一种面向遥感语义分割的自动化机器学习方法及系统 - Google Patents
一种面向遥感语义分割的自动化机器学习方法及系统 Download PDFInfo
- Publication number
- CN111797833A CN111797833A CN202010435924.XA CN202010435924A CN111797833A CN 111797833 A CN111797833 A CN 111797833A CN 202010435924 A CN202010435924 A CN 202010435924A CN 111797833 A CN111797833 A CN 111797833A
- Authority
- CN
- China
- Prior art keywords
- parameter
- training
- remote sensing
- data
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 66
- 238000010801 machine learning Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000005457 optimization Methods 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 31
- 238000013508 migration Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 239000011800 void material Substances 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 42
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000001537 neural effect Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000010845 search algorithm Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 230000002688 persistence Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 229920002725 thermoplastic elastomer Polymers 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000013450 outlier detection Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种面向遥感影像语义分割的自动化机器学习方法及系统，属于计算机人工智能领域，基于多遥感成像指数的遥感影像语义分割算法，通过背景损失优化和多遥感成像指数计算，提升分割准确率；通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化，可以同时提高分割准确率和超参优化效率；设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构，提高遥感影像语义分割的高效性和分类的准确性。
Description
技术领域
本发明涉及一种面向遥感语义分割的自动化机器学习方法及系统，属于计算机人工智能领域。
背景技术
遥感，即遥远的感知，是利用传感器采用非接触、远距离的方式探测地面物体对电磁波信号的反射、辐射或散射情况的一门科学技术。遥感通过人造地球卫星、航空等平台上的探测仪器，对地球表面实施远超人类视觉空间的大范围的观测，综合展现了包括地质、水文等多种事物的形态和分布。遥感技术广泛应用于农林、海洋、地质等领域，从中提取的地物信息，在自然灾害应急、农业检测等任务中发挥了重要的作用。
遥感影像语义分割是遥感领域中的一个重要问题，对遥感影像中的光谱和空间信息进行分析，对不同的地物目标进行识别，而后将图像中的像元划分到具体的类别。研究遥感影像语义分割，随着计算机技术的发展，遥感影像语义分割技术得到进一步的完善，从而替代了由图像解译人员人工目视判读的方法。传统的遥感影像语义分割方法，主要还是人工参与特征的构建过程，而这个过程耗时耗力。得益于大数据时代数据的积累和计算能力的长足进步，机器学习在过去十几年间取得了巨大的成功。其中，深度学习在许多极具挑战性的任务更是大放异彩，如语音识别、图像识别等。将深度学习应用于遥感影像语义分割，能够有效利用遥感影像数据，自动解译分割关注信息，无论在民用还是军用领域都有着广泛的应用价值。
遥感影像中包含极丰富的信息，目标种类多，结构复杂，尺度不一，既包含河流、湖泊、森林等自然地物，又包含建筑、公路等人工地物。同时，遥感探测可选用不同波段和仪器观测，例如可采用可见光探测物体，也可采用红外线、微波探测物体，因此遥感数据包含的信息量更大。遥感影像中包含的丰富的光谱和空间信息，增加了特征提取和表达的复杂性。因此，将深度学习应用于遥感影像语义分割，需要识别遥感影像特点，对深度学习方法进行适当改进。
深度学习的应用过程，相比于传统的机器学习，相同点是均包含大量超参数，如优化方法、学习率等。这些超参数需要有丰富的经验才能确定最优超参数，确定过程需要进行大量训练实验，最终使算法达到最优性能。不同点在于深度学习避免了对于输入数据的手动特征提取，即特征工程(Feature Engineering)，但是却引入了复杂的模型结构设计(Architectures Engineering)。深度学习的进步，得益于新颖的神经网络结构。目前应用的网络结构，大多由深度学习专家手工设计，设计过程耗时耗力且容易出错。
针对遥感影像语义分割问题应用深度学习的过程中，面临三方面的挑战：(1)如何针对遥感影像语义分割问题的特点，改进深度学习方法；(2)如何能够快速确定，深度学习训练过程中的大量超参，使模型能够达到最优性能；(3)如何自动设计网络结构，在遥感影像语义分割问题中应用新颖的网络结构。
发明内容
本发明针对遥感影像语义分割问题，提出一种面向遥感语义分割的自动化机器学习方法及系统，采用优秀的深度学习语义分割模型、微调方法及神经架构搜索方法，使得在遥感语义分割问题中能够应用新颖的网络结构，使模型达到最优性能，提高遥感影像语义分割的高效性和分类的准确性。
本发明采用的技术方案如下：
一种面向遥感语义分割的自动化机器学习方法，对基于遥感影像语义分割算法的深度神经网络进行训练优化，包括以下步骤：
利用深度神经网络进行遥感影像语义分割的步骤：对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失的FocalLoss损失函数进行背景损失优化；
对深度神经网络进行超参数优化的步骤：通过自迁移微调训练方法与超参优化方法(例如网格搜索、随机搜索、贝叶斯优化、基于梯度优化等方法)，对该深度神经网络面向于单机多GPU的环境进行超参数优化；
利用语义分割神经架构搜索算法优化该深度神经网络结构的步骤：设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。
进一步地，检测离群点的方法为：根据3σ法则(即三西格玛准则，又称拉依达准则)，对超出(μ-3σ,μ+3σ)范围外的数据识别为离群点，其中σ为标准差，μ为均值。
进一步地，自迁移微调训练的方法包括以下步骤：
训练一个N层基础网络，将其前k(k≤N)层的参数拷贝到目标网络的前k层；
对目标网络的剩余层随机初始化，对前k层参数进行固定或微调，是否微调根据目标数据集的大小和前k层的参数量大小决定；
给定数据集和学习任务，根据数据集和学习任务训练目标网络的一个实例，以该实例为优化任务网络结构的初始参数，执行超参优化任务进行微调。
进一步地，面向于单机多GPU的环境进行超参优化包括以下步骤：
调度进程加载训练和验证数据到内存，微调进程启动时，调度进程将已加载数据共享给微调进程，通过TPE算法产生候选超参组合；
按照TPE算法产生候选超参组合初始化，读取共享的训练和验证数据，对目标网络开始微调训练，在微调训练过程自动化选择最优超参；
当一GPU上的微调任务结束时，调度进程调度新的微调任务给空闲GPU，进行不同微调任务间的异步执行；
当一GPU上的微调任务的性能低于一设定值时，通过早停规则判断并停止。
进一步地，参数共享的搜索空间为由常规单元和规约单元堆叠构成的全卷积网络，每个常规单元中的结构相同，其中常规单元的搜索空间包括若干个节点，每个节点通过控制器决策，决策内容包括：当前节点使用哪两个前面的节点的输出作为输入，以及当前节点使用哪两个运算操作处理两个输入。
进一步地，基于策略梯度的搜索策略为利用训练好的控制器LSTM的参数θ和子模型共享的参数ω计算策略梯度。
一种面向遥感语义分割的自动化机器学习系统，对基于遥感影像语义分割算法的深度神经网络进行训练优化，主要包括数据预处理模块和自动化机器学习模块，其中，
数据预处理模块，用于对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失的Focal Loss损失函数进行背景损失优化；
自动化机器学习模块，用于通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化；设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。
进一步地，还包括模型管理模块，用于为自动化机器学习模块服务，具有模型保存、删除、查看功能，以及交互功能。
进一步地，还包括任务管理模块，用于管理任务信息的展示、持久化、启停，并管理单个任务的生命周期。
进一步地，还包括可视化模块，用于将自动化机器学习模块过程进行图表展示，负责过程指标数据和进度数据的收集和整理。
进一步地，还包括程序执行模块，基于JupyterHub实现Python代码执行，具备调度服务、输出适配器、运行时服务多个子模块以及与JupyterHub的程序执行交互的功能。
本发明与现有技术相比的优点在于：现在主流的遥感图像识别算法存在识别率低、不能很好的利用特征等缺点，这导致基于遥感的科学发现进展缓慢。本发明提出的基于多遥感成像指数的遥感语义分割算法是深度神经网络的核心深度学习算法；提出的基于微调训练的语义分割超参优化方法能够同时提高模型训练效果和优化效率；提出的基于参数共享的语义分割神经架构搜索算法是以遥感影像语义分割算法计算的特征为输入，与语义分割超参数优化方法不同之处在于，神经架构搜索方法旨在发现新颖的深度神经网络结构，替代深度学习专家手工设计的网络结构，能更好的适应遥感语义分割问题；解决了在遥感领域提升应用深度学习的效果和效率的关键问题，实现了面向遥感影像语义分割的自动化机器学习系统，极大地提高了科学发现能力，有利于科学家在知识发现的过程中充分挖掘数据价值。
附图说明
图1为本发明的自动化机器学习系统架构图；
图2为本发明的自动化机器学习方法流程图；
图3为语义分割超参优化方法流程图；
图4为语义分割超参优化方法训练过程图；
图5为空洞空间金字塔池化图；
图6为NAS发现的CNN单元结构图；
图7为LSTM的重复结构图。
具体实施方式
为使本发明的技术方案能更明显易懂，特举实施例并结合附图详细说明如下。
本实施例提出一种面向遥感语义分割的自动化机器学习方法，如图1所示，主要包括如下三个步骤：
(1)基于多遥感成像指数的遥感影像语义分割算法的处理，包括数据预处理、基于多遥感成像指数的特征优化和基于Focal Loss的背景损失优化；
(2)基于微调训练的语义分割超参优化方法的处理，包括基于自迁移的微调训练方法和单机多GPU环境异步超参优化方法；
(3)基于参数共享的语义分割神经架构搜索算法的处理，包括面向语义分割的参数共享搜索空间和基于策略梯度的搜索策略。
其中，对于数据预处理，高分辨率遥感影像的值域较一般图像宽，有一定的传感器噪声数据，因此对于原始图像通道有必要执行数据预处理，避免对神经网络训练带来的潜在影响。该预处理主要从离群点检测和标准化两个方面展开。
基于多遥感成像指数的特征优化，多光谱图像能够提供超出人类视觉的重要特征，为了更好的使用各个波段表达的信息，有必要引入其他特征计算方法。本发明引入NDVI、NDWI两个指数，分别计算特征，与原图的波段共同作为深度学习算法的输入。其中，归一化差分植被指数(Normalized Difference Vegetation Index，以下简称NDVI)，应用于检测植被生长状态、植被覆盖度和消除部分辐射误差等。归一化水指数(NormalizedDifference Water Index，以下简称NDWI)，用于提取影像中的水体信息，对水体的提取效果表现较好。为了将高分遥感影像的各个通道输入目标网络计算，还需要进一步的处理。
基于Focal Loss的背景损失优化，在遥感影像语义分割问题中，由于物体尺度不一，在训练数据中可能出现前景的标注数据和背景数据严重不均衡，简单负样本占损失的大部分并决定了训练的梯度。针对这一情况，本发明采用了标准交叉熵损失(CrossEntropy Loss)的改进Focal Loss，能够有效降低易分类样本的损失，从正样本和负样本、简单样本和困难样本两个方面进行平衡。能够缓解遥感影像语义分割问题中，可能出现的负样本和简单负样本较多的问题。
基于自迁移的微调训练方法，该微调训练方法为：先训练一个N层基础网络，然后将其前k(k≤N)层的参数拷贝到目标网络(即训练的深度神经网络)的前k层。目标网络的剩余层随机初始化，而后在目标任务中训练目标网络。而在训练过程中，目标网络的所有参数都参与反向传播，包括从基础网络拷贝的前k层参数，对应的方法则固定前k层参数。是否微调前k层参数，取决于目标数据集的大小以及前k层的参数量大小。给定数据集D、学习任务T、目标网络M，首先在D上面向T，训练网络结构M的一个实例M_base。而后展开超参优化任务，以M_base为所有优化任务网络结构M_optimize初始参数，执行优化任务，优化任务的执行，即M_optimize的训练方法，即为微调方法。本发明提出的自迁移微调训练方法，M_base的参数部分或全部迁移到M_optimize中。
单机多GPU环境异步超参优化方法如图3所示，以基于异步协议的单机多GPU异步优化为基础，核心训练方法为基于自迁移的微调训练方法，本发明提出了基于微调训练的语义分割超参优化方法，通过TPE算法使整个微调训练过程自动化选择最优超参；通过数据共享减少微调进程的硬盘IO；通过早停规则减少低预期任务的资源消耗。本方法的基本思路如下：(1)调度进程加载训练和验证数据到内存，微调进程启动时，调度进程将已加载数据共享给微调进程，微调进程避免硬盘IO；同时TPE算法产生候选超参组合。(2)评估进程启动，按照超参组合初始化；读取共享训练和验证数据；加载预训练的初始化模型(即每个目标网络)，开始微调训练。(3)当某个GPU上的微调任务结束时，调度进程及时调度新的微调任务给空闲GPU，实现不同微调任务间的异步执行。(4)当某个GPU上的微调任务的性能过低时，通过早停规则判断及时停止，节省计算资源。单机多GPU调参如图4所示。
面向语义分割的参数共享搜索空间，构建一个合理的空间是神经网络架构搜索的第一步。参数共享的核心思想是，认为方法迭代过程中搜索出的架构，是一个大图的子图。搜索空间表示为一个有向无环图(Diredted Acyclic Graph，DAG)。有向无环图是有向图的一种，图中不会出现闭环，即无法从某个顶点出发经过若干条边回到该点。本发明使用基于单元(Cell)的搜索空间设计方法，通过堆叠常规单元(Normal Cell)和规约单元(Reduction Cell)来构成全卷积网络，每个常规单元中的结构相同，用DAG来表示常规单元的搜索空间。DAG中包含B个节点(包括前两个单元的输出)，每个节点需要通过控制器来决策：(1)当前节点使用哪两个前面的节点的输出作为输入。(2)当前节点使用哪两个运算操作处理两个输入。对于(1)而言，这样的设计是受跳跃连接(Skip Connection)启发，在ResNet中展现了这样设计的优越性。
基于策略梯度的搜索策略，实现影像语义分割，共有两组参数需要训练：控制器(controller)LSTM的参数θ和子模型(child model)的参数ω。训练方法是两阶段交替训练：第一个阶段训练ω，也就是在训练数据上所有架构共享的参数，
通过反向传播(BackPropagation)计算。第二阶段训练θ，训练步骤是固定的。
进一步地，训练子模型的参数ω：固定控制器的策略(Policy)π(m；θ)，使用随机梯度下降方法(Stochastic Gradient Descent)在一个训练数据批次上训练ω，目标是最小化损失函数Em～π[L(m；θ)]，其中L(m；θ)是语义分割问题的交叉熵损失，其中m代表控制器模型根据π(m；θ)采样得到的模型。使用蒙特卡洛估计(Monte Carlo estimate)计算期望损失。
进一步地，训练控制器LSTM的参数θ：固定子模型的参数ω，最大化期望奖励(Reward)Em～π[R(m,w)]，其中奖励R(m,w)在验证集上计算，梯度通过REINFORCE方法计算。之所以在验证集上训练，是希望奖励能更好的泛化到真实情况，也即希望控制器能更好的采样出泛化误差更小的模型。REINFORCE算法通过定义损失函数L(θ)＝∑logπ(a|s,θ)f(s,a)，其中a代表控制器的决策，s代表控制器的状态，f(s,a)代表动作的评价指标，在语义分割问题中定义为在验证集上的MeanIoU，计算策略梯度
本实施例还提供一种面向遥感语义分割的自动化机器学习系统，如图1所示，包括：数据预处理模块、自动化机器学习模块、模型管理模块、任务管理模块、可视化模块、程序执行模块。通过上述几个模块的协同工作，可以实现本发明提出的面向遥感语义分割的自动化机器学习系统。
上述模块中，数据预处理模块：
数据预处理模块是本发明的基础技术，本模块主要提供了三个数据预处理的接口：多遥感成像指数计算、离群点检测与标准化。多遥感成像指数计算主要引入NDVI、NDWI两个指数进行特征计算，前者适用于检测植被生长状态、植被覆盖度和消除部分辐射误差等，后者适用于提取影像中的水体信息，对水体的提取效果表现较好。而离群点检测主要通过3σ法则识别离群点，对于超出(μ-3σ,μ+3σ)范围外的数据，识别为离群点。最后将数据进行归一化得到标准化值。
上述模块中，自动化机器学习模块：
自动化机器学习模块，实现本发明的三个核心算法：基于微调训练的语义分割超参优化方法、基于多遥感成像指数的遥感影像语义分割算法和基于参数共享的语义分割神经架构搜索算法。语义分割超参优化方法如图3所示。本模块提供接口，接受输入数据和配置项，自动执行算法，并与其他模块，如模型管理、可视化等协作，细化整个执行过程。配置如下：
(1)基于微调训练的语义分割超参优化方法：本系统基于方法通用性的考量选择了BnB+的方法(baseB的前k层参数不固定，参与训练过程一起调整，其余7-k层随机初始化，在B上训练baseB的其余7-k层参数。)。主要原因是遥感数据特征与通用数据特征差别较大。差别表现在遥感数据有多光谱通道已经引入的多遥感指数通道，遥感数据，如Landsat5卫星数据，分辨率30米，频谱范围等与通用的ImageNet数据不同。当源数据集和目标数据集之间的差异较大时，微调方法有一定的限制，其克服差异性的特点将减弱，微调的效果可能无法保证。
(2)基于多遥感成像指数的遥感影像语义分割算法：采用了Focal Loss可以从正样本和负样本、简单样本和困难样本两个方面进行平衡。能够缓解遥感影像语义分割问题中，可能出现的负样本和简单负样本较多的问题。使用了NDVI与NDWI，更好的使用各个波段表达的信息。
(3)基于参数共享的语义分割神经架构搜索算法：首先，定义面向语义分割的搜索空间；其次，使用基于策略梯度(REINFORCE)的搜索策略和参数共享方法，有效地更新控制器和孩子模型，大幅减少搜索和训练时间；最后，通过空洞空间金字塔池化模块(AtrousSpatial Pyramid Pooling Module，ASPP)提取多尺度空间信息，空洞金字塔池化模块如图5所示。整个方法的示意图如图5所示，通过架构搜索方法确定全卷积网络作为骨干网络，骨干网络输出的特征图通过ASPP处理，然后产生原图大小的密集预测。通过NAS发现的CNN单元结构如图6所示。
上述模块中，模型管理模块：
模型管理模块，为自动化机器学习模块服务，处理模型保存、删除、查看等功能。除了模块接口，还提供了Python API，与Scikit-learn和Tensorflow深度交互，程序中以极简单的API，实现模型的保存和重载，方便用户对模型的各个需求。配置如下：
上述模块中，任务管理模块：
任务管理模块管理任务信息的展示、持久化、启停等。任务管理作为上层模块，将任务的声明周期抽象出来，为自动化机器学习和系统的其他模块服务，能够执行特定任务，并管理单个任务的生命周期。
上述模块中，可视化模块：
可视化模块将自动化机器学习模块过程进行图表展示，负责过程指标数据和进度数据的收集和整理，以合适的格式返回。配置如下：
上述模块中，程序执行模块：
程序执行模块基于JupyterHub实现了Python代码执行以及输出重定向、持久化等，包括调度服务、输出适配器、运行时服务多个子模块，分别处理任务简单调度、多模态输出、与JupyterHub的程序执行交互等。配置如下：
| 接口名称 | 接口含义 |
| notify | 调度新任务，交给运行时服务执行 |
| stop | 任务停止 |
| output | 将输出持久化或重定向 |
| run | 任务执行以及多模态输出重定向 |
以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (10)
1.一种面向遥感语义分割的自动化机器学习方法，对基于遥感影像语义分割算法的深度神经网络进行训练优化，其特征在于，包括以下步骤：
利用深度神经网络进行遥感影像语义分割的步骤：对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失函数进行背景损失优化；
对深度神经网络进行超参数优化的步骤：通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化；
利用语义分割神经架构搜索算法优化该深度神经网络结构的步骤：设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。
2.如权利要求1所述的方法，其特征在于，根据3σ法则对超出(μ-3σ,μ+3σ)范围外的数据检测为离群点，其中σ为标准差，μ为均值。
3.如权利要求1所述的方法，其特征在于，自迁移微调训练的方法包括以下步骤：
训练一个N层基础网络，将其前k层的参数拷贝到目标网络的前k层；
对目标网络的剩余层随机初始化，对前k层参数进行固定或微调，是否微调根据目标数据集的大小和前k层的参数量大小决定；
给定数据集和学习任务，根据数据集和学习任务训练目标网络的一个实例，以该实例为优化任务网络结构的初始参数，执行超参优化任务进行微调。
4.如权利要求1所述的方法，其特征在于，面向于单机多GPU的环境进行超参优化包括以下步骤：
调度进程加载训练和验证数据到内存，微调进程启动时，调度进程将已加载数据共享给微调进程，通过TPE算法产生候选超参组合；
按照TPE算法产生候选超参组合初始化，读取共享的训练和验证数据，对目标网络开始微调训练，在微调训练过程自动化选择最优超参；
当一GPU上的微调任务结束时，调度进程调度新的微调任务给空闲GPU，进行不同微调任务间的异步执行；
当一GPU上的微调任务的性能低于一设定值时，通过早停规则判断并停止。
5.如权利要求1所述的方法，其特征在于，参数共享的搜索空间为由常规单元和规约单元堆叠构成的全卷积网络，每个常规单元中的结构相同，其中常规单元的搜索空间包括若干个节点，每个节点通过控制器决策，决策内容包括：当前节点使用哪两个前面的节点的输出作为输入，以及当前节点使用哪两个运算操作处理两个输入。
6.如权利要求1所述的方法，其特征在于，基于策略梯度的搜索策略为利用训练好的控制器LSTM的参数θ和子模型共享的参数ω计算策略梯度。
7.如权利要求6所述的方法，其特征在于，对控制器LSTM的参数θ和子模型共享的参数ω进行训练包括对子模型共享的参数ω进行训练和对控制器LSTM的参数θ进行训练交替进行。
8.如权利要求7所述的方法，其特征在于，对子模型共享的参数ω进行训练包括以下步骤：固定控制器的策略，使用随机梯度下降方法在一个训练数据批次上训练ω，目标是最小化损失函数，使用蒙特卡洛估计法计算期望损失；
对控制器LSTM的参数θ进行训练包括以下步骤：固定子模型的参数ω，最大化期望奖励，其中奖励在验证集上计算，通过REINFORCE方法计算梯度。
9.一种面向遥感语义分割的自动化机器学习系统，对基于遥感影像语义分割算法的深度神经网络进行训练优化，其特征在于，包括数据预处理模块和自动化机器学习模块，其中，
数据预处理模块，用于对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失函数进行背景损失优化；
自动化机器学习模块，用于通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化；设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。
10.如权利要求9所述的系统，其特征在于，还包括：
模型管理模块，用于为自动化机器学习模块服务，具有模型保存、删除、查看功能，以及交互功能；
任务管理模块，用于管理任务信息的展示、持久化、启停，并管理单个任务的生命周期；
可视化模块，用于将自动化机器学习模块过程进行图表展示，负责过程指标数据和进度数据的收集和整理；
程序执行模块，基于JupyterHub实现Python代码执行，具备调度服务、输出适配器、运行时服务多个子模块以及与JupyterHub的程序执行交互的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010435924.XA CN111797833A (zh) | 2020-05-21 | 2020-05-21 | 一种面向遥感语义分割的自动化机器学习方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010435924.XA CN111797833A (zh) | 2020-05-21 | 2020-05-21 | 一种面向遥感语义分割的自动化机器学习方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111797833A true CN111797833A (zh) | 2020-10-20 |
Family
ID=72806525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010435924.XA Pending CN111797833A (zh) | 2020-05-21 | 2020-05-21 | 一种面向遥感语义分割的自动化机器学习方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797833A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743351A (zh) * | 2021-09-14 | 2021-12-03 | 北京石油化工学院 | 一种基于边缘方向语义信息的遥感影像场景识别的方法 |
| CN114663662A (zh) * | 2022-05-23 | 2022-06-24 | 深圳思谋信息科技有限公司 | 超参数搜索方法、装置、计算机设备和存储介质 |
| CN116452951A (zh) * | 2023-04-18 | 2023-07-18 | 郑州大学 | 基于中央数据池的遥感信息提取模型分布式训练方法 |
| CN117078923A (zh) * | 2023-07-19 | 2023-11-17 | 苏州大学 | 面向自动驾驶环境的语义分割自动化方法、系统及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376869A (zh) * | 2018-12-25 | 2019-02-22 | 中国科学院软件研究所 | 一种基于异步贝叶斯优化的机器学习超参优化系统及方法 |
-
2020
- 2020-05-21 CN CN202010435924.XA patent/CN111797833A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376869A (zh) * | 2018-12-25 | 2019-02-22 | 中国科学院软件研究所 | 一种基于异步贝叶斯优化的机器学习超参优化系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAYI LI等: "Deep neural network for remote-sensing image interpretation: status and perspectives", 《NATIONAL SCIENCE REVIEW》 * |
| 刘桂雄等: "面向语义分割机器视觉的AutoML方法", 《激光杂志》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743351A (zh) * | 2021-09-14 | 2021-12-03 | 北京石油化工学院 | 一种基于边缘方向语义信息的遥感影像场景识别的方法 |
| CN114663662A (zh) * | 2022-05-23 | 2022-06-24 | 深圳思谋信息科技有限公司 | 超参数搜索方法、装置、计算机设备和存储介质 |
| CN116452951A (zh) * | 2023-04-18 | 2023-07-18 | 郑州大学 | 基于中央数据池的遥感信息提取模型分布式训练方法 |
| CN116452951B (zh) * | 2023-04-18 | 2023-11-21 | 郑州大学 | 基于中央数据池的遥感信息提取模型分布式训练方法 |
| CN117078923A (zh) * | 2023-07-19 | 2023-11-17 | 苏州大学 | 面向自动驾驶环境的语义分割自动化方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Boulila et al. | RS-DCNN: A novel distributed convolutional-neural-networks based-approach for big remote-sensing image classification | |
| Shen et al. | HESS Opinions: Incubating deep-learning-powered hydrologic science advances as a community | |
| Gavali et al. | Deep convolutional neural network for image classification on CUDA platform | |
| CN109801293B (zh) | 遥感影像分割方法、装置及存储介质、服务器 | |
| CN111797833A (zh) | 一种面向遥感语义分割的自动化机器学习方法及系统 | |
| CN111914728B (zh) | 高光谱遥感影像半监督分类方法、装置及存储介质 | |
| US20220222921A1 (en) | Method for generating image classification model, roadside device and cloud control platform | |
| Nurkarim et al. | Building footprint extraction and counting on very high-resolution satellite imagery using object detection deep learning framework | |
| Chen et al. | Image recognition algorithm based on artificial intelligence | |
| CN110991284A (zh) | 一种基于场景预分类的光学遥感图像语句描述生成方法 | |
| Chew et al. | Large-scale 3D point-cloud semantic segmentation of urban and rural scenes using data volume decomposition coupled with pipeline parallelism | |
| Thiruvathukal et al. | Low-power computer vision: improve the efficiency of artificial intelligence | |
| Atik et al. | Comparative research on different backbone architectures of DeepLabV3+ for building segmentation | |
| CN115082790A (zh) | 一种基于连续学习的遥感图像场景分类方法 | |
| Ye et al. | Multi-year ENSO forecasts using parallel convolutional neural networks with heterogeneous architecture | |
| CN113723572B (zh) | 船只目标识别方法、计算机系统及程序产品、存储介质 | |
| Wu et al. | CE-text: A context-Aware and embedded text detector in natural scene images | |
| Liu et al. | Target classification and recognition for high-resolution remote sensing images: Using the parallel cross-model neural cognitive computing algorithm | |
| Nan et al. | Infrared object image instance segmentation based on improved mask-RCNN | |
| CN116310646A (zh) | 基于gan的遥感地图图像图域迁移方法、系统及计算机设备 | |
| Liu et al. | Image semantic segmentation based on improved DeepLabv3+ network and superpixel edge optimization | |
| CN116664826A (zh) | 一种小样本点云语义分割方法 | |
| CN115616570A (zh) | 基于半监督生成对抗网络的sar目标识别方法 | |
| WO2020167156A1 (ru) | Способ отладки обученной рекуррентной нейронной сети | |
| Warren et al. | Toward generalized models for machine-learning-assisted salt interpretation in the Gulf of Mexico |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201020 |
|
| RJ01 | Rejection of invention patent application after publication |