CN112419333B - 一种遥感影像自适应特征选择分割方法及系统 - Google Patents
一种遥感影像自适应特征选择分割方法及系统 Download PDFInfo
- Publication number
- CN112419333B CN112419333B CN202011284221.8A CN202011284221A CN112419333B CN 112419333 B CN112419333 B CN 112419333B CN 202011284221 A CN202011284221 A CN 202011284221A CN 112419333 B CN112419333 B CN 112419333B
- Authority
- CN
- China
- Prior art keywords
- feature
- adaptive
- feature selection
- remote sensing
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000011218 segmentation Effects 0.000 title claims abstract description 54
- 238000009826 distribution Methods 0.000 claims abstract description 39
- 238000013136 deep learning model Methods 0.000 claims abstract description 33
- 238000011176 pooling Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000004913 activation Effects 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000005520 cutting process Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000002360 preparation method Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 description 19
- 238000007792 addition Methods 0.000 description 10
- 238000003709 image segmentation Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Abstract
本发明提供了一种遥感影像自适应特征选择分割方法及系统，包括数据准备，对高分辨率影像的裁剪和数据预处理；改进模型，基于基础模型网络添加设置自适应特征选择模块，所述自适应特征选择模块用于对不同特征图进行特征提取，通过对基础模型网络所得多个不同尺度或者不同感受野的特征图进行全局平均池化特征提取，利用全连接层和激活函数学习不同特征图重要程度的权重分布，根据权重分布进行特征筛选，实现自适应特征选择过程；对所得优化后的深度学习模型进行训练；根据训练所得优化后的深度学习模型对输入的可见光影像的分割结果。本发明不仅可以有效地提高分割模型精度，还可以降低模型的计算量，而且具有通用性、操作简单、性能强等优势。
Description
技术领域
本发明属于卫星遥感影像处理领域，特别涉及到了高分辨率遥感影像的分割方案，提出了一种新的深度学习模型来实现遥感影像的自适应特征选择方案。
背景技术
近些年，随着深度学习在图像处理领域的应用不断加深，语义分割作为图像处理中的一个重要研究方向，已经得到了快速的发展。而对于遥感影像分割对遥感影像的后续处理具有重要意义。特别是在星上平台，提前对影像进行分割，提取感兴趣区域目标为图像的理解提供先验知识。将人工智能、计算机视觉应用到在轨星上平台，可以为全球范围的遥感信息提供实时智能服务。遥感影像分析已成为一个重要的研究课题，在环境监测、城市规划、土地利用管理等领域得到了广泛的应用。许多传统的分割方法过于依赖于人工提取的特征，很难在高分辨率航空影像中实现对复杂地物的有效分割。
近年来，出现了许多优秀的可作为图像特征提取的骨干网络，如VGG、ResNet、Inception等。语义分割作为计算机视觉的一个重要分支，在图像理解中发挥着极其重要的作用。以卷积神经网络(Convolution Neural Networks,CNNs)为基础的深度网络模型在许多视觉任务中取得优异的性能，如FCNs、U-Net、DeepLab、PSPNet等。
在过去的几年里，研究人员利用深度学习模型在高分辨率航空影像处理领域进行了大量的研究工作。目前针对高分辨遥感影像的语义分割方法，主要是利用当前流行的神经网络模型来实现影像的分割任务。多尺度输入是提升模型鲁棒性的一种重要方法，主要是利用具有不同感受野特征图来提升模型的拟合能力。目前在遥感影像中应用的模型主要有U-Net，PSPNet以及DeepLab系列模型。U-Net之所以被广泛地应用在遥感影像分割任务中，是因为它采用了跳跃连接(Skip connection)的方法。U-Net在上采样的过程中加入了下采样的特征图，从而将高分辨率的特征与低分辨率的特征进行整合，有效的提升了模型的学习能力。PSPNet采用了金字塔池化层，来获得不同尺度的池化层。与PSPNet具有相似效果的DeepLab系列模型，采用了空洞卷积的方法来提升模型的感受野，同时也采用了不同尺度的特征图来提升模型的拟合能力。
当前的深度学习模型在遥感影像分割任务中都展示了非常好的效果。然而，对于PSPNet，DeepLab这样的模型。针对不同的数据集，需要反复的通过实验去寻找最佳的尺度，这个过程非常的繁琐，需要消耗大量的算力和时间。目前国内外还没有一种非常好的办法来解决尺度的选择问题。在国内外期刊上，还没有相关论文发表。目前，国内也没有对尺度选择问题提出一种很好的解决办法以及授权专利。
发明内容
本发明针对当前高分辨率遥感影像的分割任务中采用的多尺度特征选择问题，提供了一种基于自适应特征选择模型的遥感影像分割方案。
本发明提供的技术方案为一种遥感影像自适应特征选择分割方法，包括以下步骤：
步骤1，数据准备，包括对高分辨率影像的裁剪和数据预处理；
步骤2，改进模型，包括基于基础模型网络添加设置自适应特征选择模块，得到优化后的深度学习模型；所述自适应特征选择模块用于对不同特征图进行特征提取，实现方式为通过对基础模型网络所得多个不同尺度或者不同感受野的特征图进行全局平均池化特征提取，然后利用全连接层和激活函数引导神经元学习不同特征图重要程度的权重分布，最后根据学习的权重分布来对输入特征图进行特征筛选，从而实现自适应特征选择过程；
步骤3，模型训练，包括对步骤2所得优化后的深度学习模型进行训练；
步骤4，输出结果，包括根据步骤3训练所得优化后的深度学习模型对输入的可见光影像的分割结果。
而且，步骤1中，采用高分辨率遥感影像数据集，并对数据集进行裁剪，对裁剪所得每个图像块都进行数据增强操作。
而且，步骤2中所述自适应特征选择模块实现如下，
设从基础模型网络得到的特征图块构成集合X＝{Xi,i∈[1,s]}，且
其中，c表示输入通道的数量，h和w分别表示特征图的高度和宽度大小，s表示具有不同尺度或不同感受野特征图块的数量，
表示实数集；
首先对输入的s个特征图块进行加运算；
然后通过全局池化层对
进行全局池化，获得每个通道间的统计信息S；
经过全局池化后，再送入到两个全连接层进行特征整合，每个全连接层后面都接BN和ReLU激活函数；通过第一个全连接层实现特征信息的维度变换，然后利用第二个全连接层进行权重分布的学习，权重分布采用softmax激活函数进行生成；
设Pi表示第i个特征图块所对应的权重值，得到权重分布值的比重如下，
根据权重分布值的比重进行加运算操作如下，
其中，Y表示最终输出的特征图。
而且，所述基础模型网络为U-Net、PSPNet或DeepLabV3模型。
而且，步骤4中，通过输入高分辨遥感影像，根据步骤3训练所得优化后的深度学习模型输出对应影像的掩码，从而实现分割任务。
本发明还提供一种遥感影像自适应特征选择分割系统，用于实现如上所述的一种遥感影像自适应特征选择分割方法。
而且，包括以下模块，
第一模块，用于数据准备，包括对高分辨率影像的裁剪和数据预处理；
第二模块，用于改进模型，包括基于基础模型网络添加设置自适应特征选择模块，得到优化后的深度学习模型；所述自适应特征选择模块用于对不同特征图进行特征提取，实现方式为通过对基础模型网络所得多个不同尺度或者不同感受野的特征图进行全局平均池化特征提取，然后利用全连接层和激活函数引导神经元学习不同特征图重要程度的权重分布，最后根据学习的权重分布来对输入特征图进行特征筛选，从而实现自适应特征选择过程；
第三模块，用于模型训练，包括对第二模块所得优化后的深度学习模型进行训练；
第四模块，用于输出结果，包括根据第三模块训练所得优化后的深度学习模型对输入的可见光影像的分割结果。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种遥感影像自适应特征选择分割方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种遥感影像自适应特征选择分割方法。
本发明提供了一种遥感影像自适应特征选择分割方案，解决了多个特征图输入的自适应选择问题，该方案具有简单、有效、精度高、易于实现的特点。本发明提出了一种特征自适应选择模块，并且可以成功应用于U-Net、PSPNet和DeepLabV3上。和现有技术相比，本发明具有如下优势，
(1)设计的自适应特征选择模块可以有效地提取语义特征，增加深度学习模型的鲁棒性。
(2)对遥感影像分割具有重要意义，它可以将多个不同尺度(感受野)的特征进行自动选择和高效融合，不仅可以减少冗余特征信息，还可以减少参数计算量。
(3)具有很强的实用性和通用性，不仅可以应用到多个分割网络模型中，还可以有效的提升分割模型的精度，降低模型的计算量。
附图说明
图1为本发明实施例的自适应特征选择模块结构示意图。
图2为本发明实施例的PSPNet-AFS结构示意图。
图3为本发明实施例的DeepLabV3-AFS结构示意图。
图4为本发明实施例的U-Net-AFS结构示意图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
本发明技术方案可应用到多个传统模型中，可采用当前流行的深度学习框架进行训练模型，包括Pytorch、TensorFlow等。
本发明实施例提供一种遥感影像自适应特征选择分割方法，以基于自适应特征选择模块(可称为AFS模块)在U-Net、PSPNet以及DeepLabV3上面的应用为例，说明本发明的技术方案。
本发明实施例提供的一种遥感影像自适应特征选择分割方法，包括以下步骤：
步骤1，数据准备，包括对高分辨率影像的裁剪、数据预处理；
实施例采用了高分辨率遥感影像数据集，并对数据集进行裁剪为256×256大小的图像块，每个图像块都进行数据增强操作。通常，基于10米以下分辨率的高分辨率遥感影像数据集即可应用本发明方案。
实施例中，采用两个公共数据集进行评测模型性能，分别为国际摄影测量协会提供的Vaihingen dataset和武汉大学提供的WHU Building dataset中的一个卫星影像数据集Satellite dataset I(global cities)。
Vaihingen dataset采用8bit TIF数据格式，包括RGB三个波段，9cm地物分辨率。Satellite dataset I(global cities)来自QuickBird,Worldview系列,IKONOS以及ZY-3卫星，分辨率0.3m到2.5m之间，训练样本包括可见光以及全色影像。
步骤2，模型设置，包括在传统深度学习模型的基础上添加自适应特征选择模块，即基于传统深度学习模型的基础模型网络上设置自适应特征选择模块，得到优化后的深度学习模型；
本发明进一步提出，自适应特征选择模块中首先通过卷积神经网络的编码过程实现特征的提取；然后获取不同尺度(感受野)的特征图块；其次利用注意力机制实现特征选择；最后通过反卷积对特征图进行上采样操作，最终得到输出掩码。
具体实施时，可根据需要选择传统深度学习模型，例如U-Net，PSPNet、DeepLabV3模型等。
基于AFS模块的分割网络模型，首先需要对输入的遥感影像进行预处理；然后利用卷积神经网络进行对影像进行编码获得不同尺度(感受野)的特征图块，再利用设计的AFS模块实现特征地自动选择过程；最后通过上采样操作获得遥感影像的分割掩码。
步骤3，模型训练，包括对步骤2所得优化后的深度学习模型进行训练，涉及对传统深度学习模型的训练以及采用自适应特征选择模块的训练；
实施例中，采用了U-Net、PSPNet、DeepLabV3三个基础模型网络分别利用自适应特征选择模块进行训练。训练平台主要是基于Pytorch开源框架，以Python语言为基础。同时需要高性能计算机，并配备有英伟达公司高性能显卡进行图形计算。
步骤4，输出结果，包括根据步骤3训练好的模型对输入的可见光影像的分割结果。
实施例中将步骤3中的训练结果进行展示，通过输入高分辨遥感影像，并输出对应影像的掩码，从而实现分割任务。自适应特征选择模块简称为AFS模块，参见图1，实施例中自适应特征选择模块的实现方式如下，
本发明实施例提出的自适应特征选择模块是一种对不同特征图进行特征提取的方法，通过对多个不同尺度或者不同感受野的特征图进行全局平均池化特征提取，然后利用全连接层和softmax激活函数引导神经元学习不同特征图重要程度的权重分布，最后根据学习的权重分布来对输入特征图进行特征筛选，从而实现自适应特征选择过程。
实施例的自适应特征选择模块具体实现方式如下：
(1)多尺度(感受野)特征图获取。
多尺度(感受野)特征图的获取，需要采用基于卷积神经网络的编码层来实现特征的提取，即在传统深度学习模型提供的基础模型网络(卷积神经网络)基础上进行提取。在U-Net中，主要是通过将编码层获取的高分辨率特征图和解码层获取的低分辨率特征层进行融合，本发明设计的AFS模块主要是将上述两种具有不同感受野的特征层进行自动选择。在PSPNet中，主要是利用金字塔池化层获取的多个尺度特征层进行自动特征选择。在DeepLabV3中，采用了不同空洞卷积获取的多个感受野的特征图块，然后利用AFS模块进行特征选择。
(2)特征图块拼接。
特征图块的拼接主要是为了将多个特征图块进行合并到一个特征图，这样方便后续的特征提取以及加法运算操作。
(3)特征图加运算。
通过拼接后的特征图，进行加法运算操作得到所有特征图块对应元素之和。
假设给定的特征图块构成集合X＝{Xi,i∈[1,s]}，且第i个特征图块
其中，c表示输入通道的数量，h和w分别表示特征图的高度和宽度大小，s表示具有不同尺度或不同感受野特征图块的数量，
表示c×w×h的向量空间。首先对输入的s个特征图块进行加运算操作，特征图的加运算所得结果
如下，
(4)全局池化。
全局池化的目的是为了获取channel-wise的特征信息，通过注意力机制实现对特征图块之间的权重学习。
(5)注意力机制。
本发明设计的AFS模块能够实现特征地自动选择过程，是因为AFS模块采用了注意力机制。注意力机制主要是利用了全连接层和softmax激活函数进行引导模块学习特征图之间的权重分布。而且，本发明采用了两个全连接层，第一个全连接层主要是为了对特征信息进行降维处理，并采用BN层进行归一化以及ReLU进行激活；第二个则是对之前信息的进一步提取，同时采用softmax激活函数进行权重分布的引导。
通过全局池化层对
进行全局池化，来获得每个通道间的统计信息S，且
全局池化的运算定义如下，
其中，GP表示全局池化操作，
为特征图的加运算所得结果。经过全局池化后，再送入到全连接层进行特征整合。每个全连接层后面都接着batch normalization(BN)和rectified linear unit(ReLU)激活函数。
第一个全连接层的计算公式如下，
其中，B表示BN层，激活函数用σ来表示，用FC来表示全连接层，其中
表示第一个全连接层的输出。通过上式来引导模型实现特征的自动选择过程学习。为了降低模型的参数和计算复杂度，本发明的模型设计了两个全连接层。通过第一个全连接层可以实现特征信息的维度变换，主要是减少维度从而降低计算复杂度。然后利用第二个全连接层进行权重分布的学习，计算公式和第一个全连接层的计算公式类似，输入S替换为第一个全连接层所得
设得到的结果记为Si，即第二次全连接层的输出
实施例利用softmax激活函数对学习到的特征信息进行权重生成，获得每个特征图块的权重分布。
权重分布需要采用softmax激活函数进行生成，定义的公式如下，
Pi表示第i个特征图块所对应的权重值，
Pi的值在0-1之间，s个Pi值就组成了s个特征图块的权重分布值。通过学习得到的权重分布值与原来相应特征图块进行乘法操作，计算公式如下，
其中，
表示权重分布值的比重。
通过上述方法，模型就可以实现对不同特征图块的自适应学习。通过softmax激活函数生成权重分布值。
(6)特征融合。
通过步骤6生成的权重分布，将所有的特征图块与各自的权重进行乘法运算，得到每个特征图块的比重，然后进行加法运算获得最终的特征图。
特征图块根据权重分布值的比重
进行加运算操作，公式如下，
其中Y表示最终输出的特征图。Y特征图集成了不同尺度信息(感受野)特征。通过输入s个特征图块，经过自适应特征选择后得到了一个特征图块，为后续特征提取过程减少了冗余信息，从而减少了计算量。
本发明提供的自适应特征选择模块优点在于：
(1)提出了一种基于不同尺度、不同感受野的特征自适应选择模型。通过对不同尺度、不同感受野特征图的全局信息池化特征提取，利用全连接层和softmax函数引导神经元学习不同特征图的权重分布，根据权重分布来获取最终的输出特征图，从而有效地提升模型的语义信息提取能力。
(2)本发明提出的自适应特征选择模块可以直接应用在当前流行的语义分割网络中，如U-Net,PSPNet,DeepLab等模型中。
(3)多尺度、多感受野是提升深度分割网络模型对高分辨遥感影像分类的一种重要方法。本发明提出的基于AFS模块可以有效地实现多尺度、多感受野的特征选择，同时避免多个特征图输入带来的计算量增加问题。
为便于实施参考以及说明本发明技术效果起见，实施例采用了常用的几种模型来进行验证，包括U-Net，PSPNet以及DeepLabV3模型。将设计的自适应特征选择模块(AFS)应用在上述三个常用模型中，以此来提升模型的分割性能。
以基于自适应特征选择模块对PSPNet的优化为例，相应优化后的深度学习模型可称为PSPNet-AFS模型，图2表示PSPNet-AFS的结构示意图，实现图像分割步骤如下，
(1)输入图像。本发明实施例采用256×256图像输入，图像通道为3，并对输入影像进行了数据增强操作。数据增强包括简单的几何变换和颜色变换等。
(2)图像编码。主要是利用卷积层conv对输入影像的降采样操作获得抽象的语义信息，得到2048×32×32的数据。
(3)金字塔池化。通过金字塔池化层pool来获取不同尺度下的特征图块。
(4)特征自动选择。利用本发明设计的AFS模块对多个尺度的特征图块进行特征自动选择过程。
(5)特征解码。通过上采样操作实现特征地解码过程，最后输出对应的掩码图。解码层根据(2048+512)×32×32的数据，经卷积层后解码得到1×256×256的结果。
其中，现有技术的PSPNet模型中，(1)、(2)为编码层，(3)为金字塔池化，(5)为解码层，本发明设置(4)实现AFS模块进行改进优化。
以基于自适应特征选择模块对DeepLabV3的优化为例，相应优化后的深度学习模型可称为DeepLabV3-AFS模型，图3表示DeepLabV3-AFS的结构示意图，DeepLabV3主要是采用了不同感受野特征图输入，通过孔洞卷积实现增加每个卷积核的视野；另外，还采用了多个不同孔洞卷积核来实现不同感受野的获取。在本发明中，DeepLabV3模型采用了全局池化层获取全局特征信息，同时也采用了点卷积层来实现对原特征图的映射；利用了多个不同的3×3的孔洞卷积获取不同感受野的特征图。最后，将这些特征图全部输入到本发明实例中去，通过自适应特征选择模块来实现特征图的选择过程。
DeepLabV3-AFS实现图像分割步骤如下，
(1)输入图像。本发明采用256×256图像输入，图像通道为3，并对输入影像进行了数据增强操作。数据增强包括简单的几何变换和颜色变换等。
(2)图像编码。主要是利用卷积层CONV对输入影像的降采样操作获得抽象的语义信息。
(3)多感受野特征提取。DeepLabV3主要是采用了空洞卷积来实现不同感受野的特征提取，ASPP模块(Atrous Spatial Pyramid Pooling)包括池化pool、1×1的卷积conv、3×3的卷积conv等不同采样率的空洞卷积。
(4)特征自动选择。利用本发明设计的AFS模块实现对不同感受野特征图的特征自动选择。
(5)特征解码。通过上采样过程实现特征解码，将掩码图上采样到与输入图像一致的大小，实施例得到1×256×256的结果。
以基于自适应特征选择模块对U-Net的优化为例，相应优化后的深度学习模型可称为U-Net-AFS模型，图4表示U-Net-AFS的结构示意图。本发明采用的U-Net模型主要是包括下采样和上采样两个模块，上采样模型主要是基于ResNet系列模型，下采样采用了反卷积实现语义信息的解码过程。本发明通过对U-Net的浅层输出单元和深层输出单元进行特征选择过程，从而实现U-Net-AFS的模型结构。
U-Net-AFS图像分割步骤如下，
(1)输入图像。输入图像也是采用256×256，图像通道为3，对输入影像进行了相同的数据增强操作。
(2)图像编码。利用卷积神经网络来实现图像的下采样过程，提取深度语义信息，由4个块组成。
(3)图像上采样。利用反卷积进行对编码层获得的特征图进行上采样操作，由4个块组成。
(4)特征自动选择。通过本发明设计的AFS模块将下采样和上采样获得的特征图块进行自动特征选择过程。本例中通过3个AFS模块实现特征的自适应选择，分别替换传统UNet的跳跃连接(ship connection)，每个AFS模块输入两种尺度的特征图，分别来自下采样特征和上采样语义特征，通过自适应选择之后，将AFS的输出作为下一次上采样的输入。
(5)图像解码。获得输出图像的掩码。
为便于理解本发明的技术效果，提供本发明和传统方法的应用对比如下：
表I在ISPRS Vaihingen数据集上的对比结果
括号中(s、stride)分别表示AFS模块使用的最大感受野和步长。
表I中记录了各种模型在Vahingen测试集上的结果。为了保证公平的对比，所有的模型都采用了相同的训练策略。可以看到，基于AFS的模型表现效果更好，特别是对于DeepLabV3模型，DeepLabV3-AFS(32,4)的mIoU改善更为明显，提升了1.09％，而且降低了模型的参数。同时，也可以发现PSPNet-AFS模型性能也得到了提升。此外，本发明通过采用8个尺度的PSPNet与PSPNet-AFS(8,1)进行了比较，进一步验证了，本发明实施例并非因为尺度的增加才使得模型性能的提升。此外，还通过实验进一步验证了基于AFS的模型的通用性。本发明采用了U-Net-AFS对Vaihingen数据集进行了性能评估。可以注意到，基于AFS的U-Net性能优于传统的U-Net，将mIoU提高了0.76％，f1评分提高了0.53％。
表II在Satellite dataset I(global cities)数据集上的对比结果
表II是在Satellite dataset I(global cities)数据集上获得的结果，可以看到本发明提出的方法表现良好，不仅在三个评价指标上都获得了性能提升，还可以在相同数量特征图输入情况下，减少参数，降低计算量。
通过上述两个数据集的对比，结合使用本发明提出的AFS模块可以有效提升模型的分割性能，同时还可以降低模型的复杂度。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种遥感影像自适应特征选择分割系统，包括以下模块，
第一模块，用于数据准备，包括对高分辨率影像的裁剪和数据预处理；
第二模块，用于改进模型，包括基于基础模型网络添加设置自适应特征选择模块，得到优化后的深度学习模型；所述自适应特征选择模块用于对不同特征图进行特征提取，实现方式为通过对基础模型网络所得多个不同尺度或者不同感受野的特征图进行全局平均池化特征提取，然后利用全连接层和激活函数引导神经元学习不同特征图重要程度的权重分布，最后根据学习的权重分布来对输入特征图进行特征筛选，从而实现自适应特征选择过程；
第三模块，用于模型训练，包括对第二模块所得优化后的深度学习模型进行训练；
第四模块，用于输出结果，包括根据第三模块训练所得优化后的深度学习模型对输入的可见光影像的分割结果。
在一些可能的实施例中，提供一种遥感影像自适应特征选择分割系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种遥感影像自适应特征选择分割方法。
在一些可能的实施例中，提供一种遥感影像自适应特征选择分割系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种遥感影像自适应特征选择分割方法。
本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种遥感影像自适应特征选择分割方法，包括以下步骤：
步骤1，数据准备，包括对高分辨率影像的裁剪和数据预处理；
步骤2，改进模型，包括基于基础模型网络添加设置自适应特征选择模块，得到优化后的深度学习模型；所述自适应特征选择模块用于对不同特征图进行特征提取，实现方式为通过对基础模型网络所得多个不同尺度或者不同感受野的特征图进行全局平均池化特征提取，然后利用全连接层和激活函数引导神经元学习不同特征图重要程度的权重分布，最后根据学习的权重分布来对输入特征图进行特征筛选，从而实现自适应特征选择过程；
所述自适应特征选择模块实现如下，
设从基础模型网络得到的特征图块构成集合X＝{Xi,i∈[1,s]}，且
其中，c表示输入通道的数量，h和w分别表示特征图的高度和宽度大小，s表示具有不同尺度或不同感受野特征图块的数量，
表示实数集；
首先对输入的s个特征图块进行加运算，特征图的加运算所得结果记为
然后通过全局池化层对
进行全局池化，获得每个通道间的统计信息S；
经过全局池化后，再送入到两个全连接层进行特征整合，每个全连接层后面都接BN和ReLU激活函数；通过第一个全连接层实现特征信息的维度变换，然后利用第二个全连接层进行权重分布的学习，权重分布采用softmax激活函数进行生成；
设Pi表示第i个特征图块所对应的权重值，得到权重分布值的比重如下，
根据权重分布值的比重进行加运算操作如下，
其中，Y表示最终输出的特征图；
步骤3，模型训练，包括对步骤2所得优化后的深度学习模型进行训练；
步骤4，输出结果，包括根据步骤3训练所得优化后的深度学习模型对输入的可见光影像的分割结果。
2.根据权利要求1所述遥感影像自适应特征选择分割方法，其特征在于：步骤1中，采用高分辨率遥感影像数据集，并对数据集进行裁剪，对裁剪所得每个图像块都进行数据增强操作。
3.根据权利要求1或2所述遥感影像自适应特征选择分割方法，其特征在于：所述基础模型网络为U-Net、PSPNet或DeepLabV3模型。
4.根据权利要求1或2所述遥感影像自适应特征选择分割方法，其特征在于：步骤4中，通过输入高分辨遥感影像，根据步骤3训练所得优化后的深度学习模型输出对应影像的掩码，从而实现分割任务。
5.一种遥感影像自适应特征选择分割系统，其特征在于：用于实现如权利要求1-4任一项所述的一种遥感影像自适应特征选择分割方法。
6.根据权利要求5所述遥感影像自适应特征选择分割系统，其特征在于：包括以下模块，
第一模块，用于数据准备，包括对高分辨率影像的裁剪和数据预处理；
第二模块，用于改进模型，包括基于基础模型网络添加设置自适应特征选择模块，得到优化后的深度学习模型；所述自适应特征选择模块用于对不同特征图进行特征提取，实现方式为通过对基础模型网络所得多个不同尺度或者不同感受野的特征图进行全局平均池化特征提取，然后利用全连接层和激活函数引导神经元学习不同特征图重要程度的权重分布，最后根据学习的权重分布来对输入特征图进行特征筛选，从而实现自适应特征选择过程；
所述自适应特征选择模块实现如下，
设从基础模型网络得到的特征图块构成集合X＝{Xi,i∈[1,s]}，且
其中，c表示输入通道的数量，h和w分别表示特征图的高度和宽度大小，s表示具有不同尺度或不同感受野特征图块的数量，
表示实数集；
首先对输入的s个特征图块进行加运算，特征图的加运算所得结果记为
然后通过全局池化层对
进行全局池化，获得每个通道间的统计信息S；
经过全局池化后，再送入到两个全连接层进行特征整合，每个全连接层后面都接BN和ReLU激活函数；通过第一个全连接层实现特征信息的维度变换，然后利用第二个全连接层进行权重分布的学习，权重分布采用softmax激活函数进行生成；
设Pi表示第i个特征图块所对应的权重值，得到权重分布值的比重如下，
根据权重分布值的比重进行加运算操作如下，
其中，Y表示最终输出的特征图；
第三模块，用于模型训练，包括对第二模块所得优化后的深度学习模型进行训练；
第四模块，用于输出结果，包括根据第三模块训练所得优化后的深度学习模型对输入的可见光影像的分割结果。
7.根据权利要求5所述遥感影像自适应特征选择分割系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-4任一项所述的一种遥感影像自适应特征选择分割方法。
8.根据权利要求5所述遥感影像自适应特征选择分割系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-4任一项所述的一种遥感影像自适应特征选择分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011284221.8A CN112419333B (zh) | 2020-11-17 | 2020-11-17 | 一种遥感影像自适应特征选择分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011284221.8A CN112419333B (zh) | 2020-11-17 | 2020-11-17 | 一种遥感影像自适应特征选择分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419333A CN112419333A (zh) | 2021-02-26 |
| CN112419333B true CN112419333B (zh) | 2022-04-29 |
Family
ID=74831813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011284221.8A Active CN112419333B (zh) | 2020-11-17 | 2020-11-17 | 一种遥感影像自适应特征选择分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419333B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011427B (zh) * | 2021-03-17 | 2022-06-21 | 中南大学 | 基于自监督对比学习的遥感图像语义分割方法 |
| CN116245951B (zh) * | 2023-05-12 | 2023-08-29 | 南昌大学第二附属医院 | 脑组织出血定位分类和出血量化方法、设备、介质和程序 |
| CN117115679A (zh) * | 2023-10-25 | 2023-11-24 | 北京佳格天地科技有限公司 | 一种时空融合遥感影像对筛选方法 |
| CN117456530B (zh) * | 2023-12-20 | 2024-04-12 | 山东大学 | 基于遥感图像的建筑物轮廓分割方法、系统、介质及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893977A (zh) * | 2016-04-25 | 2016-08-24 | 福州大学 | 一种基于自适应特征选择的水稻制图方法 |
| CN108171656A (zh) * | 2018-01-12 | 2018-06-15 | 西安电子科技大学 | 基于稀疏表示的自适应全局字典遥感图像超分辨方法 |
| CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
| CN111008633A (zh) * | 2019-10-17 | 2020-04-14 | 安徽清新互联信息科技有限公司 | 一种基于注意力机制的车牌字符分割方法 |
| CN111046756A (zh) * | 2019-11-27 | 2020-04-21 | 武汉大学 | 高分辨率遥感影像目标尺度特征的卷积神经网络检测方法 |
| CN111127472A (zh) * | 2019-10-30 | 2020-05-08 | 武汉大学 | 一种基于权重学习的多尺度图像分割方法 |
| CN111160276A (zh) * | 2019-12-31 | 2020-05-15 | 重庆大学 | 基于遥感影像的u型空洞全卷积分割网络识别模型 |
| CN111489370A (zh) * | 2020-03-29 | 2020-08-04 | 复旦大学 | 基于深度学习的遥感图像的分割方法 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN111738268A (zh) * | 2020-07-22 | 2020-10-02 | 浙江大学 | 一种基于随机块的高分遥感图像的语义分割方法及系统 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
-
2020
- 2020-11-17 CN CN202011284221.8A patent/CN112419333B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893977A (zh) * | 2016-04-25 | 2016-08-24 | 福州大学 | 一种基于自适应特征选择的水稻制图方法 |
| CN108171656A (zh) * | 2018-01-12 | 2018-06-15 | 西安电子科技大学 | 基于稀疏表示的自适应全局字典遥感图像超分辨方法 |
| CN110781775A (zh) * | 2019-10-10 | 2020-02-11 | 武汉大学 | 一种多尺度特征支持的遥感影像水体信息精确分割方法 |
| CN111008633A (zh) * | 2019-10-17 | 2020-04-14 | 安徽清新互联信息科技有限公司 | 一种基于注意力机制的车牌字符分割方法 |
| CN111127472A (zh) * | 2019-10-30 | 2020-05-08 | 武汉大学 | 一种基于权重学习的多尺度图像分割方法 |
| CN111046756A (zh) * | 2019-11-27 | 2020-04-21 | 武汉大学 | 高分辨率遥感影像目标尺度特征的卷积神经网络检测方法 |
| CN111160276A (zh) * | 2019-12-31 | 2020-05-15 | 重庆大学 | 基于遥感影像的u型空洞全卷积分割网络识别模型 |
| CN111489370A (zh) * | 2020-03-29 | 2020-08-04 | 复旦大学 | 基于深度学习的遥感图像的分割方法 |
| CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
| CN111797779A (zh) * | 2020-07-08 | 2020-10-20 | 兰州交通大学 | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 |
| CN111738268A (zh) * | 2020-07-22 | 2020-10-02 | 浙江大学 | 一种基于随机块的高分遥感图像的语义分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Selective Kernel Networks;Xiang Li 等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;第510-519页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419333A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN111310773B (zh) | 一种高效的卷积神经网络的车牌定位方法 | |
| CN112183258A (zh) | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 | |
| CN114202696A (zh) | 基于上下文视觉的sar目标检测方法、装置和存储介质 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN111414954B (zh) | 一种岩石图像检索方法及其系统 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN112464766A (zh) | 一种农田地头自动识别方法及系统 | |
| CN113052106A (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| CN111274905A (zh) | 一种AlexNet和SVM相结合的卫星遥感影像土地利用变化检测方法 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统 | |
| CN115346071A (zh) | 高置信局部特征与全局特征学习的图片分类方法及系统 | |
| CN114926469A (zh) | 语义分割模型训练方法、语义分割方法、存储介质及终端 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN116385902A (zh) | 一种遥感大数据处理方法、系统及云平台 | |
| CN115393690A (zh) | 一种轻量化神经网络的空对地观测多目标识别方法 | |
| CN114596503A (zh) | 一种基于遥感卫星影像的道路提取方法 | |
| CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
| CN115294467A (zh) | 茶叶病害的检测方法及相关装置 | |
| CN113780117A (zh) | 一种快速识别并提取河口羽状流轮廓相关参数的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240116 Address after: No. 120, Haixiang Middle Road, Fengcheng Street, Haiyang City, Yantai City, Shandong Province, 265100 Patentee after: Land sea space (Yantai) Information Technology Co.,Ltd. Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan Patentee before: WUHAN University |