CN111798460A - 一种卫星图像分割方法 - Google Patents
一种卫星图像分割方法 Download PDFInfo
- Publication number
- CN111798460A CN111798460A CN202010554001.6A CN202010554001A CN111798460A CN 111798460 A CN111798460 A CN 111798460A CN 202010554001 A CN202010554001 A CN 202010554001A CN 111798460 A CN111798460 A CN 111798460A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- network
- satellite image
- convolution
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003709 image segmentation Methods 0.000 title claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 107
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000012800 visualization Methods 0.000 description 18
- 238000012360 testing method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种卫星图像分割方法,属于图像信息处理技术领域。该方法包括如下步骤:步骤1)将原始的卫星图像裁剪成块,然后输入到深度卷积网络中转换成卷积特征,来捕获基于空间信息的上下文;步骤2)将网络得到的特征输入到提出的特征解耦模块中,利用特征解耦模块将类别之间的共生关系编码到卷积特征中去;步骤3)将经过特征解耦模块得到的三个解耦特征经过卷积和上采样操作得到对应的分割结果;步骤4)将步骤3)得到的三个分割结果经过加权求和得到最终的分割结果。本发明将不同类别物体之间的共生关系编码到卷积特征中去,这样能够更好地处理场景中的孤立物体,进而对卫星图像进行分割,具有较好的分割性能和分割准确率。
Description
技术领域
本发明涉及一种卫星图像分割方法,属于图像信息处理技术领域。
背景技术
随着传感器技术的高速发展,机载卫星图像的空间分辨率已经变得越来越高(比如5-10cm分辨率)。比如,由国际摄影与遥感测量协会委员会提供的在德国的Vaihingen城市拍摄的图像能够达到9cm的地面采样分辨率,每张采样图片中包含了超过一亿个像素点。在这个数据集中,对地面的六种物体进行了标记,即地面、大楼、车、树、低植被、背景。得益于如此丰富的空间信息,机载卫星图像已经被广泛地用于许多遥感应用中,比如环境监测,灾情救援,以及城市发展检测。为了让这些应用能够,语义分割是一个至关重要以及必须的前置条件。语义分割从本质上来讲是将一个语义标签分配给图像中每一个像素点。与传统的遥感图像不同,不同物体的外表在极高分辨率的机载卫星图片中表现得越来越具有异质性和易混淆这两种特点。异质性体现了同一种物体在极高分辨率机载卫星图片中呈现出不同的外观,譬如不同颜色以及不同形状的车辆。而易混淆的特性揭露了不同物体在这种图像中可能呈现出相似的外表,比如车辆的顶部和大楼的顶端甚至一些地面从颜色上来看非常接近。这种现象非常容易引起极大的类内差和极小的类间差,进一步导致了遥感领域的语义分割任务变得更具有挑战性。
先前的一些用来对遥感图像进行语义分割的工作主要使用手动提取的特征来构建分类器。但是,这种形式的特征没有足够的判别性帮助分类器来对像素点进行分类,导致不足以获得令人满意的分割结果。
近些年,卷积神经网络(CNN)已经在计算机视觉任务取得了突破性的进展。这些进展得益于卷积神经网络能够通过自身的局部连接和权重共享特性自动地从图像中学习高级特征。作为卷积神经网络的一种,全卷积网络(FCN)已经在语义分割领域取得了巨大的成功。尽管基于全卷积网络的模型能够通过卷积操作捕获上下文信息,而这个上下文信息正是机载图像分割任务所必需的。但是,卷积操作捕获的上下文信息严重受限于其局部感受野。一个直观的解决这个问题的方式是增加卷积层,因此很多深度卷积神经网络被用来作为骨干网络。但是,经过实验发现,卷积神经网络的感受野比理论上的小很多,尤其是在网络的深层。因此,基于全卷积网络的模型很难如预期的那样获得充分的上下文信息。
为了捕获更加丰富的上下文信息,很多工作充分使用各种策略。这些策略主要包括多尺度上下文融合,多级上下文融合,以及局部-全局上下文融合。和原始的基于全卷积网络的模型相比,上述的这些方法能够获得更丰富的上下文信息,来获得更好的分割性能。但是,与基于全卷积网络的模型类似,所有这些方法都主要关注探索空间上下文信息,这种上下文信息可能无法将孤立的物体很好的分割开来。孤立物体在场景中主要被不相关的物体包围。比如,如果一个车辆被大量的大楼所包围。因为只关注了空间上下文信息,之前的方法都非常容易将车辆的一部分分割成大楼。而这种现象是和常识(大楼是不会出现在车辆上的)相违背的。
发明内容
本发明提出了一种卫星图像分割方法,将不同类别物体之间的共生关系编码到卷积特征中去,这样能够更好地处理场景中的孤立物体,进而对卫星图像进行分割,具有较好的分割性能和分割准确率。
本发明为解决其技术问题采用如下技术方案:
一种卫星图像分割方法,包括如下步骤:
步骤1)将原始的卫星图像裁剪成块,然后输入到深度卷积网络中转换成卷积特征,来捕获基于空间信息的上下文;
步骤2)将网络得到的特征输入到提出的特征解耦模块中,利用特征解耦模块将类别之间的共生关系编码到卷积特征中去;
步骤3)将经过特征解耦模块得到的三个解耦特征经过卷积和上采样操作得到对应的分割结果;
步骤4)将步骤3)得到的三个分割结果经过加权求和得到最终的分割结果。
步骤1)中所述原始的卫星图像是由国际摄影测量与遥感协会组委会提供的。
所述原始的卫星图像数据集有两个,分别由38张图片构成和33张图片构成。
所述第一个卫星图像数据集为每张图片的空间分辨率是5cm,每张图片的尺寸是6000×6000;所述第二个卫星图像数据集为每张图片的空间分辨率是9cm,每张图片的尺寸是2494×2064。
步骤1)中所述网络为残差网络。
本发明的有益效果如下:
(1)在同样的实验条件下,本发明方法的分类准确率比全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)的准确率高。
(2)本发明将不同类别之间的共生关系融合到卷积特征中,以此来解决孤立物体问题,这样能够从空间和语义两个方面来充分利用卫星图像的上下文信息,提高分割精确度。
附图说明
图1为本发明卫星图像分割方法的基本流程图。
图2(a)为Potsdam卫星图像;(b)为Potsdam卫星图像的真实分割结果;(c)为本发明方法在Potsdam卫星图像上的分割可视化结果图;(d)为全卷积网络(FCN-8s)在Potsdam卫星图像上的分割可视化结果图;(e)为U形网络(UNet)在Potsdam卫星图像上的分割可视化结果图;(f)为分割网络(SegNet)在Potsdam卫星图像上的分割可视化结果图;(g)为金字塔场景分割网络(PSPNet)在Potsdam卫星图像上的分割可视化结果图;(h)为空洞可分卷积网络(DeepLabv3+)在Potsdam卫星图像上的分割可视化结果图;(i)为基于点的空间注意力网络(PSANet)在Potsdam卫星图像上的分割可视化结果图;(j)为语义编码网络(EncNet)在Potsdam卫星图像上的分割可视化结果图;(k)为关联强化全卷积网络(S-RA-FCN)在Potsdam卫星图像上的分割可视化结果图;(l)为双注意力网络(DANet)在Potsdam卫星图像上的分割可视化结果图。
图3(a)为Vaihingen卫星图像;(b)为Vaihingen卫星图像的真实分割结果;(c)为本发明方法在Vaihingen卫星图像上的分割可视化结果图;(d)为全卷积网络(FCN-8s)在Vaihingen卫星图像上的分割可视化结果图;(e)为U形网络(UNet)在Vaihingen卫星图像上的分割可视化结果图;(f)为分割网络(SegNet)在Vaihingen卫星图像上的分割可视化结果图;(g)为金字塔场景分割网络(PSPNet)在Vaihingen卫星图像上的分割可视化结果图;(h)为空洞可分卷积网络(DeepLabv3+)在Vaihingen卫星图像上的分割可视化结果图;(i)为基于点的空间注意力网络(PSANet)在Vaihingen卫星图像上的分割可视化结果图;(j)为语义编码网络(EncNet)在Vaihingen卫星图像上的分割可视化结果图;(k)为关联强化全卷积网络(S-RA-FCN)在Vaihingen卫星图像上的分割可视化结果图;(l)为双注意力网络(DANet)在Vaihingen卫星图像上的分割可视化结果图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明。
本发明的思路是将不同类别之间的共生关系融合到卷积特征中,以此来解决孤立物体问题,这样能够从空间和语义两个方面来充分利用卫星图像的上下文信息,提高分割精确度。
本发明方法的基本流程如图1所示,具体包括以下步骤:
步骤1)将原始的卫星图像裁剪成块,然后输入到深度卷积网络中转换成卷积特征,以此来捕获基于空间信息的上下文;
首先,由于卫星图像本身空间分辨率非常大,所以本发明将原始的卫星图像进行裁剪,使用裁剪后的图像块作为输入。为了能够更好地捕获空间上下文信息,本发明使用目前广泛使用的残差网络作为骨干网络,为了能够尽可能地保留空间信息,本发明还将网络中的池化层去掉了。假设得到的卷积特征为其中H,W,C分别表示高度、宽度、特征图个数,表示实数域。对于F中的每个像素点来说,它可以看成是输入图像块中一个局部邻域内的特征表示。因此,邻域内的空间信息能够帮助这个像素点分类。
步骤2)将网络得到的特征输入到提出的特征解耦模块中,利用特征解耦模块将类别之间的共生关系编码到卷积特征中去;图中的Conv代表卷积运算操作。
对于孤立物体来说,他们的邻域内包含了很少的有用信息。为了缓解这个问题,本发明尝试将不同类别物体之间的共生关系利用起来。因为,一些物体可能在场景中同时出现。本发明认为这种共生关系可以帮助分割任务。除了上一个步骤得到的卷积特征,还有一个可以使用的信息就是预定义的类别标签,比如“车”、“树”等等。受到自然语言处理的启发,每一个标签都可以编码成特征向量。更重要的是,一些技术,例如GloVe模型能够在编码过程中考虑不同单词之间的共生关系。而这正好和我们的目标匹配。基于这种猜想,本发明提出解耦模块将卷积特征和标签信息一起输入,然后得到增强的特征表示。
对于第k个类别,k∈{1,2,…,n},n表示预定义类别标签个数,本发明将预训练的GloVe模型来把标签编码成一个D维的特征向量然后,F和ok输入到一个多模态融合模型中来得到一个注意力图Ak。这个注意力图期望能够突出对第k类物体以及它的共生物体。具体来说,ok先扩展成一个三维的张量这个张量中第i个通道的值和ok第i个元素一样。然后,Ok和F可以投影到一个隐空间,如下定义:
Ak=Softmax(ωRk+b1) (2)
一旦得到注意力图Ak,本发明将它沿着通道维度重复了C次。这样,注意力图就可以和特征F保持相同的尺寸。由于Ak中和第k类物体具有共生关系的位置会有比较大的数值,所以,本发明将这个注意力图乘上F就可以解耦出最具判别性的特征考虑到预定义的类别个数是n,本发明就生成了n个不同的判别特征。为了能够将这些特征融合起来,本发明首先将他们按照通道维度串联起来变成一个高维的张量,然后使用一个1×1大小的卷积核来得到最终的特征表示由于引入了共生信息,G增强了特征的判别性。
步骤3)将经过特征解耦模块得到的三个解耦特征经过卷积和上采样操作得到对应的分割结果;
值得注意的是本发明使用了残差网络的三个卷积层的输出。因此使用了三个不同的特征解耦模块来对三个卷积层的输出进行空间上下文信息增强,得到最终的特征表示,然后经过一层1×1的卷积层得到和类别个数相同的通道数的分割结果,然后再使用双线性插值得到和输入图像大小一样的分割结果。
步骤4)将步骤3)得到的三个分割结果经过加权求和得到最终的分割结果。
由步骤(3)得到的三个分割结果,经过ω1,ω2,ω3三个权重的加权求和得到最终的分割结果。
为了能够保证特征有足够的判别能力,本发明设计了一个解耦损失(DC-loss)来监督每个特征解耦模块的学习过程。具体来说,本发明对Fk使用了全局求和池化,然后将结果输入到一个输出层得到一个二维的输出向量整个过程可以定义为:
这里,LSG是网络的分割损失,λ是用来平衡分割损失和DC-loss。
为了便于公众理解本发明技术方案,下面给出两个具体实施例。
实施例一将本发明所提供的技术方案应用在Potsdam卫星图像数据分割中。这个图像是由国际摄影测量与遥感协会(ISPRS)组委会提供的。这个数据集有38张图片构成,每张图的空间分辨率是5cm。每张图的尺寸是6000×6000。每张图片由4个通道(近红外、红、绿、蓝)构成。所有图片都标注了6类物体:地面,大楼,低植被,树木,车和背景。
利用本发明将不同类别之间的共生关系融合到卷积特征中,以此来解决孤立物体问题,以此来得到一个卫星图像的分割结果。
为了验证本发明的有效性,分类结果分别与全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)进行对比。首先,使用深度卷积网络将卫星图像转换成卷积特征以此来捕获空间上下文信息;紧接着,本发明设计了一个特征解耦模块将不同类别物体之间的共生关系编码进卷积特征中,以此来解耦出最具判别性的特征;最后,基于解耦特征,推导出最终的分割结果。此外,为了能够更高效地处理卫星图像,本发明方法设置成了端到端的网络结构。
本实施例的分类过程具体如下:
1、利用深度残差网络得到输入图片的空间上下文特征:
按照ISPRS组委会公布的Potsdam卫星图像分割任务的训练/测试集设置方式,使用24张图片作为训练样本,剩下的作为测试集,训练集用于调整模型的参数,测试集在最后一步中来评估整个网络的分类性能。深度残差网络本发明使用ResNet18,并且去除了其中的max-pooling(最大值池化)操作。为了能够充分的使用GPU(图形处理器)以及生成尽可能多的训练样本,本发明使用一个256×256滑动窗口以64为步长将原始的训练样本裁剪成图像块。测试的时候也是采用一样的滑动窗口方案,得到每一个图像块的测试结果,重叠的部分采用均值代替。本发明使用ResNet18的最后三层输出特征作为后续操作的输入。
2、使用三个特征解耦模块得到增强的上下文特征表示,用于分割结果的推导:
这里,三个特征解耦模块的参数设置如下:每一个解耦模块中的D根据经验都设置成300,而三个解耦模块中的C依据经验分别设置成128,256,512。另外,三个模块中D′和Q都分别设置成64,128,256。将上个步骤得到的ResNet18最后三层的卷积特征输入到三个解耦模块中,然后得到对应的由共生关系强化的空间上下文信息。
3、将每一个模块输出的增强特征输出得到分割结果,并使用加权求和得到最终的分割结果:
本发明将三个解耦模块的输出经过一层1×1卷积层,得到和类别个数一样的输出结果,并使用双线性插值恢复到和输入图像一样大小的尺寸。最后使用三个权重系数,对三个分割结果进行加权求和得到最终的分割结果。然后使用预测结果和真实值计算DC-loss和分割损失。公式(6)中的λ取1。
为了验证本发明方法的效果,将CGFDN模型与全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)进行比较。
图2为本发明方法与全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)的分割图。从图中可以看出,和其他方法相比,本发明能得到一个更均匀的分割图。这说明,本发明方法可以获得更高的分割准确率。
表1给出了10种分割方法的分割准确率的比较。
表1分割准确率对比
从表1可以看出,本发明方法的总体准确率(OA)、平均F1分数(Mean-F1)明显高于其他9种分类方法。其中,DeepLabv3+,DANet明显高于其他方法,通过设计特殊的模块尽可能的扩展可以捕获的空间上下文的信息量,CGFDN(类别引导的特征解耦网络)通过引入共生关系能够取得更好的分割结果。
综上可知,和全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)相比,本发明方法无论是从分割性能还是从分割精确度上来看,都具有明显的优势。
实施例二将本发明所提供的技术方案应用在Vaihingen高光谱图像数据分类中。这个图像是由国际摄影测量与遥感协会(ISPRS)组委会提供的。这个数据集有33张图片构成,每张图的空间分辨率是9cm。每张图的尺寸是2494×2064。每张图片由4个通道(近红外、红、绿、蓝)构成。所有图片都标注了6类物体:地面,大楼,低植被,树木,车和背景。
利用本发明将不同类别之间的共生关系融合到卷积特征中,以此来解决孤立物体问题,以此来得到一个卫星图像的分割结果。
为了验证本发明的有效性,分类结果分别与全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)进行对比。首先,使用深度卷积网络将卫星图像转换成卷积特征以此来捕获空间上下文信息;紧接着,本发明设计了一个特征解耦模块将不同类别物体之间的共生关系编码进卷积特征中,以此来解耦出最具判别性的特征;最后,基于解耦特征,推导出最终的分割结果。此外,为了能够更高效地处理卫星图像,本发明方法设置成了端到端的网络结构。
本实施例的分类过程具体如下:
1、利用深度残差网络得到输入图片的空间上下文特征:
按照ISPRS组委会公布的Vaihingen卫星图像分割任务的训练/测试集设置方式,使用16张图片作为训练样本,剩下的作为测试集,训练集用于调整模型的参数,测试集在最后一步中来评估整个网络的分类性能。深度残差网络本发明使用ResNet18,并且去除了其中的max-pooling操作。为了能够充分的使用GPU以及生成尽可能多的训练样本,本发明使用一个256×256滑动窗口以64为步长将原始的训练样本裁剪成图像块。测试的时候也是采用一样的滑动窗口方案,得到每一个图像块的测试结果,重叠的部分采用均值代替。本发明使用ResNet18的最后三层输出特征作为后续操作的输入。
2、使用三个特征解耦模块得到增强的上下文特征表示,用于分割结果的推导:
这里,三个特征解耦模块的参数设置如下:每一个解耦模块中的D根据经验都设置成300,而三个解耦模块中的C依据经验分别设置成128,256,512。另外,三个模块中D′和Q都分别设置成64,128,256。将上个步骤得到的ResNet18最后三层的卷积特征输入到三个解耦模块中,然后得到对应的由共生关系强化的空间上下文信息。
3、将每一个模块输出的增强特征输出得到分割结果,并使用加权求和得到最终的分割结果:
本发明将三个解耦模块的输出经过一层1×1卷积层,得到和类别个数一样的输出结果,并使用双线性插值恢复到和输入图像一样大小的尺寸。最后使用三个权重系数,对三个分割结果进行加权求和得到最终的分割结果。然后使用预测结果和真实值计算DC-loss和分割损失。公式(6)中的λ取1。
为了验证本发明方法的效果,将CGFDN模型与全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)进行比较。
图3为本发明方法与全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)的分割图。从图中可以看出,和其他方法相比,本发明能得到一个更均匀的分割图。这说明,本发明方法可以获得更高的分割准确率。
表2给出了10种分割方法的分割准确率的比较。
表2分割准确率对比
从表2可以看出,本发明方法的总体准确率(OA)、平均F1分数(Mean-F1)明显高于其他9种分类方法。其中,DeepLabv3+,DANet明显高于其他方法,通过设计特殊的模块尽可能的扩展可以捕获的空间上下文的信息量,CGFDN通过引入共生关系能够取得更好的分割结果。
综上可知,和全卷积网络(FCN-8s)、U形网络(UNet)、分割网络(SegNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、基于点的空间注意力网络(PSANet)、语义编码网络(EncNet)、关联强化全卷积网络(S-RA-FCN)、双注意力网络(DANet)相比,本发明方法无论是从分割性能还是从分割精确度上来看,都具有明显的优势。
Claims (5)
1.一种卫星图像分割方法,其特征在于,包括如下步骤:
步骤1)将原始的卫星图像裁剪成块,然后输入到深度卷积网络中转换成卷积特征,来捕获基于空间信息的上下文;
步骤2)将网络得到的特征输入到特征解耦模块中,利用特征解耦模块将类别之间的共生关系编码到卷积特征中去;
步骤3)将经过特征解耦模块得到的三个解耦特征经过卷积和上采样操作得到对应的分割结果;
步骤4)将步骤3)得到的三个分割结果经过加权求和得到最终的分割结果。
2.根据权利要求1所述的一种卫星图像分割方法,其特征在于,步骤1)中所述原始的卫星图像是由国际摄影测量与遥感协会组委会提供的。
3.根据权利要求2所述的一种卫星图像分割方法,其特征在于,所述原始的卫星图像数据集有两个,分别由38张图片构成和33张图片构成。
5.根据权利要求1所述的一种卫星图像分割方法,其特征在于,步骤1)中所述网络为残差网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010554001.6A CN111798460B (zh) | 2020-06-17 | 2020-06-17 | 一种卫星图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010554001.6A CN111798460B (zh) | 2020-06-17 | 2020-06-17 | 一种卫星图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111798460A true CN111798460A (zh) | 2020-10-20 |
CN111798460B CN111798460B (zh) | 2023-08-01 |
Family
ID=72803436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010554001.6A Active CN111798460B (zh) | 2020-06-17 | 2020-06-17 | 一种卫星图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111798460B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470048A (zh) * | 2021-07-06 | 2021-10-01 | 北京深睿博联科技有限责任公司 | 场景分割方法、装置、设备及计算机可读存储介质 |
CN115311463A (zh) * | 2022-10-09 | 2022-11-08 | 中国海洋大学 | 类别引导多尺度解耦的海洋遥感图像文本检索方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
US20190042826A1 (en) * | 2017-08-04 | 2019-02-07 | Oregon Health & Science University | Automatic nuclei segmentation in histopathology images |
WO2019136623A1 (en) * | 2018-01-10 | 2019-07-18 | Nokia Technologies Oy | Apparatus and method for semantic segmentation with convolutional neural network |
CN110059772A (zh) * | 2019-05-14 | 2019-07-26 | 温州大学 | 基于迁移vgg网络的遥感图像语义分割方法 |
US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
CN110334747A (zh) * | 2019-06-13 | 2019-10-15 | 河北科技大学 | 基于改进卷积神经网络的图像识别方法及应用 |
CN111160276A (zh) * | 2019-12-31 | 2020-05-15 | 重庆大学 | 基于遥感影像的u型空洞全卷积分割网络识别模型 |
-
2020
- 2020-06-17 CN CN202010554001.6A patent/CN111798460B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
US20190042826A1 (en) * | 2017-08-04 | 2019-02-07 | Oregon Health & Science University | Automatic nuclei segmentation in histopathology images |
WO2019136623A1 (en) * | 2018-01-10 | 2019-07-18 | Nokia Technologies Oy | Apparatus and method for semantic segmentation with convolutional neural network |
US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
CN110059772A (zh) * | 2019-05-14 | 2019-07-26 | 温州大学 | 基于迁移vgg网络的遥感图像语义分割方法 |
CN110334747A (zh) * | 2019-06-13 | 2019-10-15 | 河北科技大学 | 基于改进卷积神经网络的图像识别方法及应用 |
CN111160276A (zh) * | 2019-12-31 | 2020-05-15 | 重庆大学 | 基于遥感影像的u型空洞全卷积分割网络识别模型 |
Non-Patent Citations (5)
Title |
---|
FENG ZHOU 等: "Class-Guided Feature Decoupling Network for Airborne Image Segmentation", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 59, no. 3, pages 2245 - 2255, XP011838571, DOI: 10.1109/TGRS.2020.3006872 * |
HEGUI ZHU 等: "Semantic Image Segmentation with Improved Position Attention and Feature Fusion", 《NEURAL PROCESSING LETTERS》, pages 329 - 351 * |
JIN-HWA KIM 等: "Hadamard product for low-rank bilinear pooling", 《HTTPS://ARXIV.ORG/PDF/1610.04325.PDF》, pages 1 - 14 * |
刘龙 等: "一种新的视觉运动注意力计算方法", 《光电工程》, vol. 41, no. 3, pages 13 - 21 * |
熊昌镇 等: "多模型集成的弱监督语义分割算法", 《计算机辅助设计与图形学学报》, vol. 31, no. 5, pages 800 - 807 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470048A (zh) * | 2021-07-06 | 2021-10-01 | 北京深睿博联科技有限责任公司 | 场景分割方法、装置、设备及计算机可读存储介质 |
CN115311463A (zh) * | 2022-10-09 | 2022-11-08 | 中国海洋大学 | 类别引导多尺度解耦的海洋遥感图像文本检索方法及系统 |
CN115311463B (zh) * | 2022-10-09 | 2023-02-03 | 中国海洋大学 | 类别引导多尺度解耦的海洋遥感图像文本检索方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111798460B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109993220B (zh) | 基于双路注意力融合神经网络的多源遥感图像分类方法 | |
CN109711463B (zh) | 基于注意力的重要对象检测方法 | |
CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
CN113469094A (zh) | 一种基于多模态遥感数据深度融合的地表覆盖分类方法 | |
CN107239730B (zh) | 智能汽车交通标志识别的四元数深度神经网络模型方法 | |
CN110929736B (zh) | 多特征级联rgb-d显著性目标检测方法 | |
CN106650690A (zh) | 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法 | |
CN106570521B (zh) | 多语言场景字符识别方法及识别系统 | |
CN111553869B (zh) | 一种空基视角下的生成对抗网络图像补全方法 | |
CN112837315A (zh) | 一种基于深度学习的输电线路绝缘子缺陷检测方法 | |
CN110674685B (zh) | 一种基于边缘信息增强的人体解析分割模型及方法 | |
CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
CN117036936A (zh) | 高分辨率遥感图像土地覆盖分类方法、设备及存储介质 | |
CN115223067B (zh) | 应用于无人机的点云融合方法、装置、设备及存储介质 | |
CN111798460A (zh) | 一种卫星图像分割方法 | |
CN113378949A (zh) | 一种基于胶囊网络和混合注意力的双重生成对抗学习方法 | |
CN114037640A (zh) | 图像生成方法及装置 | |
CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
WO2023185074A1 (zh) | 一种基于互补时空信息建模的群体行为识别方法 | |
CN112991364A (zh) | 基于卷积神经网络跨模态融合的道路场景语义分割方法 | |
CN117351550A (zh) | 基于有监督对比学习的网格自注意力人脸表情识别方法 | |
CN117237559A (zh) | 面向数字孪生城市的三维模型数据智能分析方法及系统 | |
CN111476133A (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
CN115546461A (zh) | 一种基于掩膜去噪和特征选择的人脸属性编辑方法 | |
CN112364791A (zh) | 一种基于生成对抗网络的行人重识别方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |