CN108830209A - 基于生成对抗网络的遥感图像道路提取方法 - Google Patents

基于生成对抗网络的遥感图像道路提取方法 Download PDF

Info

Publication number
CN108830209A
CN108830209A CN201810590208.1A CN201810590208A CN108830209A CN 108830209 A CN108830209 A CN 108830209A CN 201810590208 A CN201810590208 A CN 201810590208A CN 108830209 A CN108830209 A CN 108830209A
Authority
CN
China
Prior art keywords
network
remote sensing
road
sensing images
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810590208.1A
Other languages
English (en)
Other versions
CN108830209B (zh
Inventor
张向荣
焦李成
韩骁
唐旭
白静
冯婕
侯彪
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810590208.1A priority Critical patent/CN108830209B/zh
Publication of CN108830209A publication Critical patent/CN108830209A/zh
Application granted granted Critical
Publication of CN108830209B publication Critical patent/CN108830209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出一种基于生成对抗网络的遥感图像道路提取方法,解决了遥感图像道路提取准确率低,道路连续性不佳的问题。实现步骤为:在现有遥感数据库中选取样本集并划分测试样本和训练样本;设置生成对抗网络结构,包括生成网络和判别网络;设定用于道路提取的生成对抗网络失函数,包括传统生成对抗网络损失和针对于道路提取的欧式距离损失;用自适应矩估计法训练生成对抗网络得到网络参数;训练好的模型对测试样本进行道路提取;输出有路网和背景信息的遥感图像。本发明提高了道路提取准确性,提取的路网更加完整、道路连续性更好,准确率、查全率、查准率与F1‑score都有显著提升,用于遥感图像的道路提取。

Description

基于生成对抗网络的遥感图像道路提取方法
技术领域
本发明属于图像处理技术领域,涉及一种图像的道路提取方法,更进一步涉及基于生成对抗网络的道路提取,具体是一种基于生成对抗网络的遥感图像道路提取方法,用于获取一幅光学遥感图像的路网结构。
背景技术
遥感图像道路提取,旨在取代繁琐的人工作业,利用道路提取方法,得到输入遥感图像的道路和背景的提取结果图。目前的道路提取方法大致可以分为三类。第一类是基于特征层次的道路提取方法,例如:边缘与平行线法、模版匹配法、滤波法;第二类是基于对象层次的方法,例如:多分辨率分析法、区域统计分析法、道路单元修整与连接法;第三类是基于知识层次的道路提取方法,例如:结合多源数据法、道路特征与相关理论结合法。这三大类方法道路提取效果不够理想,总体精度较低。目前更多研究人员致力于基于机器学习与深度学习的道路提取方法,例如:聚类、支持矢量机、贝叶斯分类等,这些基于传统机器学习的方法利用一些有标记的训练样本,能够取得很好的结果,但是道路提取精度仍然有待进一步提升,而基于深度学习的方法,例如:卷积神经网络、全卷积神经网络等,好的性能通常需要大量有标记样本的支撑,但是由于遥感图像获取较为困难,成本高昂,因此遥感图像的处理通常都是小样本问题,使用基于深度学习的遥感图像处理方法在不经过样本扩充时通常效果较差,而任何的样本扩充方法势必会在算法中引入更多的预处理或后处理步骤,增加算法以及模型的复杂度,同时,当有标记样本严重缺失时,样本扩充对性能的提升也是十分有限的。
例如,Zilong Zhong等人在其发表的论文“Fully Convolutional Networks ForBuilding And Road Extraction:Preliminary Results”(IEEE InternationalGeoscience and Remote Sensing Symposium,2016年)中提出了一种基于全卷积神经网络的道路提取方法。该方法的步骤是:首先,设置一个用于遥感图像道路提取的全卷积网络结构;其次,设置交叉熵损失为模型的损失函数;接着,从已有的预训练模型中迁移部分参数作为现模型的参数初始化值;最后,将遥感图像划分为训练集和测试集并利用样本的裁剪来进行样本扩充,用训练集来微调全卷积神经网络,并用测试集数据对训练好的模型进行测试。虽然这个方法充分利用全卷积神经网络的优良特性,模型能够在没有人为干预下提取出具有判别性的特征,进一步得到道路提取结果,但是,在用该模型进行道路提取的时候,存在一定的不足之处:首先,该方法用于道路提取时,由于样本量的缺失,使用了两种解决方法,一种是使用预训练模型参数,用现有样本进行微调,使模型在少量样本训练后能达到近似收敛,但是该方法对模型的结构限制较多,即复用参数模型结构必须要和已有预训练模型一致,这使得该方法无法对特定问题设置特定的结构;另一种方法是进行样本扩充,在该模型中作者将原始的遥感图像有重叠的裁剪成了若干更小的子图,从而增加了总体样本数量,但是却引入了过多的预处理与后处理,例如:训练样本中的遥感图像和类标图像在训练前需要先进行同步随机裁剪,测试样本在测试前需要按顺序进行无重叠裁剪,输出结果也需要进行顺序拼接,这大大增加了算法的复杂程度;其次,利用该全卷积神经网络进行道路提取的时候,由于模型特征提取能力有限,且对于道路提取这一特定任务,模型损失函数并没有做任何特定性优化,因此该方法提取出的路网信息十分不完整,道路提取准确率低。
发明内容
本发明的目的在于克服现有技术的不足,提出了一种准确率更高、样本需求量更少的基于生成对抗网络的道路提取方法。
本发明是一种基于生成对抗网络的遥感图像道路提取方法,其特征在于,包括步骤如下:
(1)遥感图像划分为训练样本和测试样本:
对输入大小为N×N的遥感图像以及遥感图像对应的二值类标图像进行划分,其中多半作为训练样本,其余作为测试样本;
(2)设置用于遥感图像道路提取的生成对抗网络结构:
(2a)生成对抗网络中的生成网络结构设置为全卷积神经网络;
(2b)生成对抗网络中的判别网络结构设置为二分类卷积神经网络;
(2c)生成网络与判别网络共同构成生成对抗网络;
(3)设定用于道路提取的生成对抗网络的损失函数Loss:
将包含道路信息的正样本惩罚和负样本惩罚的生成对抗网络损失与提取结果与真实道路信息之间的欧式距离损失分别加权后进行求和,其和值设定为用于道路提取的生成对抗网络的损失函数Loss;
(4)对生成对抗网络进行训练:
采用自适应矩估计(Adam)优化算法,通过训练样本和用于道路提取的生成对抗网络的损失函数,对生成对抗网络进行训练,得到包含模型参数的生成对抗网络;
(4a)采用梯度上升的自适应矩估计优化算法,通过损失函数来训练判别网络;
(4b)采用梯度下降的自适应矩估计优化算法,通过损失函数来训练生成网络;
(4c)反复进行(4a)、(4b)两个步骤,轮换对判别网络和生成网络进行训练,直到模型参数收敛,得到训练好的模型;
(5)用训练好的模型对测试样本进行道路提取:
将测试样本中的遥感图像输入已经训练好的生成网络中,得到只包含道路与背景的二值类标图,即为所需提取过道路的遥感图像;
(6)输出提取过道路的遥感图像。
本发明采用了适合于遥感图像道路提取的网络结构,构建了包含欧氏距离损失的损失函数,提高了道路提取结果的准确率,简化了模型训练过程的复杂度。
与现有技术相比,本发明具有以下优点:
第一,本发明在做遥感图像道路提取的时候,运用的生成对抗网络,同时使用了生成对抗网络的损失以及常见的机器学习模型中的欧氏距离损失,对输入的遥感图像进行道路提取,生成对抗网络的损失保证了提取结果在宏观上更加接近于真实情况,而欧式距离损失保证了提取结果在每一处细节都能更接近真实类标,也可以说是同时在计算机与人类两个视觉角度保证了提取结果的准确性,使得道路提取结果道路更加连贯,路网结构更加完整,与现有技术相比,大大提高了道路提取的准确率。
第二,本发明所提出的结构引入了适用于小样本处理的生成对抗网络,同时对结构与损失函数做了特定性优化,因此在使用少量训练样本的情况下,保证了较高的准确率,相比于现有准确率较高的技术,本发明不需要任何的数据扩充的方法,因此避免了复杂的预、后处理过程,大大简化了算法的复杂度,是一个真正意义上的端到端的遥感图像道路提取方法。
附图说明
图1为本发明实现流程图;
图2为本发明测试样本中的一张包含道路的遥感图像;
图3为本发明附图2对应的真实二值类标图;
图4为现有技术方法针对附图2提取的道路图像;
图5为不使用本发明提出的损失函数针对附图2提取的道路图像;
图6为使用本发明提出的损失函数针对附图2提取的道路图像;
图7为不使用本发明提出的网络结构针对附图2提取的道路图像;
图8为不使用本发明提出的网络结构针对附图2提取的道路图像
图9为本发明针对附图2提取的道路图像。
具体实施方式
以下结合附图和具体实施例,对本发明作详细说明。
实施例1
现有技术遥感图像道路提取方法中,由于样本量的缺少,需要进行大量的数据预处理以及后处理操作,大大增加了算法的复杂程度;其次,现有方法模型损失函数并没有对遥感图像道路提取任务做任何特定性优化,所提取出的路网信息十分不完整,道路提取准确率低。本发明针对这种现状进行了研究与分析,提出一种基于生成对抗网络的遥感图像道路提取方法,参见图1,包括步骤如下:
(1)遥感图像划分为训练样本和测试样本:
对输入大小为N×N的包含道路的遥感图像以及遥感图像对应的二值类标图像进行划分,其中多半作为训练样本,其余作为测试样本,测试样本用于检测模型性能。
本例中输入的遥感图像大小为1024x1024
(2)设置用于遥感图像道路提取的生成对抗网络结构:生成对抗网络包括生成网络和判别网络:
(2a)生成对抗网络中的生成网络结构设置为全卷积神经网络。
(2b)生成对抗网络中的判别网络结构设置为二分类卷积神经网络。
(2c)生成网络与判别网络共同构成生成对抗网络。
生成对抗网络是一种用于图像生成的深度神经网络,一般由生成网络和对抗网络两部分组成,相较于一般的生成模型,生成对抗网络避免了复杂的马尔科夫过程,在生成网络中使用转置卷积的结构,使得输入的低维随机噪声逐步变成高维图像输出,来满图像生成的需求,在判别网络中使用常见的卷积网络结构,将生成网络输出的图像进行判别,以衡量其真实程度,从而优化生成网络参数。
生成对抗网络组合的优势在于,两个网络不断对抗优化,即生成网络不断优化以生成更加真实的图像来欺骗判别网络,判别网络不断优化以更好的分辨生成图像和真实图像,当输入图像经过一个训练好的生成网络,可以获取一个端对端的图像生成结果,且生成结果具有很强的真实性。
(3)设定用于道路提取的生成对抗网络的损失函数Loss:
将包含道路信息的正样本惩罚和负样本惩罚的生成对抗网络损失与提取结果与真实道路信息之间的欧式距离损失分别加权后进行求和,其和值设定为用于道路提取的生成对抗网络的损失函数Loss。
(4)对生成对抗网络进行训练:
采用自适应矩估计(Adam)优化算法,通过训练样本和用于道路提取的生成对抗网络的损失函数,对生成对抗网络进行训练,得到包含模型参数的生成对抗网络。
(4a)采用梯度上升的自适应矩估计优化算法,通过总体的损失函数来训练判别网络;本发明中,判别网络主要是用于生成网络的辅助训练,保证生成网络的收敛。
(4b)采用梯度下降的自适应矩估计优化算法,通过总体的损失函数来训练生成网络。
(4c)反复进行(4a)、(4b)两个步骤,轮换对判别网络和生成网络进行训练,直到模型参数收敛,得到训练好的模型;反之亦然,先对生成网络进行训练,再对判别网络进行训练,技术效果相同。
(5)用训练好的模型对测试样本进行道路提取:
将测试样本中的遥感图像输入已经训练好的生成网络中,得到只包含道路与背景的二值类标图,即为所需提取过道路的遥感图像。
(6)输出提取过道路的遥感图像。
本发明在做遥感图像道路提取的时候,运用的生成对抗网络,同时使用了生成对抗网络的损失以及常见的机器学习模型中的欧氏距离损失,对输入的遥感图像进行道路提取,生成对抗网络的损失保证了提取结果在宏观上更加接近于真实情况,而欧式距离损失保证了提取结果在每一处细节都能更接近真实类标,也可以说是同时在计算机与人类两个视觉角度保证了提取结果的准确性,使得道路提取结果道路更加连贯,路网结构完整,与现有技术相比,提高了道路提取的准确率。
实施例2
基于生成对抗网络的遥感图像道路提取方法同实施例1,步骤(3)中所述的用于道路提取的生成对抗网络的损失函数Loss,其表达式为:
其中,xk表示第k张遥感图像,yk表示图像xk所对应的真实类标,N×N 表示输入图像的大小,分别代表第k张遥感图像以及其对应的类标图中第j个像素的值,α为损失函数表达式中第一部分的权值,β为损失函数表达式中第二部分的权值,D(·)、G(·)分别代表判别网络与生成网络的输出信息, m代表每一次优化迭代所需要的样本数。
本例中,取N=256,m=16,α=1。
本发明所提出的损失函数由两部分组成,第一部分为其本质上是传统生成对抗网络的损失函数,用来保证提取图像在整体上更接近于真实情况,第二部分为是提取结果与真实道路信息之间的欧式距离损失,用来保证提取图像在细节上更接近于当前遥感图像的真实类标图,本发明分别赋予这两部分不同的权值,以平衡两部分损失的比重,当α≠0,β=0时,只使用生成对抗网络损失;当α=0,β≠0时,只使用欧氏距离损失;当α≠0,β≠0时,同时使用两种损失。
本例中,使用α=1,β=0和α=1,β=100两组权值组合分别对应只使用生成对抗网络损失与同时使用两种损失的情况,在本发明所使用的网络结构下对图2 进行道路提取仿真实验,图3为图2所对应的真实二值类标图,图5为使用传统生成对抗网络损失函数提取的结果,即α=1,β=0的情况,也就是说,图5的实验结果是使用了本发明的网络结构,但是没有使用本发明的损失函数。图6为使用本发明中所提出的损失函数进行提取,即α=1,β=100的情况。将图5图6与现有方法的结果图4相对比,可以看出使用本发明提出的网络结构,不论是否对网络损失函数做特定性优化,提取结果的错判情况都要比现有方法好,对比图5和图6可以看出只使用传统生成对抗网络损失提取出的道路,路网完整性较差,有较多的漏判情况,且由于该损失对细节的约束性较差,导致整个路网中的道路不够平滑,失真较为严重;使用本发明的损失函数,提取结果在完整性上有了明显的提升,且道路边缘更为平滑,对照图5图6中位置相对应的白色矩形框所示区域,可见,本发明提出的损失函数更加适用于遥感图像的道路提取,在提取结果的整体与细节上都能更加接近于真实情况。
实施例3
基于生成对抗网络的遥感图像道路提取方法同实施例1-2,步骤(2a)中所述的生成网络结构设置为全卷积神经网络结构,具体为:
生成网络的全卷积结构设置为小卷积核的Unet网络,小卷积核的Unet网络具体结构包含2n个带步长的卷积层,n的取值为5-10之间的任意整数,其中前n个为下采样层,每次下采样步长为中的任一正整数,其中N为输入图像大小,后n个为上采样层,每次的上采样步长为与下采样步长保持一致,即网络是一个完全对称的结构;在上采样的每一层中,不仅使用上层网络输出的信息,同时使用该层所对称的下采样层输出信息,使得输出结果更精确;卷积核大小的选择,针对于道路这一特定任务,下采样过程使用大小不超过6、上采样过程使用大小不超过5的小卷积核。
本例中,取N=1024,n=6,下采样过程卷积核大小为6,上采样为4。
利用本发明中提出的小卷积核Unet生成网络结构,与大卷积核普通全卷积生成网络结构,在本发明所使用的损失函数下对图2进行道路提取仿真实验,图 3为图2所对应的真实二值类标图,图7为使用大卷积核的普通全卷积网络作为生成网络的提取结果图,图8为使用本发明中所提出的生成网络结构的提取结果图,对比图7图8与现有方法提取结果图4,可以发现使用本发明的损失函数,不论网络是否采用本发明给出的结构,道路提取的结果都要优于现有方法,大大降低了现有方法错判情况多的弊端,对比图7图8可以发现使用有大卷积核的普通全卷积网络进行道路提取,道路提取结果在连续性上效果不佳,且出现了较多的错判问题,本发明提出生成的网络结构在连续性上有较大的改善,且基本消除了错判问题,对照图7图8中位置相对应的白色矩形框所示区域,可见本发明所提出的生成网络结构具有更强的特征提取能力,用于遥感图像的道路提取能得到更加准确的结果。
实施例4
基于生成对抗网络的遥感图像道路提取方法同实施例1-3,步骤(2b)中所述的判别网络结构设置为二分类卷积神经网络,具体为:
判别网络使用小卷积核的n层卷积网络,其卷积核大小介于生成网络中的下采样和上采样卷积核大小之间。其中,n为生成网络中下采样层数量。
本例中,取n=6,卷积核的大小分别取[6,6,6,6,3,3]。
在道路提取这一任务中,主要通过生成网络从遥感图像中得到路网二值图,判别网络则是通过与生成网络之间的对抗优化来辅助生成网络的训练,因此判别网络的层数相较于生成网络不能太少,否则会导致判别网络性能变差,从而无法更好的帮助生成网络达到收敛;同时判别网络的层数也不能太多,否则会导致判别网络迅速收敛,从而使得生成网络收敛缓慢甚至停止收敛。因此,取判别网络的层数与生成网络的下采样层数相同。
以下给出一个更加具体详实的实施例,对本发明作进一步详细说明。
实施例5
基于生成对抗网络的遥感图像道路提取方法同实施例1-4,参照图1,包括步骤如下:
步骤1)遥感图像划分为训练样本和测试样本:
对输入大小为N×N的遥感图像以及遥感图像对应的二值类标图像进行划分,其中多半作为训练样本,其余作为测试样本,用于检测模型性能。
在本发明实施例中,选取769幅大小为1500×1500的遥感图像作为样本集。虽然在本发明实施例中,对特定大小测试样本进行道路提取,但是,由于提取道路所使用的生成网络中使用的是没有全连接层的全卷积网络,因此实际训练好的生成网络,可用于对任何同类型的遥感道路图片进行道路提取。
将图像样本集中720幅作为训练样本,其余49幅作为测试样本。
步骤2)设置用于遥感图像道路提取的生成对抗网络结构:
当我们使用全卷积网络来替换生成网络中简单的转置卷积网络,同时以一类图像而不是随机噪声作为输入,则可以得到与输入图像相同大小的另一类图像作为输出,此过程被称为图像翻译,遥感图像的道路提取本质上也可看作是一个图像翻译问题。即输入三通道彩色遥感图,输出其对应的单通道二值类标图,因此生成网络的结构选择全卷积网络,特别地,为了得到更加精确的提取结果,采用全卷积网络中的Unet网络作为生成网络,并使用较小的卷积核。该网络共有16 个带步长的卷积层,其中前8个卷积层用于下采样,步长为2,其卷积核大小为 [4,4,4,4];后8个转置卷积层用于上采样,步长为2,其卷积核大小为[3,3,3,3],并在上采样过程中加入对应下采样层得到的特征。判别网络需要输入一张图像,输出其属于生成样本或真实样本的概率,因此其结构设置为一个传统的单输出二分类卷积神经网络,共有4个卷积层组成,其卷积核大小为[4,4,3,3]。
步骤3)设计用于道路提取的生成对抗网络损失函数:
将包含正样本惩罚和负样本惩罚的生成对抗网络损失与基于内容的感知损失欧式距离的加权求和值设定为用于道路提取的生成对抗网络的损失函数Loss:
其中,xk表示第k张遥感图像,yk表示图像xk所对应的真实类标,N×N表示输入图像的大小,分别代表第k张遥感图像以及其对应的类标图中第j 个像素的值,α为损失函数表达式中第一部分的权值,β为损失函数表达式中第二部分的权值,D(·)、G(·)分别代表判别网络与生成网络的输出信息,m代表每一次优化迭代所需要的样本数,在本例中取N=1500,m=2,α=1,β=300。
Loss函数可以分为两部分,即分别对应损失函数中的生成对抗网络损失与欧氏距离损失。
步骤4)对生成对抗网络进行训练:
采用自适应矩估计(Adam)优化算法,通过训练样本和用于道路提取的生成对抗网络的损失函数,对生成对抗网络进行训练,得到包含模型参数的生成对抗网络。
本发明用于道路提取的对抗生成网络,采用自适应矩估计优化算法,分别对生成网络和判别网络进行交替训练。本发明实施例中,训练过程中,将遥感图像作为生成网络的输入,输出其对应的类标图,将生成的类标图与其对应的真实遥感图像当作负样本图像对,真实遥感图像与其对应的真实类标图当作正样本图像对,混合输入判别网络,输出一个[0,1]的数值代表当前输入图片对中的类标图是真实类标图的概率。本例中将学习率设置为2×10-4,批量大小设置为2,采用梯度上升的自适应矩估计法训练判别网络,梯度下降的自适应矩估计法训练生成网络,其中一阶矩估计的指数衰减率设置为0.5,二阶矩估计的指数衰减率设置为 0.999,训练500代,网络收敛,得到用于道路提取的生成对抗网络的网络参数。
步骤5)对测试样本进行道路提取:
将测试集中的遥感图像输入已经训练好的生成网络中,得到只包含道路与背景的二值类标图,参见附图5-图9,该二值类标图即输入图像的路网情况。
步骤6)输出提取过道路的遥感图像,参见附图5-图9。
生成对抗网络用于遥感图像的道路提取,也是一种基于机器学习的道路提取方法,相较于传统的道路提取方法,生成对抗网络有其特有的良好特性。本发明生成对抗网络能够提取遥感图像中具有判别性的特征,并利用这些特征得到准确的道路提取结果,同时相较于其他基于深度神经网络的方法,基于生成对抗网络的遥感图像道路提取方法对样本的需求量更小,更适合于样本获取困难的遥感图像处理领域。
以下结合仿真试验,对本发明的技术效果作进一步说明:
实施例6
基于生成对抗网络的遥感图像道路提取方法同实施例1-5,
仿真条件和内容
实验数据采用多伦多大学公布的马萨诸塞道路数据集。该数据集总共包含了1171幅大小为1500×1500,分辨率1米的遥感图像,覆盖2600平方千米的土地。图 2为划分的测试集中的一张图。仿真平台为:主频为3.60GHz的Intel Xeon E5-1650 v4CPU,64.0GB的内存,ubuntu16.04操作系统,torch7深度学习平台,Lua 5.1 开发平台。
利用本发明和现有全卷积神经网络道路提取方法,对图2进行道路提取仿真,其中,图3为图2所对应的真实类标图,图4为现有技术仿真结果图,图9为本发明仿真结果图。
仿真结果分析
采用本发明方法与论文“Fully Convolutional Networks For Building AndRoad Extraction:Preliminary Results”中所述的基于全卷积网络的方法进行仿真比较,并在整个测试样本集中进行定量分析,如表1所示的各方法分类结果的定量分析一览表,其中准确率表示总体的提取准确率,查准率是衡量提取出的道路中提取正确的比率,查全率是衡量图像中所有道路被正确提取的比率,由于道路提取是一个正负样本不平衡的问题,因此使用一个综合查准率与查全率的指标F1-score来进行评判,该指标越接近于1越好,FCN表示基于全卷积网络的遥感图像道路提取方法。
表1各方法分类结果的定量分析一览表
方法类型 准确率 查准率 查全率 F1-score
FCN 0.93 0.71 0.66 0.68
本发明方法 0.97 0.76 0.76 0.76
由表1可以看出,采用本发明的方法在准确率、查准率、查全率以及F1-score 四个指标上均比现有基于全卷积网络的方法高,由此可见本发明提出的网络结构相比于现有的基于全卷积网络进行遥感图像道路提取具有更强的特征提取能力,本发明所构建的损失函数也更加适用于遥感图像道路提取这一特定任务,可以获得精准的道路提取结果。
从图4可以看出,基于现有方法进行的道路提取结果,道路部分不够连续,错判、漏判区域较多。从本发明得到的图9可以看出,本发明的结果不仅道路连续性更好,同时大大减少了错判、漏判区域,提取结果与图3所示真实类标情况更加接近。
综上所述,本发明提出的基于生成对抗网络的遥感图像道路提取方法,旨在从包含道路的遥感图像中提取出连续的道路与完整的路网结构,得到更加准确的道路提取结果,解决了遥感图像道路提取准确率低,道路连续性不佳的问题。实现步骤为:首先在现有遥感数据库中选取样本集并划分测试样本和训练样本;其次设置用于遥感图像道路提取的生成对抗网络结构,包括生成网络和对抗网络;接着设定用于道路提取的生成对抗网络的损失函数Loss,包括传统生成对抗网络损失和针对于道路提取的欧式距离损失;接着用自适应矩估计算法来训练生成对抗网络,得到网络参数;再用训练好的模型对测试样本进行道路提取,得到提取过道路的遥感图像;最后输出提取过道路的遥感图像。本发明能够改善道路提取的准确性,相比于现有方法在准确率、查全率、查准率与F1-score四个指标都有显著提升。

Claims (4)

1.一种基于生成对抗网络的遥感图像道路提取方法,其特征在于,包括步骤如下:
(1)遥感图像划分为训练样本和测试样本:
对输入大小为N×N的遥感图像以及遥感图像对应的二值类标图像进行划分,其中多半作为训练样本,其余作为测试样本;
(2)设置用于遥感图像道路提取的生成对抗网络结构:
(2a)生成对抗网络中的生成网络结构设置为全卷积神经网络;
(2b)生成对抗网络中的判别网络结构设置为二分类卷积神经网络;
(2c)生成网络与判别网络共同构成生成对抗网络;
(3)设定用于道路提取的生成对抗网络的损失函数Loss:
将包含道路信息的正样本惩罚和负样本惩罚的生成对抗网络损失与提取结果与真实道路信息之间的欧式距离损失分别加权后进行求和,其和值设定为用于道路提取的生成对抗网络的损失函数Loss;
(4)对生成对抗网络进行训练:
采用自适应矩估计优化算法,通过训练样本和用于道路提取的生成对抗网络的损失函数,对生成对抗网络进行训练,得到包含模型参数的生成对抗网络;
(4a)采用梯度上升的自适应矩估计优化算法,通过总体的损失函数来训练判别网络;
(4b)采用梯度下降的自适应矩估计优化算法,通过总体的损失函数来训练生成网络;
(4c)反复进行(4a)、(4b)两个步骤,轮换对判别网络和生成网络进行训练,直到模型参数收敛,得到训练好的模型;
(5)用训练好的模型对测试样本进行道路提取:
将测试样本中的遥感图像输入已经训练好的生成网络中,得到只包含道路与背景的二值类标图,即为所需提取过道路的遥感图像;
(6)输出提取过道路的遥感图像。
2.根据权利要求1所述的基于生成对抗网络的遥感图像道路提取方法,其特征在于,步骤(3)中所述的用于道路提取的生成对抗网络的损失函数Loss,其表达式为:
其中,xk表示第k张遥感图像,yk表示图像xk所对应的真实类标,N×N表示输入图像的大小,分别代表第k张遥感图像以及其对应的类标图中第j个像素的值,α为损失函数表达式中第一部分的权值,β为损失函数表达式中第二部分的权值,D(·)、G(·)分别代表判别网络与生成网络的输出信息,m代表每一次优化迭代所需要的样本数。
3.根据权利要求1所述的基于生成对抗网络的遥感图像道路提取方法,其特征在于,步骤(2a)中所述的生成网络结构设置为全卷积神经网络结构,具体为:
生成网络的全卷积结构设置为小卷积核的Unet网络,小卷积核的Unet网络具体结构包含2n个带步长的卷积层,n的取值为5-10之间的任意整数,其中前n个为下采样层,每次下采样步长为中的任一正整数,其中N为输入图像大小,后n个为上采样层,每次的上采样步长为与下采样步长保持一致,即网络是一个完全对称的结构;在上采样的每一层中,不仅使用上层网络输出的信息,同时使用该层所对称的下采样层输出信息;卷积核大小的选择,下采样过程使用大小不超过6、上采样过程使用大小不超过5的小卷积核。
4.根据权利要求1所述的基于生成对抗网络的遥感图像道路提取方法,其特征在于,步骤(2b)中所述的判别网络结构设置为二分类卷积神经网络,具体为:
判别网络使用小卷积核的n层卷积网络,其卷积核大小介于生成网络中的下采样和上采样卷积核大小之间。
CN201810590208.1A 2018-06-08 2018-06-08 基于生成对抗网络的遥感图像道路提取方法 Active CN108830209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810590208.1A CN108830209B (zh) 2018-06-08 2018-06-08 基于生成对抗网络的遥感图像道路提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810590208.1A CN108830209B (zh) 2018-06-08 2018-06-08 基于生成对抗网络的遥感图像道路提取方法

Publications (2)

Publication Number Publication Date
CN108830209A true CN108830209A (zh) 2018-11-16
CN108830209B CN108830209B (zh) 2021-12-17

Family

ID=64143632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810590208.1A Active CN108830209B (zh) 2018-06-08 2018-06-08 基于生成对抗网络的遥感图像道路提取方法

Country Status (1)

Country Link
CN (1) CN108830209B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635748A (zh) * 2018-12-14 2019-04-16 中国公路工程咨询集团有限公司 高分辨率影像中道路特征的提取方法
CN109685068A (zh) * 2018-12-27 2019-04-26 上海七牛信息技术有限公司 一种基于生成对抗神经网络的图像处理方法以及系统
CN109949318A (zh) * 2019-03-07 2019-06-28 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN110008872A (zh) * 2019-03-25 2019-07-12 浙江大学 一种结合车辆轨迹和遥感图像的路网提取方法
CN110263612A (zh) * 2019-04-25 2019-09-20 北京工业大学 基于生成对抗网络的多光谱遥感图像道路提取方法
CN111340050A (zh) * 2020-03-27 2020-06-26 清华大学 一种地图道路全要素特征提取方法和系统
CN111625608A (zh) * 2020-04-20 2020-09-04 中国地质大学(武汉) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN111832404A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 一种基于特征生成网络的小样本遥感地物分类方法及系统
CN112307978A (zh) * 2020-10-30 2021-02-02 腾讯科技(深圳)有限公司 目标检测方法、装置、电子设备及可读存储介质
CN112487999A (zh) * 2020-12-02 2021-03-12 西安邮电大学 一种基于CycleGAN的遥感图像鲁棒特征提取方法
CN112733756A (zh) * 2021-01-15 2021-04-30 成都大学 一种基于w散度对抗网络的遥感图像语义分割方法
CN113298095A (zh) * 2021-06-23 2021-08-24 成都天巡微小卫星科技有限责任公司 一种基于卫星遥感的高精度路网密度提取方法及系统
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113673369A (zh) * 2021-07-30 2021-11-19 中国科学院自动化研究所 遥感图像场景规划方法、装置、电子设备和存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106096670A (zh) * 2016-06-17 2016-11-09 北京市商汤科技开发有限公司 级联卷积神经网络训练和图像检测方法、装置及系统
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107368852A (zh) * 2017-07-13 2017-11-21 西安电子科技大学 一种基于非下采样轮廓波dcgan的极化sar图像分类方法
US20170345140A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications
US20180052971A1 (en) * 2016-08-22 2018-02-22 Aic Innovations Group, Inc. Method and apparatus for determining health status
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107808358A (zh) * 2017-11-13 2018-03-16 携程计算机技术(上海)有限公司 图像水印自动检测方法
CN107895358A (zh) * 2017-12-25 2018-04-10 科大讯飞股份有限公司 人脸图像的增强方法及系统
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN107945118A (zh) * 2017-10-30 2018-04-20 南京邮电大学 一种基于生成式对抗网络的人脸图像修复方法
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN108090919A (zh) * 2018-01-02 2018-05-29 华南理工大学 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170345140A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106096670A (zh) * 2016-06-17 2016-11-09 北京市商汤科技开发有限公司 级联卷积神经网络训练和图像检测方法、装置及系统
US20180052971A1 (en) * 2016-08-22 2018-02-22 Aic Innovations Group, Inc. Method and apparatus for determining health status
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
CN107194872A (zh) * 2017-05-02 2017-09-22 武汉大学 基于内容感知深度学习网络的遥感图像超分辨率重建方法
CN107368852A (zh) * 2017-07-13 2017-11-21 西安电子科技大学 一种基于非下采样轮廓波dcgan的极化sar图像分类方法
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN107945118A (zh) * 2017-10-30 2018-04-20 南京邮电大学 一种基于生成式对抗网络的人脸图像修复方法
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN107808358A (zh) * 2017-11-13 2018-03-16 携程计算机技术(上海)有限公司 图像水印自动检测方法
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN107895358A (zh) * 2017-12-25 2018-04-10 科大讯飞股份有限公司 人脸图像的增强方法及系统
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108090919A (zh) * 2018-01-02 2018-05-29 华南理工大学 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANAN WEI等: "Road Structure Refined CNN for Road Extraction in Aerial Image", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
许悦雷等: "迁移学习结合难分样本挖掘的机场目标检测", 《西安电子科技大学学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635748A (zh) * 2018-12-14 2019-04-16 中国公路工程咨询集团有限公司 高分辨率影像中道路特征的提取方法
CN109635748B (zh) * 2018-12-14 2021-09-03 中国公路工程咨询集团有限公司 高分辨率影像中道路特征的提取方法
CN109685068A (zh) * 2018-12-27 2019-04-26 上海七牛信息技术有限公司 一种基于生成对抗神经网络的图像处理方法以及系统
CN109949318A (zh) * 2019-03-07 2019-06-28 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN109949318B (zh) * 2019-03-07 2023-11-14 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN110008872A (zh) * 2019-03-25 2019-07-12 浙江大学 一种结合车辆轨迹和遥感图像的路网提取方法
CN110263612A (zh) * 2019-04-25 2019-09-20 北京工业大学 基于生成对抗网络的多光谱遥感图像道路提取方法
CN111340050A (zh) * 2020-03-27 2020-06-26 清华大学 一种地图道路全要素特征提取方法和系统
CN111340050B (zh) * 2020-03-27 2023-04-07 清华大学 一种地图道路全要素特征提取方法和系统
CN111625608A (zh) * 2020-04-20 2020-09-04 中国地质大学(武汉) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN111625608B (zh) * 2020-04-20 2023-04-07 中国地质大学(武汉) 一种基于gan模型根据遥感影像生成电子地图的方法、系统
CN111832404A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 一种基于特征生成网络的小样本遥感地物分类方法及系统
CN111832404B (zh) * 2020-06-04 2021-05-18 中国科学院空天信息创新研究院 一种基于特征生成网络的小样本遥感地物分类方法及系统
CN112307978A (zh) * 2020-10-30 2021-02-02 腾讯科技(深圳)有限公司 目标检测方法、装置、电子设备及可读存储介质
CN112487999A (zh) * 2020-12-02 2021-03-12 西安邮电大学 一种基于CycleGAN的遥感图像鲁棒特征提取方法
CN112733756A (zh) * 2021-01-15 2021-04-30 成都大学 一种基于w散度对抗网络的遥感图像语义分割方法
CN113298095A (zh) * 2021-06-23 2021-08-24 成都天巡微小卫星科技有限责任公司 一种基于卫星遥感的高精度路网密度提取方法及系统
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113673369A (zh) * 2021-07-30 2021-11-19 中国科学院自动化研究所 遥感图像场景规划方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN108830209B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN108830209A (zh) 基于生成对抗网络的遥感图像道路提取方法
CN110210486A (zh) 一种基于素描标注信息的生成对抗迁移学习方法
CN107979554B (zh) 基于多尺度卷积神经网络的无线电信号调制识别方法
CN110097103A (zh) 基于生成对抗网络的半监督图像分类方法
CN103886342B (zh) 基于光谱和邻域信息字典学习的高光谱图像分类方法
CN109949257A (zh) 基于深度学习的感兴趣区域压缩感知图像重构方法
CN107909109B (zh) 基于显著性和多尺度深度网络模型的sar图像分类方法
CN108846835A (zh) 基于深度可分离卷积网络的图像变化检测方法
CN108346154A (zh) 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
CN109934200A (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN110310289A (zh) 基于深度学习的肺部组织图像分割方法
CN107808358A (zh) 图像水印自动检测方法
CN108446616A (zh) 基于全卷积神经网络集成学习的道路提取方法
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法
CN110163213A (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN105930846A (zh) 基于邻域信息和svgdl的极化sar图像分类方法
CN110245711A (zh) 基于角度旋转生成网络的sar目标识别方法
CN106980856A (zh) 公式识别方法及系统和符号推理计算方法及系统
CN106054189B (zh) 基于dpKMMDP模型的雷达目标识别方法
CN108564123A (zh) 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
CN108764486A (zh) 一种基于集成学习的特征选择方法及装置
CN108447048B (zh) 基于关注层的卷积神经网络图像特征处理方法
CN108122221A (zh) 弥散加权成像图像中脑缺血区域的分割方法及装置
CN105913090B (zh) 基于sdae-svm的sar图像目标分类方法
CN102968796A (zh) 基于采样学习的sar图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant