CN110610152B - 基于判别特征学习无监督网络的多光谱云检测方法 - Google Patents

基于判别特征学习无监督网络的多光谱云检测方法 Download PDF

Info

Publication number
CN110610152B
CN110610152B CN201910852788.1A CN201910852788A CN110610152B CN 110610152 B CN110610152 B CN 110610152B CN 201910852788 A CN201910852788 A CN 201910852788A CN 110610152 B CN110610152 B CN 110610152B
Authority
CN
China
Prior art keywords
network
image
training
multispectral
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910852788.1A
Other languages
English (en)
Other versions
CN110610152A (zh
Inventor
谢卫莹
李毅
李云松
雷杰
阳健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910852788.1A priority Critical patent/CN110610152B/zh
Publication of CN110610152A publication Critical patent/CN110610152A/zh
Application granted granted Critical
Publication of CN110610152B publication Critical patent/CN110610152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于判别特征学习无监督网络的多光谱云检测方法,解决了现有技术只能提取单一的多光谱图像,且检测精度不高的问题。实现步骤是输入检测的多光谱图像;构建并训练能自动调整的预训练网络;构建并训练能自动调整的特征提取网络;提取并得到单一多光谱图像向量维特征;得到多光谱的云检测结果。本发明利用图像判别器和多元高斯分布,将云标记为异常值,实现原始输入和背景之间的判别残差映射。网络更易优化,缓解了学习过程参数停止改变,导致学习效果不佳的问题。本发明能够通过训练网络学习分辨云或云阴影的特征,训练完成后,网络能识别大多数多光谱图像中的云,且检测精度较高。具有适用范围广,检测精度高的优点。

Description

基于判别特征学习无监督网络的多光谱云检测方法
技术领域
本发明属于图像处理技术领域,主要涉及遥感图像的云检测,剔除云干扰,具体是一种基于判别特征学习无监督网络的多光谱云检测方法,可用于从多光谱图像中检测出云目标。
背景技术
在遥感图像中,云的存在会影响或者遮蔽地面真实物体的信息,影响图像质量,从而降低图像数据利用率。因此云检测是增加遥感图像可用性的重要预处理步骤,但是由于底层表面的复杂性,训练数据不足和高维数据中存在冗余信息,都给云检测带来了一定的麻烦。如果不能正确的分辨出遥感图像中的云和云阴影,限制了从地面提取信息的能力,影响了卫星信息的可用性。因此,能在遥感图像中实现高效的云检测,对于气象预测,环保监测和国防安全方面有着十分重要的作用。
Zhiwei Li在其发表的论文“Deep learning based cloud detection formedium and igh resolution remote sensing images of different sensors”(ISPRS摄影测量与遥感杂志ISPRS Journal of Photogrammetry and Remote Sensing期刊论文2019年)中提出了基于深度学习的用于各种不同传感器中高分辨率遥感图像的云检测方法。该方法由两个阶段组成,一个是模型训练,另一个是模型测试。在模型训练阶段首先对训练的图像和相应的云和云阴影标签进行预处理,通过最小化损失函数迭代学习参数达到最优分配。在模型测试阶段,获取模型的最优参数,并预处理用于模型测试的测试图像。然后将预训练好模型的用于图像中每个像素的云和云阴影预测。每个图像的云和云阴影输出特征映射被模型外部的二元分类器收集进行像素二值化处理,最终合并为单个云和云阴影。虽然该方法通过标记云和云阴影训练,能够提高在不同复杂表面条件下识别的准确性,但是,该方法仍然存在的不足之处是由于该方法对输入图像块尺寸和模型大小的限制,所以在分类中央区域大面积明亮物体时会出现错误,例如识别草原上的雪,并且这个方法还有一定的局限性,那就是只能用于高分辨率的图像的云检测。
现有技术中对云检测的方法大部分是基于云阈值来实现的。长安大学在其申请的专利文献“基于Landsat8含雪影像的云检测方法”(专利申请号:201810275450.X,公布号:CN108711159A)中提出了基于Landsat8含雪影像的云检测方法。这种方法基于云阈值,标定云影像中的异常值后,最后将其剔除。这种方法局限在于需要引入大量的人为因素,对实验结果有较大的影响,不具有普适性。随着机器学习的发展,已经有一部分学者已经将机器学习与云检测结合起来,其中安捷在其发表的论文“基于全卷积网络的遥感图像自动云检测”(信号处理第35卷第四期2019年4月)中提出了基于全卷积网络的图像分割算法框架,并在该框架内,提出了一种解决云检测问题的新的全卷积网络结构。该方法虽然可以实现像素级精度的云检测,但是其判断还不够精确,只能做出云或者可能云的判断,且只能局限在气象监测,不能用于精度更高的应用领域。
现有技术中对云监测的方法往往基于云阈值来实现,用人工进行云阈值标记,将其中的异常值去除。但是由于光谱数据较多,这种方法极大的耗费了人力物力,且检测精度不够高,同时也不具有普适性。近几年随着机器学习的发展,不少学者将机器学习引入了云检测领域,减少云检测方法对人的依赖。现有的云检测引入了机器学习相关的技术,虽然减少了对人的依赖,检测精度提高了。由于现在对光谱数据采集的卫星较多,所以对应的多光谱图像的种类也较多,现有的技术往往只能用于在某一种卫星采集的多光谱图像中,有一定的使用局限性。而能用于多种卫星采集的多光谱图像的方法,达不到研究人员所需的检测精度。所以现在亟待一种能用于多种多光谱图像数据集,且能达到一定的检测精度的方法。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种适用于多种数据集,检测精度更高的基于判别特征学习无监督网络的多光谱云检测方法。
本发明是一种基于判别特征学习无监督网络的多光谱云检测方法,其特征在于,包括有如下步骤:
(1)输入要进行检测的多光谱图像:输入的多光谱图像为带有云干扰的多光谱图像,将输入的单一图像转换为单一数据集,然后单一数据集组合为总数据集;
(2)构建预训练网络:
分别用人工神经网络组合搭建一个三层编码网络和一个三层解码网络,将GAN网络置于编码网络和解码网络之间后,编码网络、GAN和解码网络依次连接组成预训练网络。GAN网络由生成网络和判别网络连接组成;
(3)训练能够自动调整的预训练网络:
将单一数据集输入到预训练网络中,迭代训练50次,得到训练好的预训练网络;利用GAN网络中生成网络和判别网络之间的竞争,自动调整整个预训练网络中所有神经网络内部中节点之间相互连接的关系,优化网络结构,优化后的网络输出为自动调整后的预训练网络输出结果,即输出为与输入图像高度相似的光谱维特征信息;
(4)构建特征提取网络:
用神经网络另外搭建一个三层编码网络,将GAN网络和该三层编码网络直接连接组成特征提取网络;
(5)训练能根据特征提取效果自动调整的特征提取网络:
将单一数据集输入到训练好的预训练网络后,将预训练网络的输出再输入到特征提取网络中,迭代训练50次,得到训练好的特征提取网络;利用GAN网络中生成网络和判别网络之间的竞争,自动调整整个特征提取网络所有神经网络内部中节点之间相互连接的关系,优化网络结构,特征提取网络的输出为特征提取网络输出结果,该结果也为与输入图像高度相似的光谱维特征信息;
(6)提取光谱向量维特征
提取训练好的预训练网络中编码网络的输出,此输出称为背景图像的第一光谱向量维特征Z1。提取训练好的特征提取网络中编码网络的输出,此输出称为背景图像的第二光谱向量维特征Z2
(7)得到单一多光谱图像中光谱向量维特征,通过背景图像的第一光谱向量维特征Z1。和背景图像的第二光谱向量维特征Z2,计算得到单一多光谱图像的光谱向量维特征Z,公式如下,
Z=|Z1-Z2|
其中,Z表示单一多光谱图像中光谱向量维特征,|g|表示取绝对值操作,Z1表示背景图像的第一光谱向量维特征,Z2表示背景图像的第二光谱向量维特征;
(8)得到多光谱的云检测结果:
(8a)将输入所有多光谱图像后得到的光谱向量维特征相加融合成一个波段图像,得到融合后的空间特征图像;
(8b)将多光谱空间特征图像输入到引导滤波器中,然后引导滤波器输出多光谱云检测结果;
本发明基于提取光谱向量维特征,利用光谱向量维特征检测多光谱图像中的云目标。
本发明与现有的技术相比具有以下优点:
第一,能对不同遥感卫星采集的多光谱图像进行云检测:本发明利用判别特征学习无监督网络,从输入的多光谱图像中提取光谱向量维特征,利用光谱向量维特征检测多光谱图像中的云目标,本发明通过学习判别输入的多光谱图像中光谱向量维特征,能够区分不同多光谱图像中的地面信息和云信息,实现对云的检测,能够推广到不同遥感卫星采集的多光谱图像中。
第二,提高检测精度:本发明利用图像判别器和多元高斯分布,将云标记为异常值,实现原始输入和背景之间的判别残差映射。使网络更容易优化,并且缓解了学习过程中,参数停止改变,导致学习效果不佳的问题。同时基于对相邻像素的强相关性分析,在残差图上采用引导滤波器获得初始检测图,利于地面信息和云信息的分离,提高检测的精度。
第三,减少了网络运行的复杂度:本发明利用迭代优化算法,该算法在满足条件时能自动停止,避免训练过度,导致检测图像时过度敏感,将其他明亮物体检测为云的问题,进一步提高了网络的检测性能。
附图说明
图1是本发明的流程图;
图2是采用本发明,以及Kmeans方法,PRS方法和SVM方法对带有离散云团的多光谱图像进行多光谱云检测的效果对比图。
其中图2(a)为带有离散云的多光谱图像,图2(b)为检测结果的参考图,图2(c)为采用本发明进行仿真实验的结果图,图2(d)为采用Kmeans方法进行仿真实验的结果图,图2(e)为采用PRS方法进行仿真实验的结果图,图2(f)为采用SVM方法进行仿真实验的结果图。
图3是采用本发明,以及Kmeans方法,PRS方法和SVM方法对带有聚集云团的多光谱图像进行多光谱云检测的效果对比图。
图3(a)为带有聚集云团的多光谱图像,图3(b)为检测结果的参考图,图3(c)为采用本发明进行仿真实验的结果图,图3(d)为采用Kmeans方法进行仿真实验的结果图,图3(e)为采用PRS方法进行仿真实验的结果图,图3(f)为采用SVM方法进行仿真实验的结果图。
具体实施方式
下面结合附图对本发明详细描述。
实施例1
在遥感图像中,云的存在会影响或者遮蔽地面真实物体的信息,影响图像质量,降低了图像数据利用率。如果不能正确的分辨出遥感图像中的云和云阴影,限制了从地面提取信息的能力,影响了卫星信息的可用性。
本发明针对现状和问题,进行了研究与创新,提出一种基于判别特征学习无监督网络的多光谱云检测方法,参见图1,包括有如下步骤:
(1)输入要进行检测的多光谱图像:输入的多光谱图像为带有云干扰的多光谱图像,将输入的单一图像转换为单一数据集,然后单一数据集为输入数据集。
(2)构建预训练网络:分别用人工神经网络组合搭建一个三层编码网络和一个三层解码网络,将GAN网络置于编码网络和解码网络之间。编码网络、GAN网络和解码网络依次连接组成预训练网络。GAN网络由生成网络和判别网络连接组成。本发明通过引入GAN,引入互相博弈思想,让训练网络调整神经网络内部中节点之间相互连接的关系,减少编码解码过程中产生的冗余信息,不断优化网络结构。
(3)训练能够自动调整的预训练网络:将单一数据集输入到预训练网络中,迭代训练50次,得到训练好的预训练网络。利用GAN网络中生成网络和判别网络之间的竞争,自动调整整个预训练网络中所有神经网络内部中节点之间相互连接的关系,优化网络结构,从而达到训练的目的。优化后的网络输出为自动调整后的预训练网络输出结果,即输出为与输入图像高度相似的光谱维特征信息。
迭代训练次数在一开始设置时可随意设置,但是需要根据预训练的效果进行调整,训练过少时,预训练网络不能正确提取输入图像的光谱维特征信息,训练过多时,预训练网络会提取不必要的信息,干扰检测结果。训练50次是我们根据训练效果得出的合理的训练次数。
本发明自动调整利用的原理是反向传播原理,利用实际输出和理想输出的差距,不断对输入过程中的参数进行调整,直到实际输出达到理想输出时,停止对输入过程中参数的调整。在整个过程中,只有输入数据集和设定理想输出时,才需要人的参与,其他过程都是预训练网络根据设定自动进行调整。
(4)构建特征提取网络:用神经网络另外搭建一个与上述三层编码网络结构相同的三层编码网络,将GAN网络和该三层编码网络直接连接组成特征提取网络。
(5)训练能根据特征提取效果自动调整的特征提取网络:将单一数据集输入到训练好的预训练网络后,将预训练网络的输出再输入到特征提取网络中,迭代训练50次,得到训练好的特征提取网络;利用GAN网络中生成网络和判别网络之间的竞争,自动调整整个特征提取网络所有神经网络内部中节点之间相互连接的关系,优化网络结构,从而达到特征提取的目的;特征提取网络的输出为特征提取网络输出结果,该结果也为与输入图像高度相似的光谱维特征信息。
(6)提取光谱向量维特征:提取训练好的预训练网络中编码网络的输出,此输出称为背景图像的第一光谱向量维特征Z1;提取训练好的特征提取网络中编码网络的输出,此输出称为背景图像的第二光谱向量维特征Z2
(7)得到单一多光谱图像中光谱向量维特征,通过背景图像的第一光谱向量维特征Z1;和背景图像的第二光谱向量维特征Z2,计算得到单一多光谱图像的光谱向量维特征Z,公式如下,
Z=|Z1-Z2|
其中,Z表示单一多光谱图像中光谱向量维特征,|g|表示取绝对值操作,Z1表示背景图像的第一光谱向量维特征,Z2表示背景图像的第二光谱向量维特征。
(8)得到多光谱的云检测结果:
(8a)将输入所有多光谱图像后得到的光谱向量维特征相加融合成一个波段图像,得到融合后的空间特征图像;
(8b)将多光谱空间特征图像输入到引导滤波器中,然后引导滤波器输出多光谱云检测结果。
本发明提出了一种基于判别特征学习无监督网络的多光谱云检测方法整体的技术方案,解决了现有技术只能用于检测单一卫星采集的多光谱图像的缺陷,以及能用于检测多种卫星采集的多光谱图像的技术,但是检测精度不高的缺陷。
本发明希望找到一种对多光谱图像的检测精度高,并且能够用于多种卫星采集的多光谱图像的方法。在对各种多光谱图像进行比对研究,本发明在研究过程中发现在各种多光谱图像中云或云阴影的特征基本保持一致。本发明通过使用机器学习的手段,首先通过标记云或者云阴影,让网络能够自动学习在多光谱图像中云的特征,当训练过程完成后,网络能够分辨出不同多光谱图像中的云或者云阴影的特征,实现对云的检测。因为云或者云阴影的特征在不同多光谱图像中的基本一致,而且利用了机器学习中能自动调整网络结构,不断优化网络结构的特点,不断提高检测精度。所以本发明能适用于现有大多数卫星采集的多光谱图像,检测精度较高。
本发明利用判别特征学习无监督网络提取光谱向量维特征,利用光谱向量维特征检测多光谱图像在光谱中异常值;
实施例2
基于判别特征学习无监督网络的多光谱云检测方法同实施例1,步骤2所述的GAN网络由生成网络和判别网络连接组成,具体是生成网络和判别网络连接组成GAN网络。其中生成网络通过生成图像尽可能去欺骗判别网络,让判别网络出现错误的判断为目的,让网络不断优化;
判别网络则通过正确判别生成网络生成的图像,促使生成网络生成更逼真的图像为目的,让网络不断优化。
生成式对抗网络(GAN)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。一个优秀的GAN应用需要有良好的训练方法,否则可能由于神经网络模型的自由性而导致输出不理想。生成网络和判别网络连接组成GAN网络;其中生成网络通过生成图像尽可能去欺骗判别网络,让判别网络出现错误的判断为目的,让网络不断优化;判别网络则通过正确判别生成网络生成的图像,促使生成网络生成更逼真的图像为目的,让网络不断优化;本发明通过这种博弈思想,让网络结构都能得到了优化,从而达到所需的网络结构。
实施例3
基于判别特征学习无监督网络的多光谱云检测方法同实施例1-2,步骤2所述的构建预训练网络,具体预训练网络结构为:
编码网络的结构为:输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为10、将隐藏层的节点总数设置为7、将输出层的节点总数设置为3,将节点数的步长设置为30。
解码网络的结构为:输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为3、将隐藏层的节点总数设置为7、将输出层的节点总数设置为10,将节点数的步长设置为30。
本发明的编码网络和解码网络是最简单的基本模型,都是由三层神经网络组成,即输入层,隐藏层,输出层。编码网络的工作原理可以看作一个压缩的过程,它可以将输入的数据集中的数据降维处理,例如将784维压缩到128维,实现数据的降维处理。解码网络的工作原理可以看作一个解压的过程,它将编码网络降维处理的数据又能恢复到原来维度。通过编码网络和解码网络,实现了重构数据的目的。
实施例4
基于判别特征学习无监督网络的多光谱云检测方法同实施例1-3,步骤3所述的特征提取网络,具体特征提取网络结构为:
输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为10、将隐藏层的节点总数设置为7、将输出层的节点总数设置为3,将节点数的步长设置为30。
本发明的特征提取网络中的编码网络由三层神经网络组成,即输入层,隐藏层,输出层。编码网络的工作原理可以看作一个压缩的过程,它可以将输入的数据集中的数据降维处理。
本发明利用特征提取网络通过降维处理提取多光谱图像中光谱向量维特征,既能正确提取出多光谱图像中正确的光谱向量维特征,又降低了我们对多光谱图像数据的处理难度,加速利用光谱向量维特征检测多光谱图像中的云目标的过程。
下面再给出一个更加详细的例子,对本发明进一步说明
实施例5
基于判别特征学习无监督网络的多光谱云检测方法同实施例1,
参照附图1,对本发明的步骤做详细描述。
步骤1.输入要进行检测的多光谱图像:
输入的多光谱图像为带有云干扰的多光谱图像,将输入的单一图像转换为单一数据集,单一数据集为输入数据集。
步骤2.构建预训练网络:
用神经网络分别搭建一个三层的编码网络和一个三层的解码网络,将GAN网络置于编码网络和解码网络之间后,编码网、GAN网络和解码网络依次连接组成预训练网络组成预训练网络。
编码网络的结构为:输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为10、将隐藏层的节点总数设置为7、将输出层的节点总数设置为3,将节点数的步长设置为30。
解码网络的结构为:输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为3、将隐藏层的节点总数设置为7、将输出层的节点总数设置为10,将节点数的步长设置为30。
编码网络和解码网络是最简单的基本模型,都是由三层神经网络组成,即输入层,隐藏层,输出层。编码网络的工作原理可以看作一个压缩的过程,它可以将输入的数据进行数据降维处理。解码网络的工作原理可以看作一个解压的过程,它将编码网络降维处理的数据又能恢复到原来维度。通过编码网络和解码网络,实现重构数据的目的。
步骤3.训练预训练网络:
将多光谱图像输入到预训练网络中,迭代训练50次,得到训练好的预训练网络。
步骤4.构建特征提取网络:
搭建一个三层的编码网络,将GAN网络和该三层编码网络直接连接组成特征提取网络。
编码网络的结构为:输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为10、将隐藏层的节点总数设置为7、将输出层的节点总数设置为3,将节点数的步长设置为30。
特征提取网络中的编码网络将输入的数据进行数据降维处理,降低了图像数据特征提取的处理难度。
步骤5.训练特征提取网络
将多光谱图像输入到训练好的预训练网络,将预训练网络的输出再输入到特征提取网络中,迭代训练50次,得到训练好的特征提取网络。
步骤6.提取光谱向量维特征
提取训练好的预训练网络中编码网络的输出,此输出称为背景图像的第一光谱向量维特征Z1。提取训练好的特征提取网络中编码网络的输出,此输出称为背景图像的第二光谱向量维特征Z2
步骤7.按照下式计算多光谱图像光谱向量维特征
Z=|Z1-Z2|
其中,Z表示单一多光谱图像的光谱向量维特征,|g|表示取绝对值操作,Z1表示背景图像的第一光谱向量维特征,Z2表示背景图像的第二光谱向量维特征。
步骤8.得到多光谱的云检测结果:
将输入所有多光谱图像后得到的光谱向量维特征相加融合成一个波段图像,得到融合后的空间特征图像。
将多光谱空间特征图像输入到引导滤波器中,引导滤波器输出多光谱云检测结果。
本发明通过判别特征学习无监督网络,学习判别输入的多光谱图像中光谱向量维特征,利用图像判别器和多元高斯分布,将云标记为异常值,实现原始输入和背景之间的判别残差映射。训练完成后,该网络能够正确区分不同多光谱图像中的地面信息和云信息,完成对云的检测,检测精度高于现有的技术对多光谱图像的云检测精度。实现了对多种多光谱图像的云检测,且检测精度较高的目的。
下面结合仿真实验对本发明的效果做进一步的说明。
实施例6
基于判别特征学习无监督网络的多光谱云检测方法同实施例1-5,
仿真条件:
本发明的仿真实验是在主频2.50GHz的Intel(R)Core(TM)i5-7200U CPU、内存为8GB、8个NVIDA Tesla k80显卡的硬件环境和Python 3.6.0、TensorFlow1.10.0、MATLABR2017a的软件环境下进行的。
仿真内容与结果分析:
本发明的仿真实验是采用本发明方法和Kmeans方法,PRS方法,SVM方法在上述仿真条件下,分别进行了四个仿真实验。图2和图3均是仿真得到的结果图,结果图中的光亮部分,为检测出来的云部分。
参照图2,图2是采用本发明,以及Kmeans方法,PRS方法和SVM方法对带有离散云团的多光谱图像进行多光谱云检测的效果对比图。对采用本发明,Kmeans方法,PRS方法,SVM方法对离散的云进行检测的仿真实验进行详细说明。图2(a)为Landsat 8遥感卫星采集的真实带有云干扰的多光谱图像,图2(b)为检测结果的理想参考图,图2(c)为采用本发明进行仿真实验的结果图,图2(d)为采用Kmeans方法进行仿真实验的结果图,图2(e)为采用PRS方法进行仿真实验的结果图,图2(f)为采用SVM方法进行仿真实验的结果图。
图2(b)为检测结果的理想参考图,将图2(d)采用Kmeans方法进行仿真实验的结果图与图2(b)进行比较,可见图2(d)左上角光亮部分密集,将不属于云的部分检测为云。将图2(e)采用PRS方法进行仿真实验的结果图与图2(b)进行比较,可见图2(e)图像较为稀疏,将部分云漏检了。将图2(f)采用SVM方法进行仿真实验的结果图与图2(b)进行比较,可见图2(f)的图像也较为稀疏,也将部分云漏检了。将图2(c)采用本方法进行仿真实验的结果图与图2(b)进行比较,两图基本一致。由上可知,在对带有离散云的多光谱图像进行检测时,本发明优于Kmeans方法,PRS方法,SVM方法。
实施例7
基于判别特征学习无监督网络的多光谱云检测方法同实施例1-5,仿真条件同实施例6。
本例是针对聚集云团进行的检测。
参照图3,对采用本发明,Kmeans方法,PRS方法,SVM方法对云团进行检测的仿真实验进行详细说明。图3(a)为Landsat 8遥感卫星采集的真实带有云干扰的多光谱图像,图3(b)为检测结果的理想参考图,图3(c)为采用本发明进行仿真实验的结果图,图3(d)为采用Kmeans方法进行仿真实验的结果图,图3(e)为采用PRS方法进行仿真实验的结果图,图3(f)为采用SVM方法进行仿真实验的结果图。结果图中的光亮部分,为检测出来的云部分。
图3(b)为检测结果的理想参考图。将图3(d)采用Kmeans方法进行仿真实验的结果图与图3(b)进行比较,可见图3(d)左上角光亮部分较多,将不属于云的部分检测为云。将图3(e)采用PRS方法进行仿真实验的结果图与图3(b)进行比较,可见图3(e)图像光亮部分较少,将图像中间的云团漏检了。将图3(f)采用SVM方法进行仿真实验的结果图与图3(b)进行比较,可见图3(f)的图像中间光亮部分较多,将中间不属于云的部分检测为云。将图3(c)采用本方法进行仿真实验的结果图与图3(b)进行比较,两图基本一致。由上可知,在对带有聚集云团的多光谱图像进行检测时,本发明优于Kmeans方法,PRS方法,SVM方法。
比较图2和图3中采用本发明,Kmeans方法,PRS方法,SVM方法对带有云干扰的多光谱图像进行检测后的结果图和参考图之间的差异,可以看出在检测分散的云团时,本发明检测效果最好,在检测聚集的云团时,本发明的检测效果也是最好的。因此本发明比现有的技术Kmeans方法,PRS方法,SVM方法,对离散的云和聚集的云团检测效果都较好。说明本发明能用于多种多光谱图像的云检测,并且检测精度较高。
综上所述,本发明主要解决现有技术中只能提取某一种卫星采集的多光谱图像,且检测精度不高的问题。本发明的具体步骤(1)输入要进行检测的多光谱图像;(2)构建预训练网络;(3)训练能够自动调整的预训练网络;(4)构建特征提取网络;(5)训练能根据特征提取效果自动调整的特征提取网络;(6)提取光谱向量维特征;(7)得到单一多光谱图像中光谱向量维特征;(8)得到多光谱的云检测结果。本发明利用图像判别器和多元高斯分布,将云标记为异常值,实现原始输入和背景之间的判别残差映射。网络更容易优化,缓解了学习过程中,参数停止改变,导致学习效果不佳的问题。本发明能够通过训练网络学习分辨云或云阴影的特征,训练完成后,网络能识别大多数多光谱图像中的云,且检测精度较高。具有适用范围广,检测精度高的优点。

Claims (4)

1.一种基于判别特征学习无监督网络的多光谱云检测方法,其特征在于,包括有如下步骤:
(1)输入要进行检测的多光谱图像:输入的多光谱图像为带有云干扰的多光谱图像,将输入的单一图像转换为单一数据集,单一数据集为输入数据集;
(2)构建预训练网络:
分别用人工神经网络组合搭建一个三层编码网络和一个三层解码网络,将GAN网络置于编码网络和解码网络之间后,编码网、GAN网络和解码网络依次连接组成预训练网络;GAN网络由生成网络和判别网络连接组成;
(3)训练能够自动调整的预训练网络:
将单一数据集输入到预训练网络中,迭代训练50次,得到训练好的预训练网络;利用GAN网络中生成网络和判别网络之间的竞争,自动调整整个预训练网络中所有神经网络内部中节点之间相互连接的关系,优化网络结构,优化后的网络输出为自动调整后的预训练网络输出结果,即输出为与输入图像高度相似的光谱维特征信息;
(4)构建特征提取网络:
用神经网络另外搭建一个三层编码网络,将GAN网络和该三层编码网络直接连接组成特征提取网络;
(5)训练能根据特征提取效果自动调整的特征提取网络:
将单一数据集输入到训练好的预训练网络后,将预训练网络的输出再输入到特征提取网络中,迭代训练50次,得到训练好的特征提取网络;利用GAN网络中生成网络和判别网络之间的竞争,自动调整整个特征提取网络所有神经网络内部中节点之间相互连接的关系,优化网络结构,特征提取网络的输出为特征提取网络输出结果,该结果也为与输入图像高度相似的光谱维特征信息;
(6)提取光谱向量维特征
提取训练好的预训练网络中编码网络的输出,此输出称为背景图像的第一光谱向量维特征Z1;提取训练好的特征提取网络中编码网络的输出,此输出称为背景图像的第二光谱向量维特征Z2
(7)得到单一多光谱图像中光谱向量维特征,通过背景图像的第一光谱向量维特征Z1;和背景图像的第二光谱向量维特征Z2,计算得到单一多光谱图像的光谱向量维特征Z,公式如下,
Z=|Z1-Z2|
其中,Z表示单一多光谱图像中光谱向量维特征,|g|表示取绝对值操作,Z1表示背景图像的第一光谱向量维特征,Z2表示背景图像的第二光谱向量维特征;
(8)得到多光谱的云检测结果:
(8a)将输入所有多光谱图像后得到的光谱向量维特征相加融合成一个波段图像,得到融合后的空间特征图像;
(8b)将多光谱空间特征图像输入到引导滤波器中,然后引导滤波器输出多光谱云检测结果。
2.根据权利要求1所述的基于判别特征学习无监督网络的多光谱云检测方法,其特征在于,步骤2所述的GAN网络由生成网络和判别网络连接组成,具体是
生成网络和判别网络连接组成GAN网络;其中生成网络通过生成图像尽可能去欺骗判别网络,让判别网络出现错误的判断为目的,让网络不断优化;
网络则通过正确判别生成网络生成的图像,促使生成网络生成更逼真的图像为目的,让网络不断优化。
3.根据权利要求1所述的基于判别特征学习无监督网络的多光谱云检测方法,其特征在于,步骤2所述的构建预训练网络,具体预训练网络结构为:
编码网络的结构为:输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为10,将隐藏层的节点总数设置为7,将输出层的节点总数设置为3,将节点数的步长设置为30;
解码网络的结构为:输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为3、将隐藏层的节点总数设置为7、将输出层的节点总数设置为10,将节点数的步长设置为30。
4.根据权利要求1所述的基于判别特征学习无监督网络的多光谱云检测方法,其特征在于,步骤3所述的特征提取网络,具体特征提取网络结构为:
输入层→隐藏层→输出层;其参数设置如下:将输入层节点总数设置为10、将隐藏层的节点总数设置为7、将输出层的节点总数设置为3,将节点数的步长设置为30。
CN201910852788.1A 2019-09-10 2019-09-10 基于判别特征学习无监督网络的多光谱云检测方法 Active CN110610152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910852788.1A CN110610152B (zh) 2019-09-10 2019-09-10 基于判别特征学习无监督网络的多光谱云检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910852788.1A CN110610152B (zh) 2019-09-10 2019-09-10 基于判别特征学习无监督网络的多光谱云检测方法

Publications (2)

Publication Number Publication Date
CN110610152A CN110610152A (zh) 2019-12-24
CN110610152B true CN110610152B (zh) 2022-03-22

Family

ID=68892591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910852788.1A Active CN110610152B (zh) 2019-09-10 2019-09-10 基于判别特征学习无监督网络的多光谱云检测方法

Country Status (1)

Country Link
CN (1) CN110610152B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298206B (zh) * 2021-12-24 2024-05-24 北京理工大学 一种眼底图像域转换方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1287382A2 (en) * 2000-06-09 2003-03-05 Council for the Central Laboratory of the Research Councils Identifying radiation using a proportional gas counter
CN107909548A (zh) * 2017-05-09 2018-04-13 西安交通大学 一种基于噪声建模的视频去雨方法
CN109191432A (zh) * 2018-07-27 2019-01-11 西安电子科技大学 基于域变换滤波多尺度分解的遥感图像云检测方法
CN109493338A (zh) * 2018-11-16 2019-03-19 西安电子科技大学 基于联合提取空谱特征的高光谱图像异常检测方法
CN109670411A (zh) * 2018-11-30 2019-04-23 武汉理工大学 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839211B2 (en) * 2017-08-08 2020-11-17 Spaceknow Inc. Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1287382A2 (en) * 2000-06-09 2003-03-05 Council for the Central Laboratory of the Research Councils Identifying radiation using a proportional gas counter
CN107909548A (zh) * 2017-05-09 2018-04-13 西安交通大学 一种基于噪声建模的视频去雨方法
CN109191432A (zh) * 2018-07-27 2019-01-11 西安电子科技大学 基于域变换滤波多尺度分解的遥感图像云检测方法
CN109493338A (zh) * 2018-11-16 2019-03-19 西安电子科技大学 基于联合提取空谱特征的高光谱图像异常检测方法
CN109670411A (zh) * 2018-11-30 2019-04-23 武汉理工大学 基于生成对抗网络的内河船舶点云数据深度图像处理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Structure Tensor and Guided Filtering-Based Algorithm for Hyperspectral Anomaly Detection;Weiying Xie 等;《 IEEE Transactions on Geoscience and Remote Sensing》;IEEE;20190124;第57卷(第7期);4218 - 4230 *

Also Published As

Publication number Publication date
CN110610152A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108182456B (zh) 一种基于深度学习的目标检测模型及其训练方法
CN111222434A (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN111080678B (zh) 一种基于深度学习的多时相sar图像变化检测方法
CN105528595A (zh) 在无人机航拍图像中对输电线路绝缘子的识别定位方法
CN114564982B (zh) 雷达信号调制类型的自动识别方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN112215085A (zh) 一种基于孪生网络的输电走廊异物检测方法及系统
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN109784205B (zh) 一种基于多光谱巡检图像的杂草智能识别方法
CN111126240A (zh) 一种三通道特征融合人脸识别方法
CN111353487A (zh) 用于变电站的设备信息提取方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN110516525A (zh) 基于gan和svm的sar图像目标识别方法
CN110880010A (zh) 基于卷积神经网络的视觉slam闭环检测算法
CN112749633B (zh) 分离与重构的个体辐射源识别方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN112115795B (zh) 一种基于Triple GAN的高光谱图像分类方法
CN105893941B (zh) 一种基于区域图像的人脸表情识别方法
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN110610152B (zh) 基于判别特征学习无监督网络的多光谱云检测方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant