CN107392130A - 基于阈值自适应和卷积神经网络的多光谱图像分类方法 - Google Patents

基于阈值自适应和卷积神经网络的多光谱图像分类方法 Download PDF

Info

Publication number
CN107392130A
CN107392130A CN201710572115.1A CN201710572115A CN107392130A CN 107392130 A CN107392130 A CN 107392130A CN 201710572115 A CN201710572115 A CN 201710572115A CN 107392130 A CN107392130 A CN 107392130A
Authority
CN
China
Prior art keywords
classification
image
neural networks
convolutional neural
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710572115.1A
Other languages
English (en)
Other versions
CN107392130B (zh
Inventor
焦李成
屈嵘
孙莹莹
唐旭
杨淑媛
侯彪
马文萍
刘芳
尚荣华
张向荣
张丹
马晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710572115.1A priority Critical patent/CN107392130B/zh
Publication of CN107392130A publication Critical patent/CN107392130A/zh
Application granted granted Critical
Publication of CN107392130B publication Critical patent/CN107392130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Abstract

本发明公开了一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,输入待分类卫星的多光谱不同时相、不同波段的图像,将所有城市的同一波段图像有标记的部分的所有像元归一化;挑选出的9个波段堆叠成一幅图像作为训练数据集;构造基于卷积神经网络的分类模型,使用训练数据集对分类模型训练,得到一个基于OSM的概率模型,使用该模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型,最后将测试结果上传至IEEE网站得到分类准确率。本发明提供的多光谱图像分类方法,充分利用了多光谱图像波段多、数据量大、信息冗余多的特性,解决了难以对复杂类型的地物进行分类的问题,不仅能够提高分类准确率、减少错分率,还可以提高分类速度。

Description

基于阈值自适应和卷积神经网络的多光谱图像分类方法
技术领域
本发明属于图像处理技术领域,具体涉及一种多源、多时相、多模式的基于阈值自适应和卷积神经网络的多光谱图像分类方法。
背景技术
多光谱图像指物体对任一波段电磁波的反射和透射所成的图像,包括可见光、红外线、紫外线、毫米波、X射线、γ射线反射或透射像。多光谱图像融合是指将从多光谱探测器获得的同一场景的多光谱图像信息特征组合到一起,利用它们在时空上的相关性以及信息上的互补性,得到对景物更全面、清晰的描述。比如,红外图像和可见光图像之间具有互补性:对人眼来说,可见光具有丰富的细节和敏锐的色感,但它在恶劣的气候下对大气的穿透能力较差,夜间成像能力差;而红外光正好相反,它在云雾等气象条件下穿透能力相当强,在夜间由于不同景物之间存在着温度差,因此所造成的的图像仍能显示景物的轮廓,但其成像的分辨率较低。
利用多光谱摄影系统或多光谱扫描系统对电磁波谱不同谱段做同步摄影遥感,分别获得植被及其他地物在不同谱段上的影像的遥感技术。多光谱遥感不仅可以根据影像的形态和结构的差异判别地物,还可以根据光谱特性的差异判别地物,扩大了遥感的信息量。航空摄影用的多光谱摄影与陆地卫星所用的多光谱扫描均能得到不同谱段的遥感资料,分谱段的图像或数据可以通过摄影彩色合成或计算机图像处理,获得比常规方法更为丰富的图像,也为地物影像计算机识别与分类提供了可能。
多光谱图像分类作为多光谱图像的基础研究,一直是多光谱图像重要的信息获取手段,它的主要目标是根据待测地物的空间几何信息与光谱信息将图像中的每个像素划分为不同的类别。在遥感图像自动分类中,传统的基于数理统计的分类方法,主要包括最小距离分类、最大似然分类、波谱角分类、混合距离法分类等,主要依赖地物的光谱属性,基于单个像元进行分类。但是,统计模式识别方法本身存在不足,譬如最小距离法没有考虑各类别的协方差矩阵,对训练样本数目要求低;最大似然法计算强度大,且要求数据服从正态分布。
近年来对于神经网络分类方法的研究相当活跃。它区别于传统的分类方法:在处理模式分类问题时,并不基于某个假定的概率分布,在无监督分类中,从特征空间到模式空间的映射是通过网络自组织完成的。在监督分类中,网络通过对训练样本的学习,获得权值,形成分类器,且具备容错性。人工神经网络(ANN)分类方法一般可以获得更高精度的分类结果,卷积神经网络(CNN)是人工神经网络的一种,该网络使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。
但是上述分类方法均没有考虑到多光谱数据波段较少且光谱分辨率低,不仅数据量大,而且难以对复杂类型的地物进行分类,所以对于背景信息量大的多光谱图像难以得到较高的分类精度。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供基于阈值自适应和卷积神经网络的多光谱图像分类方法,合了OSM(Open Street Map)数据,充分利用多光谱图像波段多、数据量大、信息冗余多的特性,以提高分类的性能。
本发明采用以下技术方案:
基于阈值自适应和卷积神经网络的多光谱图像分类方法,输入待分类的landsat_8卫星的多光谱不同时相、不同波段的图像,将所有城市的同一波段图像有标记的部分的所有像元归一化;分析归一化后的图像,将每个城市挑选出的9个波段堆叠成一幅图像,作为训练数据集;构造基于卷积神经网络的分类模型,使用训练数据集对分类模型训练,得到训练好的模型;分析OSM数据中的Raster和Vector地图数据得到一个基于OSM的概率模型,使用该模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型,最后将测试结果上传至IEEE网站得到分类准确率。
进一步的,包括以下步骤:
S1、输入待分类城市的不同时相、不同波段的多光谱图像,并进行预处理,确定训练城市和测试城市;
S2、对训练城市和测试城市的所有波段,所有时相的图像进行归一化处理,将图像中的像元归一化到[0,255]之间;
S3、对于训练城市,分析归一化后的图像,从多个时相中挑选出一幅干扰少、清晰度高的时相图,将每个城市挑选出的9个波段堆叠成一幅图像,作为训练数据集;
S4、辅助多光谱数据,将每个城市的9个波段中的每3个波段的图像进行组合,生成用于校正分类结果的伪彩图;
S5、分析OSM数据中的Raster和Vector地图数据;
S6、构造基于卷积神经网络的分类模型,提取高维特征并实现分类;
S7、使用训练数据集对分类模型训练,得到训练好的模型;
S8、使用OSM概率模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型;
S9、将测试集数据结果上传至IEEE网站得到整体分类准确率和混淆矩阵,从而对整个分类模型参数进行人工的调整。
进一步的,步骤S1中,所述多光谱图像分辨率为100m。
进一步的,步骤S2中,采用设定阈值的方式选取图像像素值的上下界,设选取全图x的像素点,将像元从小到大排列后的序列为A,由于大气和云层的影响,则需在两端各去除300个像素点缓解噪声,则上界和下界分别为处理后序列的两端值Min和Max,归一化公式如下:
其中,为归一化后某像素点的值,Max为两端各去除300个像素点的最大值,Min为两端各去除300个像素点的最小值,x0为归一化前某像素点的像素值。
进一步的,步骤S4中,每个城市的9个波段中,第6、5、2波段的组合用于植被分类和水体的识别,第6、4、3波段的组合用于区分农田和城区,第10、7、3波段的组合用于区分出不同种类的植被。
进一步的,步骤S5具体为:
S51、根据OSM数据性质,统计训练城市Raster数据中code与17类之间的对应关系,得到code与17类对应概率的表格;
S52、对于landuse数据,首先对groundtruth进行上采样,得到一个原图400倍大小的GT,然后将landuse.GIF逐像素点按照先前统计的概率模型进行一一对应生成17类中的类标,得到了一个伪造的GT1';
S53、对于water、natural类数据,采用向下采样50%或选取400个像素点中最多的那个类标作为该点的类标对其单独测试,最后将code整体对water和natural类进行合并,得到了一个伪造的GT2';
S54、将GT1'和GT2'合并生成GT'并上传,查看其分类准确率;
S55、分析Vector地图数据集,得到每一种Raster的code对应的实际地物,与上述重构的伪类标结果进行对比,手动调整网络的置信度阈值。
进一步的,步骤S6中,所述基于卷积神经网络的分类模型为8层卷积神经网络,包括输入层→第一卷积层→第二卷积层→第三卷积层→第一全连接层→第二全连接层→第三全连接层→Softmax分类器。
进一步的,所述输入层的特征映射图数目为3;所述第一卷积层的特征映射图数目为32,卷积核大小3×3;所述第二卷积层的特征映射图数目为64,卷积核大小3×3;所述第三卷积层的特征映射图数目为128,卷积核大小2×2;所述第一全连接层的特征映射图数目为1024;所述第二全连接层的特征映射图数目为60;所述第三全连接层的特征映射图数目为17。
进一步的,步骤S8具体为:
S81、将softmax分类器的结果与从OSM-Raster概率模型生成的伪GT数据进行比较,选择两者中概率最大的那个类标作为预选类标值;
S82、通过多次将测试结果与多波段合成的伪彩图进行比较,最终自适应的设定阈值K=0.9作为置信度指标,当预选类标值的概率大于或等于K时,设定该样本分类结果是该预选类标值,否则,将该样本类标置为0,即未知类标。
进一步的,步骤S9具体为:
S91、将测试集经过归一化→卷积神经网络→OSM-Raster概率模型→置信度阈值策略最终的输出结果上传到IEEE网站,得到分类准确率与混淆矩阵;
S92、通过结合多波段伪彩图与混淆矩阵,对分类器中的参数进行调整,同时修改置信度阈值策略中对于不同类别的侧重比例,提高模型整体的分类准确率。
与现有技术相比,本发明至少具有以下有益效果:
本发明基于阈值自适应和卷积神经网络的多光谱图像分类方法通过对所有训练集卫星图像的每个波段进行单独归一化,使得归一化后的图像更符合该图像传感器的平均特性,再叠加为9通道数据更适合网络训练,充分使用了OSM地图的raster数据,用来和网络分类出的结果行综合判断,从而同时利用了OSM地图数据和landsat_8地图数据的信息,采用对landsat_8的多个时相数据进行筛选,减少了云雾以及大气层对图像清晰度的干扰,即采用质量较好的图像对网络进行训练和测试,分析OSM数据中的Raster和Vector地图数据得到一个基于OSM的概率模型,使用该模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型,最后将测试结果上传至IEEE网站得到分类准确率,本发明充分利用多光谱图像波段多、数据量大、信息冗余多的特性,从而提高了分类准确率。
进一步的,本发明将卷积神经网络与OSM概率模型相结合,加入一个自适应的置信度指标,将综合结果概率较低的点置零,从而减少了网络的错分率;
进一步的,为了更好地使用多光谱的多个谱段信息,本发明采用一种适合于多光谱合成伪彩图的3波段合成方案,通过尝试不同的波段组合,将较为明显的水域、森林、农田等大范围区域进行了划分,为网络参数的人工调整提供了可靠依据。
综上所述,本发明提供的多光谱图像分类方法,充分利用了多光谱图像波段多、数据量大、信息冗余多的特性,解决了难以对复杂类型的地物进行分类的问题,不仅能够提高分类准确率、减少错分率,还可以提高分类速度。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图;
图2为本发明的置信度分类和网络直接分类对Amsterdam的结果比较图,其中(a)为原始网络直接分类结果,(b)为OSM+置信度网络分类结果;
图3为本发明的置信度分类和网络直接分类对Madrid的结果比较图,其中(a)为原始网络直接分类结果,(b)为OSM+置信度网络分类结果。
具体实施方式
本发明提供了一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,在卷积神经网络中引入一个联合OSM地图数据的阈值自适应选择——通过不断调整参数得到。首先输入待分类的landsat_8卫星的多光谱不同时相、不同波段的图像,将所有城市的同一波段图像有标记的部分的所有像元归一化到[0,255]之间;分析归一化后的图像,将每个城市挑选出的9个波段堆叠成一幅图像,作为训练数据集;构造基于卷积神经网络的分类模型,使用训练数据集对分类模型训练,得到训练好的模型;分析OSM数据中的Raster和Vector地图数据得到一个基于OSM的概率模型,使用该模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型,最后将测试结果上传至IEEE网站得到分类准确率。
请参阅图1,本发明的具体步骤如下:
S1、输入待分类的landsat_8卫星所拍摄的多光谱图像,分别为九个城市的不同时相、不同波段的图像,并进行预处理。
本实例待分类的多光谱图像为2017IEEE GRSS数据融合大赛提供的landsat_8卫星的多光谱图像,5个训练城市为:柏林(berlin),香港(hong_kong),巴黎(paris),罗马(rome),圣保罗(sao_paulo),2个测试城市为:阿姆斯特丹(amsterdam),马德里(madrid)。
输入的图像是多时相、多源、多模式的,分辨率为100m,图像尺寸不一。
S2、对训练城市和测试城市的所有波段,所有时相的图像进行归一化处理,将图像中的像元归一化到[0,255]之间。
本实例采用标准归一化法对同一波段图像有标记的部分的所有像元进行归一化;
该方法采用设定阈值的方式选取图像像素值的上下界:设选取全图x的像素点,将像元从小到大排列后的序列为A,由于大气和云层的影响,则需在两端各去除300个像素点来缓解噪声,则上界和下界分别为处理后序列的两端值Min和Max;
归一化公式为:
其中,为归一化后某像素点的值,Max为两端各去除300个像素点的最大值,Min为两端各去除300个像素点的最小值,x0为归一化前某像素点的像素值。
S3、对于先发布的五个训练城市,分析归一化后的图像,从landsat_8卫星所提供的多个时相中挑选出一幅干扰较少、清晰度较好的时相图,将每个城市挑选出的9个波段堆叠成一幅图像,作为训练数据集。
S4、进一步分析多光谱数据,将每个城市的9个波段中的每3个波段的图像进行组合,生成的伪彩图用于最后校正分类结果。
Landsat_8的OLI陆地成像仪包括9个波段,可以组合更多的RGB方案用于不同地物的解译。经分析,6、5、2波段的组合地物色彩鲜明,有利于植被(森林)分类,水体的识别;6、4、3波段的组合农田边界清晰,能较好的区分农田和城区;10、7、3波段显示的植被类型丰富,有利于区分出不同种类的植被。
S5、分析OSM数据中的Raster和Vector地图数据,并综合使用该结果。
OSM数据是指开放街道地图(Open Street Map)目标是创造一个内容自由且能让所有人编辑的世界地图。
地图特征以三种形式呈现,分别是点、线和区域。点可以代表商店、餐馆、纪念碑等特征,线则代表道路、铁路轨道或河流,区域则代表特征较为具体的边界,如森林或者农田。所以,OSM的研究对于高光谱图像的分类有很大的参考意义;
S51、根据上述OSM数据的性质,统计五个训练城市的Raster数据(分别有landuse类,water类,building类,natural类)中code与17类之间的对应关系,得到一张code与17类对应概率的表格;
S52、对于landuse数据,首先对groundtruth进行了上采样,得到一个原图400倍大小的GT,然后将landuse.GIF逐像素点按照先前统计的概率模型进行一一对应生成17类中的类标,得到了一个伪造的GT1';
S53、对于water、natural类数据,对其单独测试时采用向下采样50%或选取400个像素点中最多的那个类标作为该点的类标,最后将code整体对water和natural类进行合并,同样得到了一个伪造的GT2';
S54、将GT1'和GT2'进行合并生成GT'并上传,查看其分类准确率;
准确率=GT中有标记的像素点正确的个数/待标记的像素总个数。
S55、分析Vector地图数据集,得到每一种Raster的code对应的实际地物,与上述重构的伪类标结果进行对比,基于此手动调整网络的置信度阈值。
S6、构造基于卷积神经网络的分类模型,提取高维特征并实现分类。
构造由输入层→第一卷积层→第二卷积层→第三卷积层→第一全连接层→第二全连接层→第三全连接层→Softmax分类器组成的8层卷积神经网络,每层的参数如下:
对于输入层,设置特征映射图数目为3;
对于第一卷积层,设置特征映射图数目为32,卷积核大小3×3;
对于第二卷积层,设置特征映射图数目为64,卷积核大小3×3;
对于第三卷积层,设置特征映射图数目为128,卷积核大小2×2;
对于第一全连接层,设置特征映射图数目为1024;
对于第二全连接层,设置特征映射图数目为60;
对于第三全连接层,设置特征映射图数目为17;
对于softmax分类器层,输出由网络产生的分类结果。
每层的特征映射图数目都是根据输入图像的尺寸设置的,卷积核大小都是通过不断调整和优化得到的,这样一方面防止了训练网络模型时过拟合,另一方面保证了较高的分类准确率。
S7、使用训练数据集对分类模型训练,得到训练好的模型。
S8、使用OSM概率模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型。
S81、将softmax分类器的结果与从OSM-Raster概率模型生成的伪GT数据进行比较,选择两者中概率最大的那个类标作为预选类标值;
S82、通过多次将测试结果与多波段合成的伪彩图进行比较,最终自适应的设定一个阈值K=0.9作为置信度指标,当预选类标值的概率大于或等于K时,设定该样本分类结果是该预选类标值,否则,将该样本类标置为0,即未知类标。
实验表明,通过这样的方式可以有效的减少由卷积神经网络导致的错分率。
S9、将测试集数据结果上传至IEEE网站得到整体分类准确率和混淆矩阵,从而对整个分类模型参数进行人工的调整。
S91、对测试集经过归一化→卷积神经网络→OSM-Raster概率模型→置信度阈值策略最终的输出结果上传到IEEE网站,得到分类准确率与混淆矩阵;
S92、通过结合多波段伪彩图与混淆矩阵,对分类器中的参数进行调整;同时修改置信度阈值策略中对于不同类别的侧重比例,(如:通过多波段产生的伪彩图可以直接将水以接近1的准确率分类出来)提高模型整体的分类准确率。
实施例:
仿真条件:
硬件平台为:HPZ840。
软件平台为:MX-Net。
仿真内容与结果:
用本发明的方法在上述仿真条件下进行实验:
训练阶段:5个城市,对每种类别随机选取40%的样本送入网络进行训练,如果所选取样本个数少于50,则选择50个样本。
设定相关参数为:batch_size=128,学习率0.0005,momentum=0.95,block_size=17,num_epoch=50
测试阶段:2个城市。
设定相关参数为:batch_size=图片宽度,block_size=17,num_epoch=21。
图2为本发明和对比方法对Amsterdam处理后的结果比较图,图像大小为515×374,其中(a)为原始网络直接分类结果,(b)为OSM+置信度网络分类结果;图3为本发明和对比方法对Madrid处理后的结果比较图,图像大小为999×867,其中(a)为原始网络直接分类结果,(b)为OSM+置信度网络分类结果。
采用本发明方法与直接采用卷积神经网络分类产生的分类精度进行对比,结果如表1所示:
表1
通过上表可以看到,采用了OSM+置信度的后处理方式对于每种类别的分类准确率相比使用单纯卷积神经网络有明显的提高。
同样,通过对比分类后类标图发现:经过OSM+自适应置信度方式调整过的图片,相比原始网络的分类结果边界更加清晰和平滑。对于开放式低层建筑、大型低层建筑、森林、低矮植物以及水资源的分类,边界清晰,细节信息也较为完整。
本发明一方面引入一个自适应选择的阈值K=0.9作为置信度指标,降低了多光谱图像的错分率,另一方面研究并利用了辅助数据OSM并将其与网络分类结果相结合,提高了对复杂背景的分类能力,也可用于目标识别。
综上,本发明通过对多光谱图像的每个波段分别进行归一化,利用了每个波段自身的特性信息,从而提高了输入卷积神经网络图像的质量;在网络分类的softmax层引入了OSM-Raster信息与阈值自适应选择的策略,通过raster地图丰富了细节化信息,较好地调整了网络分类结果,使得在多光谱图像分辨率较低的情况下,仍可以达到比较理想的分类精度。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,输入待分类的landsat_8卫星的多光谱不同时相、不同波段的图像,将所有城市的同一波段图像有标记的部分的所有像元归一化;分析归一化后的图像,将每个城市挑选出的9个波段堆叠成一幅图像,作为训练数据集;构造基于卷积神经网络的分类模型,使用训练数据集对分类模型训练,得到训练好的模型;分析OSM数据中的Raster和Vector地图数据得到一个基于OSM的概率模型,使用该模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型,最后将测试结果上传至IEEE网站得到分类准确率。
2.根据权利要求1所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,包括以下步骤:
S1、输入待分类城市的不同时相、不同波段的多光谱图像,并进行预处理,确定训练城市和测试城市;
S2、对训练城市和测试城市的所有波段,所有时相的图像进行归一化处理,将图像中的像元归一化到[0,255]之间;
S3、对于训练城市,分析归一化后的图像,从多个时相中挑选出一幅干扰少、清晰度高的时相图,将每个城市挑选出的9个波段堆叠成一幅图像,作为训练数据集;
S4、辅助多光谱数据,将每个城市的9个波段中的每3个波段的图像进行组合,生成用于校正分类结果的伪彩图;
S5、分析OSM数据中的Raster和Vector地图数据;
S6、构造基于卷积神经网络的分类模型,提取高维特征并实现分类;
S7、使用训练数据集对分类模型训练,得到训练好的模型;
S8、使用OSM概率模型与置信度策略对softmax输出结果进行调整,得到最终的分类模型;
S9、将测试集数据结果上传至IEEE网站得到整体分类准确率和混淆矩阵,从而对整个分类模型参数进行人工的调整。
3.根据权利要求2所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,步骤S1中,所述多光谱图像分辨率为100m。
4.根据权利要求2所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,步骤S2中,采用设定阈值的方式选取图像像素值的上下界,设选取全图x的像素点,将像元从小到大排列后的序列为A,由于大气和云层的影响,则需在两端各去除300个像素点缓解噪声,则上界和下界分别为处理后序列的两端值Min和Max,归一化公式如下:
<mrow> <msub> <mi>r</mi> <msub> <mi>x</mi> <mn>0</mn> </msub> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mfrac> <mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>-</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mo>-</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> </mrow> </mfrac> <mo>&amp;times;</mo> <mn>255</mn> </mrow> </mtd> <mtd> <mrow> <mi>M</mi> <mi>i</mi> <mi>n</mi> <mo>&amp;le;</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>&amp;le;</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>&lt;</mo> <mi>M</mi> <mi>i</mi> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>255</mn> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>&gt;</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中,为归一化后某像素点的值,Max为两端各去除300个像素点的最大值,Min为两端各去除300个像素点的最小值,x0为归一化前某像素点的像素值。
5.根据权利要求2所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,步骤S4中,每个城市的9个波段中,第6、5、2波段的组合用于植被分类和水体的识别,第6、4、3波段的组合用于区分农田和城区,第10、7、3波段的组合用于区分出不同种类的植被。
6.根据权利要求2所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,步骤S5具体为:
S51、根据OSM数据性质,统计训练城市Raster数据中code与17类之间的对应关系,得到code与17类对应概率的表格;
S52、对于landuse数据,首先对groundtruth进行上采样,得到一个原图400倍大小的GT,然后将landuse.GIF逐像素点按照先前统计的概率模型进行一一对应生成17类中的类标,得到了一个伪造的GT1';
S53、对于water、natural类数据,采用向下采样50%或选取400个像素点中最多的那个类标作为该点的类标对其单独测试,最后将code整体对water和natural类进行合并,得到了一个伪造的GT2';
S54、将GT1'和GT2'合并生成GT'并上传,查看其分类准确率;
S55、分析Vector地图数据集,得到每一种Raster的code对应的实际地物,与上述重构的伪类标结果进行对比,手动调整网络的置信度阈值。
7.根据权利要求2所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,步骤S6中,所述基于卷积神经网络的分类模型为8层卷积神经网络,包括输入层→第一卷积层→第二卷积层→第三卷积层→第一全连接层→第二全连接层→第三全连接层→Softmax分类器。
8.根据权利要求7所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,所述输入层的特征映射图数目为3;所述第一卷积层的特征映射图数目为32,卷积核大小3×3;所述第二卷积层的特征映射图数目为64,卷积核大小3×3;所述第三卷积层的特征映射图数目为128,卷积核大小2×2;所述第一全连接层的特征映射图数目为1024;所述第二全连接层的特征映射图数目为60;所述第三全连接层的特征映射图数目为17。
9.根据权利要求2所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,步骤S8具体为:
S81、将softmax分类器的结果与从OSM-Raster概率模型生成的伪GT数据进行比较,选择两者中概率最大的那个类标作为预选类标值;
S82、通过多次将测试结果与多波段合成的伪彩图进行比较,最终自适应的设定阈值K=0.9作为置信度指标,当预选类标值的概率大于或等于K时,设定该样本分类结果是该预选类标值,否则,将该样本类标置为0,即未知类标。
10.根据权利要求2所述的一种基于阈值自适应和卷积神经网络的多光谱图像分类方法,其特征在于,步骤S9具体为:
S91、将测试集经过归一化→卷积神经网络→OSM-Raster概率模型→置信度阈值策略最终的输出结果上传到IEEE网站,得到分类准确率与混淆矩阵;
S92、通过结合多波段伪彩图与混淆矩阵,对分类器中的参数进行调整,同时修改置信度阈值策略中对于不同类别的侧重比例,提高模型整体的分类准确率。
CN201710572115.1A 2017-07-13 2017-07-13 基于阈值自适应和卷积神经网络的多光谱图像分类方法 Active CN107392130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710572115.1A CN107392130B (zh) 2017-07-13 2017-07-13 基于阈值自适应和卷积神经网络的多光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710572115.1A CN107392130B (zh) 2017-07-13 2017-07-13 基于阈值自适应和卷积神经网络的多光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN107392130A true CN107392130A (zh) 2017-11-24
CN107392130B CN107392130B (zh) 2020-12-08

Family

ID=60339564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710572115.1A Active CN107392130B (zh) 2017-07-13 2017-07-13 基于阈值自适应和卷积神经网络的多光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN107392130B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN108460342A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于卷积网和循环神经网络的高光谱图像分类方法
CN108564056A (zh) * 2018-04-25 2018-09-21 中国水利水电科学研究院 一种遥感影像水体识别提取的方法
CN108764199A (zh) * 2018-06-06 2018-11-06 中国农业科学院深圳农业基因组研究所 入侵植物薇甘菊的自动识别方法及系统
CN108921190A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 一种图像分类方法、装置及电子设备
CN109063660A (zh) * 2018-08-09 2018-12-21 成都天地量子科技有限公司 一种基于多光谱卫星影像的作物识别方法
CN110211138A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于置信点的遥感图像分割方法
CN110287869A (zh) * 2019-06-25 2019-09-27 吉林大学 基于深度学习的高分辨率遥感影像农作物分类方法
CN110333076A (zh) * 2019-06-19 2019-10-15 电子科技大学 基于CNN-Stacking的轴承故障诊断方法
CN110879953A (zh) * 2018-09-06 2020-03-13 华南农业大学 植物类别识别方法及系统
CN110910372A (zh) * 2019-11-23 2020-03-24 郑州智利信信息技术有限公司 基于深度卷积神经网络的匀光板缺陷检测方法
CN111275700A (zh) * 2020-02-19 2020-06-12 凌云光技术集团有限责任公司 基于深度学习的端子缺陷检测方法及系统
CN112840348A (zh) * 2019-10-11 2021-05-25 安徽中科智能感知产业技术研究院有限责任公司 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法
CN113554127A (zh) * 2021-09-18 2021-10-26 南京猫头鹰智能科技有限公司 一种基于混合模型的图像识别方法和设备、介质
WO2022160118A1 (zh) * 2021-01-27 2022-08-04 深圳技术大学 基于计算机视觉特征的oct图像分类方法及系统、设备
US11500112B2 (en) * 2018-10-10 2022-11-15 Symetrica Limited Gamma-ray spectrum classification
CN115546544A (zh) * 2022-09-30 2022-12-30 深圳市规划和自然资源数据管理中心 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646200A (zh) * 2012-03-08 2012-08-22 武汉大学 多分类器自适应权值融合的影像分类方法及系统
CN104036294A (zh) * 2014-06-18 2014-09-10 西安电子科技大学 基于光谱标记的多光谱遥感图像自适应分类方法
US20150071528A1 (en) * 2013-09-11 2015-03-12 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
US20160328838A1 (en) * 2015-05-01 2016-11-10 Applied Research LLC. Automatic target recognition system with online machine learning capability
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102646200A (zh) * 2012-03-08 2012-08-22 武汉大学 多分类器自适应权值融合的影像分类方法及系统
US20150071528A1 (en) * 2013-09-11 2015-03-12 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
CN104036294A (zh) * 2014-06-18 2014-09-10 西安电子科技大学 基于光谱标记的多光谱遥感图像自适应分类方法
US20160328838A1 (en) * 2015-05-01 2016-11-10 Applied Research LLC. Automatic target recognition system with online machine learning capability
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI ZHAO等: ""Superpixel-Based Multiple Local CNN for Panchromatic and Multispectral Image Classification"", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
付秀丽等: ""基于卷积神经网络模型的遥感图像分类"", 《高技术通讯》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460342A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于卷积网和循环神经网络的高光谱图像分类方法
CN108334909B (zh) * 2018-03-09 2020-06-16 上海天数智芯半导体有限公司 基于ResNet的宫颈癌TCT数字切片数据分析系统
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN108564056A (zh) * 2018-04-25 2018-09-21 中国水利水电科学研究院 一种遥感影像水体识别提取的方法
CN108921190A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 一种图像分类方法、装置及电子设备
CN108764199A (zh) * 2018-06-06 2018-11-06 中国农业科学院深圳农业基因组研究所 入侵植物薇甘菊的自动识别方法及系统
CN108764199B (zh) * 2018-06-06 2022-03-25 中国农业科学院深圳农业基因组研究所 入侵植物薇甘菊的自动识别方法及系统
CN109063660A (zh) * 2018-08-09 2018-12-21 成都天地量子科技有限公司 一种基于多光谱卫星影像的作物识别方法
CN109063660B (zh) * 2018-08-09 2021-09-21 成都天地量子科技有限公司 一种基于多光谱卫星影像的作物识别方法
CN110879953A (zh) * 2018-09-06 2020-03-13 华南农业大学 植物类别识别方法及系统
US11500112B2 (en) * 2018-10-10 2022-11-15 Symetrica Limited Gamma-ray spectrum classification
CN110211138A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于置信点的遥感图像分割方法
CN110211138B (zh) * 2019-06-08 2022-12-02 西安电子科技大学 基于置信点的遥感图像分割方法
CN110333076A (zh) * 2019-06-19 2019-10-15 电子科技大学 基于CNN-Stacking的轴承故障诊断方法
CN110333076B (zh) * 2019-06-19 2021-01-26 电子科技大学 基于CNN-Stacking的轴承故障诊断方法
CN110287869A (zh) * 2019-06-25 2019-09-27 吉林大学 基于深度学习的高分辨率遥感影像农作物分类方法
CN110287869B (zh) * 2019-06-25 2022-03-18 吉林大学 基于深度学习的高分辨率遥感影像农作物分类方法
CN112840348A (zh) * 2019-10-11 2021-05-25 安徽中科智能感知产业技术研究院有限责任公司 一种基于时序遥感数据和卷积神经网络的作物种植分布预测方法
CN110910372A (zh) * 2019-11-23 2020-03-24 郑州智利信信息技术有限公司 基于深度卷积神经网络的匀光板缺陷检测方法
CN111275700A (zh) * 2020-02-19 2020-06-12 凌云光技术集团有限责任公司 基于深度学习的端子缺陷检测方法及系统
WO2022160118A1 (zh) * 2021-01-27 2022-08-04 深圳技术大学 基于计算机视觉特征的oct图像分类方法及系统、设备
CN113554127A (zh) * 2021-09-18 2021-10-26 南京猫头鹰智能科技有限公司 一种基于混合模型的图像识别方法和设备、介质
CN113554127B (zh) * 2021-09-18 2021-12-28 南京猫头鹰智能科技有限公司 一种基于混合模型的图像识别方法和设备、介质
CN115546544A (zh) * 2022-09-30 2022-12-30 深圳市规划和自然资源数据管理中心 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法
CN115546544B (zh) * 2022-09-30 2023-11-17 深圳市规划和自然资源数据管理中心 基于图神经网络的LiDAR点云与OSM标注信息流耦合分类方法

Also Published As

Publication number Publication date
CN107392130B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN109934153A (zh) 基于门控深度残差优化网络的建筑物提取方法
CN106845418A (zh) 一种基于深度学习的高光谱图像分类方法
CN108416307A (zh) 一种航拍图像路面裂缝检测方法、装置及设备
CN107392925A (zh) 基于超像素编码和卷积神经网络的遥感影像地物分类方法
CN107292343A (zh) 一种基于六层卷积神经网络和光谱‑空间信息联合的高光谱遥感图像分类方法
CN104484681B (zh) 基于空间信息和集成学习的高光谱遥感影像分类方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
Zheng et al. Large-scale oil palm tree detection from high-resolution remote sensing images using faster-rcnn
CN106529508A (zh) 基于局部和非局部多特征语义高光谱图像分类方法
CN107967474A (zh) 一种基于卷积神经网络的海面目标显著性检测方法
CN110390255A (zh) 基于多维度特征提取的高铁环境变化监测方法
CN115170979B (zh) 一种多源数据融合的矿区精细用地分类方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN109344699A (zh) 基于分层深度卷积神经网络的冬枣病害识别方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN109063754A (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN110060273A (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN107016403A (zh) 一种基于夜间灯光数据提取城市建成区阈值的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant