CN103942562B - 基于多分类器组合的高光谱图像分类方法 - Google Patents

基于多分类器组合的高光谱图像分类方法 Download PDF

Info

Publication number
CN103942562B
CN103942562B CN201410118967.XA CN201410118967A CN103942562B CN 103942562 B CN103942562 B CN 103942562B CN 201410118967 A CN201410118967 A CN 201410118967A CN 103942562 B CN103942562 B CN 103942562B
Authority
CN
China
Prior art keywords
grader
base
base grader
combination
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410118967.XA
Other languages
English (en)
Other versions
CN103942562A (zh
Inventor
李士进
常纯
王亚明
万定生
余宇峰
冯钧
朱跃龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201410118967.XA priority Critical patent/CN103942562B/zh
Publication of CN103942562A publication Critical patent/CN103942562A/zh
Application granted granted Critical
Publication of CN103942562B publication Critical patent/CN103942562B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多分类器组合的高光谱图像分类方法,属于遥感成像与模式识别相结合的技术领域。本发明包括以下步骤:步骤A、从高光谱图像的所有波段中选出多组较优的波段子集;步骤B、分别以所选出的每一组波段子集构建一个特征空间,并利用高光谱图像训练样本分别在各组波段子集所构建的特征空间中对分类器进行训练,得到与各组波段子集一一对应的多个基分类器;步骤C、根据所述多个基分类器,利用多分类器组合的方法对高光谱图像测试样本进行分类。本发明将多分类器组合的思想引入高光谱波段选择中,相比现有技术可有效提高波段选择后的分类正确率。

Description

基于多分类器组合的高光谱图像分类方法
技术领域
本发明涉及一种高光谱波段选择方法,尤其涉及一种基于多分类器组合的高光谱图像分类方法,属于遥感成像与模式识别相结合的技术领域。
背景技术
随着遥感技术和成像光谱仪的发展,高光谱图像的分辨率不断提高,应用需求越来越广泛,但其具有波段数多、数据量庞大等特点给高光谱图像的分类、识别等带来了很大的困难。利用全部波段数据进行分类等处理不但处理困难,而且由于大量冗余信息的存在和部分噪音波段或信噪比很低的波段数据的影响还会降低分类或识别精度。因此,在保证地物识别率的情况下,进一步挖掘发现具有鉴别信息的波段,减少数据量、节省计算资源的降维处理非常必要。特征提取和特征选择是高光谱图像的两种主要降维方法。由于高光谱图像的每一个波段都对应着一幅相应波段的图像,通过线性或非线性变换,将高维特征空间映射到低维空间的特征提取的方法会使提取出来的特征失去原有的物理意义,所以特征提取的方法并不适用于高光谱图像的降维。而波段选择是从高光谱图像所有波段中选择最具鉴别力的波段子集,既能大大降低高光谱图像的数据维数,又能比较完整地保留分类鉴别信息,是目前高光谱降维处理的主流方法。
针对高光谱波段选择问题,研究人员提出了各种方法。Serpico and Bruzzone提出了一种局部极值约束的离散二进制空间搜索方法用于高光谱波段选择[Serpico S B,Bruzzone L.A new search algorithm for feature selection in hyperspectralremote sensing images.IEEE Transactions on Geoscience and Remote Sensing,2001,39(7):1360-1367.]。后来,Serpico and Moser继续开展了研究[Serpico S.B.andMoser G.,Extraction of spectral channels from hyperspectral images forclassification purposes,IEEE Trans.Geosci.Remote Sens.,2007,vol.45,no.2,pp.484-495.],提出了针对分类正确率最优化的连续波段选择方法,他们把若干相邻波段进行平均,提出了s-bands的概念。该方法取得了较高的分类正确率,但这是一种特征提取和波段选择的混合算法,涉及的波段数远大于一般方法所选择的波段。Bazi and Melgani提出了基于遗传算法和支持向量机的高光谱波段选择方法[Bazi Y.and Melgani F.,Toward an optimal SVM classification system for hyperspectral remote sensingimages,IEEE Trans.Geosci.Remote Sens.,2006,vol.44,no.11,pp.3374-3385.],在搜索最佳鉴别波段过程中,同时对SVM参数进行了优化。Sotoca and Pla提出了基于确定性去火的随机搜索方法用于波段选择[Sotoca J.M.and Pla F.,Hyperspectral data selectionfrom mutual information between image bands,In:D-Y.Yeung et al.(eds.):SSPR&SPR2006.LNCS vol.4109,Springer-Verlag,Berlin,Heidelberg,pp.853-861.],在搜索过程中,他们尽可能地考虑了波段之间的无关性。Guo等人[Guo B.,Damper R.I.,Gunn S.R.,et al.A fast separability-based feature-selection method for high-dimensionalremotely sensed image classification,Pattern Recognition,2008,vol.41,no.5,pp.1653-1662.]发现特征选择时只保留与类别信息最相关的波段存在一定的问题,特别是特征之间相关性较大时更加严重。他们提出了一种快速的贪心优化策略进行波段选择,但从最终的分类结果看不是很理想。戴宏亮与戴道清[戴宏亮,戴道清,基于ETAFSVM的高光谱遥感图像自动波段选择和分类,计算机科学,2009,36(4):268-272.]提出了智能遗传算法同时优化全间隔自适应模糊支持向量机参数集和波段选择中的大量参数,构成一种智能分类器,进行高光谱遥感图像分类。吴昊等[吴昊,李士进,林林,等.多策略结合的高光谱图像波段选择新方法.计算机科学与探索,2010,4(5):464-472.]将分组的概念引入波段选择中,利用条件互信息将波段分成若干组,再使用支持向量机和遗传算法相结合的搜索算法(GA-SVM)搜索出相对最优的波段组合。Yang等人提出了最小估计丰度协方差(MEAC)的波段选择方法[Yang He,Du Qian,Su Hongjun,Sheng Yehua,An Efficient Method forSupervised Hyperspectral Band Selection,IEEE Geosci.Remote Sensing Lett.2011,vol.8,no.1,pp.138-142.],在选择过程中估计候选波段与已经选择波段的丰度协方差矩阵的迹(trace)。葛亮等为使无监督的波段选择能够更好地保留高光谱图像的鉴别信息,提出一种基于波段聚类的高光谱图像波段选择方法[葛亮,王斌,张立明,基于波段聚类的高光谱图像波段选择,计算机辅助设计与图形学学报,2012,24(11):1447-1454.]。王立国与魏芳洁提出一种结合遗传算法和蚁群算法的高光谱图像波段选择方法[王立国,魏芳洁.结合遗传算法和蚁群算法的高光谱图像波段选择.中国图象图形学报,2013,18(2):235-242.]。该算法首先利用遗传算法以较快的寻优能力获得几组较优解,以此来初始化蚁群算法的初始信息素列表,然后用蚁群算法以较高的求精解能力获得最优波段组合。Li等[LiShijin,Zhu Yuelong,Wan Dingsheng,Feng Jun,Spectral Similarity-PreservingHyperspectral Band Selection,Remote Sensing Letters,2013,4(10):969-978.]将时间序列模式匹配的思想运用到高光谱波段选择中,先通过提取光谱曲线中重要点作为候选波段集,然后再利用分支定界法搜索最优波段子集。
虽然目前高光谱波段选择的方法很多,但由于原始波段数目一般高达数百个,以往基于搜索算法的波段选择方法往往只保留一组最佳波段组合,而其余未选中的波段则被抛弃。这对于最后的分类任务意味着较多的鉴别信息损失,因而波段选择后的分类正确率还有较大提升空间。
发明内容
本发明所要解决的技术问题在于克服现有技术将较多鉴别信息抛弃从而导致波段选择后的分类正确率不高的不足,将多分类器组合的思想引入高光谱波段选择中,提供一种基于多分类器组合的高光谱图像分类方法,能够有效提高波段选择后的分类正确率。
本发明的基于多分类器组合的高光谱图像分类方法,包括以下步骤:
步骤A、从高光谱图像的所有波段中选出多组较优的波段子集;
步骤B、分别以所选出的每一组波段子集构建一个特征空间,并利用高光谱图像训练样本分别在各组波段子集所构建的特征空间中对分类器进行训练,得到与各组波段子集一一对应的多个基分类器;
步骤C、根据所述多个基分类器,利用多分类器组合的方法对高光谱图像测试样本进行分类。
以上技术方案的步骤C中,可以使用训练得到的所有基分类器利用现有各种分类器组合方法进行多分类器组合,然而,在多分类器组合研究中,研究人员已经发现从基分类器中去除一些作用不大和性能不好的分类器,剩下的少量分类器能够获得更好的预测效果,因此,本发明进一步提出以下优选方案:
所述步骤C包括以下子步骤:
步骤C1、按照以下方法对步骤B所得到的基分类器进行筛选:
步骤C101、将步骤B中所得到的所有基分类器加入未选基分类器集合,并置已选基分类器集合为空;
步骤C102、从未选基分类器集合中选择在训练集上的分类精度最高的基分类器加入已选基分类器集合,并从未选基分类器集合中去除该基分类器;
步骤C103、对于未选基分类器集合中的每个基分类器,利用下式计算其与已选基分类器集合中各基分类器之间的错误多样性度量值的总和,并将该基分类器标记为有效:
其中,Scorep表示未选基分类器集合中的基分类器Cp与已选基分类器集合中各基分类器之间的错误多样性度量值的总和;|S|表示当前已选基分类器集合中的基分类器数目;SFp,q为基分类器Cp与已选基分类器集合中的任一基分类器Cq之间的错误多样性度量值,按照下式得到:
式中,表示两个基分类器Cp、Cq对其分类结果都错误的相同的训练样本数,N11表示两个基分类器Cp、Cq对其分类结果都正确的训练样本数;
步骤C104、从未选基分类器集合中标记为有效的基分类器中选出与已选基分类器集合中各基分类器之间的错误多样性度量值的总和最小的基分类器,并计算该基分类器所对应的波段与当前已选基分类器集合中各分类器所对应波段的并集Sall,如果Sall的波段总数大于预设的选择波段总数上限,则转步骤C105;否则,将该基分类器加入已选基分类器集合,并从未选基分类器集合中去除该基分类器,然后转至步骤C103;
步骤C105、将该基分类器标记为无效,并转至步骤C104,直到未选基分类器集合中不存在标记为有效的基分类器;此时已选基分类器集合中的基分类器即为筛选出来的基分类器;
步骤C2、利用筛选出来的基分类器,通过多分类器组合的方法对高光谱图像测试样本进行分类。
本发明针对高光谱图像波段多且相关性高的特点,提出将多分类器组合的思想运用于高光谱波段选择中,先通过现有波段选择方法搜索得到K组较优波段组合,并使用这K组波段组合分别训练K个基分类器,然后从这K个基分类器中选出部分差异性较大的分类器进行组合,实现高光谱图像分类的目标。相比现有技术,本发明可有效提高波段选择后的分类正确率。
具体实施方式
下面对本发明的技术方案进行进一步详细说明:
以往的波段选择研究都是从选择一组最优波段子集角度出发,最大化该组被选中波段的分类正确率。但由于高光谱图像的原始波段数目一般高达数百个,除最优波段子集以外的其它被抛弃的波段中也蕴含着大量鉴别信息,这也意味着波段选择后的分类正确率还有较大提升空间。本发明从提高图像分类正确率角度出发,将多分类器组合的思想运用于高光谱波段选择中,重新定义高光谱波段选择问题为:给定待选择的最大波段数目N,如何选择k组波段子集,使组合后的分类正确率更高,每组波段子集的波段数为n,这k组波段子集中包含的不同波段总数不超过N。本发明先通过各种现有方法从原始波段中选择多个不同的较优波段子集,构成多个特征子空间进行多分类器组合,从分类器互补性及多样性角度重新选择出满足最大波段数约束的最佳波段组合,进一步提高分类正确率。
本发明的基于多分类器组合的高光谱图像分类方法,包括以下步骤:
步骤A、从高光谱图像的所有波段中选出多组较优的波段子集。
本发明可采用现有各种方法(例如遗传算法、粒子群优化算法、模拟退火算法等)从高光谱图像的所有波段(原始波段)中选出多组互不相同的较优波段子集。本发明优选使用遗传算法从高光谱图像的所有波段中选出多组较优的波段子集,其详细内容可参见文献[吴昊,李士进,林林,等.多策略结合的高光谱图像波段选择新方法.计算机科学与探索,2010,4(5):464-472.]。
步骤B、分别以所选出的每一组波段子集构建一个特征空间,并利用高光谱图像训练样本分别在各组波段子集所构建的特征空间中对分类器进行训练,得到与各组波段子集一一对应的多个基分类器。
利用一组波段子集来构建高光谱图像的分类器为现有技术,具体可参见(R.O.Duda,P.E.Hart,D.G.Stork,模式分类,李宏东、姚天翔等译,北京:机械工业出版社,2003)等文献,此处不再赘述。本发明优选采用支持向量机(SVM)作为分类器。
步骤C、根据所述多个基分类器,利用多分类器组合的方法进行高光谱图像波段选择。
波段选择优劣的评判标准除了选择的波段数外,往往是通过最终的分类正确率来衡量,针对高光谱数据波段间相关性高的特点,本发明将多分类器组合的思想引入高光谱波段选择中。
多分类器组合是根据各个分类器的整体性能将每个分类器的输出按某种方式“组合”到一起,并达到“共识”。本发明可采用现有各种多分类器组合方法,优选以下几种方法:基于局部分类精度估计的多分类器组合方法、基于多数投票法的多分类器组合方法、基于行为知识空间法的多分类器组合方法、基于聚类-选择法的多分类器组合方法。下面对以上提到的几种多分类器组合方法分别进行简单介绍。
1、多数投票法
投票法是最常用的抽象级分类器组合方法,其遵循的原则是“少数服从多数”。多数投票规则[Zhou Z H.Ensemble Methods:Foundations and Algorithms,Boca Raton,FL:Chapman&Hall/CRC,2012.]将最多数分类器一致分类的类别作为待分类样本的类别。
2、行为知识空间法
很多分类器组合方法都需要假设分类器之间相互独立。在无法满足该假设的情况下,可以考虑从知识空间获得信息,它能同步记录所有分类器对每个训练样本的决策。由于知识空间记录了所有分类器的行为,所以也被称为“行为知识空间”,简称BKS[Kuncheva LI.Switching between selection and fusion in combining classifiers:Anexperiment.IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2002,32(2):146-156.]。使用该方法时,训练集中的样本被划分成不同的模式,这些模式是根据所有分量分类器分类结果的不同组合来定义的。当一个未知样本需要进行分类时,所有分量分类器对分类结果的组合都是已知的,由此确定对应的模式。然后根据该模式中的样本实际类别,把未知样本归入出现次数最多的类别。
3、聚类-选择法
这是一种动态选择分类器的方法,它通过事先将训练样本聚类分成若干组,然后针对测试样本与每个簇中样本的相似度确定对应的基分类器。本文采用的聚类方法为K均值聚类法[Kuncheva L I,Whitaker C J.Measures of diversity in classifierensembles and their relationship with the ensemble accuracy.Machine learning,2003,51(2):181-207.]。基于聚类-选择法的多分类器组合方法的具体实现算法如下:
训练过程:
1)利用训练数据集Z训练L个基分类器C1,C2,….CL,初始化聚类数K;
2)通过K-均值方法将Z聚成K类(不考虑样本集的真实类别),通过计算每个簇中的样本均值得到聚类中心V1,V2,……VK;
3)对每一个聚类簇Oj,分别用每个基分类器进行分类,统计各个基分类器的分类正确率,将正确率最高的分类器赋给这个聚类Oj所在区域;
4)返回各个聚类中心对应的基分类器。测试过程:
1)对于测试样本X,找出与之距离最近的聚类中心Vj;
2)利用Vj对应的基分类器对该样本X进行分类。
4、基于局部精度估计的动态分类器选择(DCS-LA)
DCS-LA方法[Woods K,Kegelmeyer Jr W P,Bowyer K.Combination of multipleclassifiers using local accuracy estimates.IEEE Transactions on PatternAnalysis and Machine Intelligence,1997,19(4):405-410.]的主要特点是对于待分类样本X*,从已有的成员分类器C1,C2,…CL中动态挑选合适的一个或多个对其进行分类,或者样本所在邻域内最优的分类器来对其进行分类,它是一种特殊的分类器集成方法,其主要步骤为:
1)如果所有的分类器Cj返回X*相同的类别ω,则该测试样本被赋予类别ω,算法结束,否则转2);
2)计算每个基分类器的局部分类精度LAj,k(X*),j=1,…,N,k为X*邻域内训练样本数;
3)确定局部分类精度最高的基分类器Cj,使LAj,k(X*)=maxi(LAi,k(X)),并将Cj的输出作为X*的类别,算法结束。
从以上步骤可以看出DCS-LA的分类正确率主要取决于局部分类精度估计,本发明优选采用基于先验知识的局部精度。该方法将局部分类精度LAj,k(X*)定义为X*的局部邻域内被正确分类的训练样本比例。假设内有k个训练样本,其中有kT个样本被Cj正确分类,则分类器Cj对X*的局部分类精度为
由于在选择分类器时没有考虑分类器Cj对测试样本X*的分类结果,所以一般称之为先验局部精度估计。
本发明可以使用所有基分类器进行多分类器组合,然而,在多分类器组合研究中,研究人员已经发现从基分类器中去除一些作用不大和性能不好的分类器,剩下的少量分类器能够获得更好的预测效果。因此,本发明进一步从所有基分类器中筛选出部分差异性较大的分类器进行组合。
以往多分类器选择研究中主要考虑分类器之间的互补性和多样性,特别是错误多样性(error diversity,亦称为差异性)。Aksela和Laaksonen[Aksela M and LaaksonenJ.Using diversity of errors for selecting members of a committeeclassifier.Pattern Recogn.2006,39(4):608-623.]分析比较了各种错误多样性指标,发现同误多样性指标(same-fault measure)具有不俗的表现。该指标考虑两个分类器如果犯相同错误的概率较小,则组合后获得正确分类结果的可能性更大。由于高光谱波段选择多分类器组合过程中不但需要获得更高的分类正确率,而且希望组合后参与分类的波段总数尽可能少,因此在最小化相同错误的概率的同时,还要最大化同时正确的概率。因此,本发明提出以下错误多样性指标:
其中,表示两个分类器Ci,Cj对其分类结果都错误的相同的训练样本数,N11表示两个分类器Ci,Cj对其分类结果都正确的训练样本数。该指标越小,表明两个分类器犯同样错误的次数较少,它们之间的多样性越好。
具体地,本发明首先使用以下方法对步骤B所得到的基分类器进行筛选:
步骤C101、将步骤B中所得到的所有基分类器加入未选基分类器集合,并置已选基分类器集合为空;
步骤C102、从未选基分类器集合中选择在训练集上的分类精度最高的基分类器加入已选基分类器集合,并从未选基分类器集合中去除该基分类器;
步骤C103、对于未选基分类器集合中的每个基分类器,利用下式计算其与已选基分类器集合中各基分类器之间的错误多样性度量值的总和,并将该基分类器标记为有效:
其中,Scorep表示未选基分类器集合中的基分类器Cp与已选基分类器集合中各基分类器之间的错误多样性度量值的总和;|S|表示当前已选基分类器集合中的基分类器数目;SFp,q为基分类器Cp与已选基分类器集合中的任一基分类器Cq之间的错误多样性度量值,按照下式得到:
式中,表示两个基分类器Cp、Cq对其分类结果都错误的相同的训练样本数,N11表示两个基分类器Cp、Cq对其分类结果都正确的训练样本数;
步骤C104、从未选基分类器集合中标记为有效的基分类器中选出与已选基分类器集合中各基分类器之间的错误多样性度量值的总和最小的基分类器,并计算该基分类器所对应的波段与当前已选基分类器集合中各分类器所对应波段的并集Sall,如果Sall的波段总数大于预设的选择波段总数上限,则转步骤C105;否则,将该基分类器加入已选基分类器集合,并从未选基分类器集合中去除该基分类器,然后转至步骤C103;
步骤C105、将该基分类器标记为无效,并转至步骤C104,直到未选基分类器集合中不存在标记为有效的基分类器;此时已选基分类器集合中的基分类器即为筛选出来的基分类器。
以上基分类器筛选方法中的选择波段总数上限是一个用户设定的参数,具体随应用要求而定,例如可设置为12,20,30,40,50等。
以上基分类器筛选方法的一种实现算法具体如下:
输入:给定选择波段总数上限total,K组波段数目为n的分类器集合U={C1,C2,...,CK}输出:分类器集合S
(1)初始化S为空集;
(2)根据每个分类器在训练集上的分类精度选取分类精度最高的第一个分类器,记为Ci,将Ci加入S,S=S∪{Ci},同时从U中减去Ci,U=U\{Ci};
(3)根据公式(2)计算U中每个分类器Cp和S中已经选取的各个分类器Cq的错误多样性度量值SFp,q
(4)对于U中每个分类器Cp,p=1,2,…,|U|,|U|为集合U中分类器数目,计算其与S中已经选取的各个分类器的错误多样性度量值之和Scorep,并置有效性标记flagp=1:
其中:SFp,q为分类器Cp,Cq之间的错误多样性度量值,Cq为S中已经被选取的各个分类器,|S|表示已选分类器集合中分类器数目;
(5)在Score[.]有效的分类器中,挑选Scorep最小的分类器,记为Cj,计算Cj和S中各分类器对应波段的并集Sall,如果Sall的波段总数|Sall|>total,则转步骤(6),否则将Cj加入S,S=S∪{Cj},从U中减去Cj,U=U\{Cj},转步骤(3);
(6)将上述Cj对应的Scorej清0,并置无效标记flagj=0,如果仍然存在Score[.]有效的分类器,转步骤(5),否则算法结束,返回S。
利用筛选出来的基分类器,通过多分类器组合的方法即可对高光谱图像测试样本进行分类。本发明进一步优选采用基于局部分类精度的动态分类器选择(DCS-LA)方法进行组合。根据文献[Woods K,Kegelmeyer Jr W P,Bowyer K.Combination of multipleclassifiers using local accuracy estimates.IEEE Transactions on PatternAnalysis and Machine Intelligence,1997,19(4):405-410.]中的基于局部分类精度估计的方法,对于每个测试样本,利用基于先验知识的局部精度估计方法计算S中各分类器在该样本邻域的局部精度(local accuracy,LA),选出LA最高的分类器作为其最终的决策分类器。具体分类算法如下:
输入:训练集测试样本x,以上基分类器筛选得到的分类器集合S输出:测试样本x的类标签y
(1)针对测试样本x,基于不同特征空间(对应组合分类器S中不同的成员分类器)寻找它的k个最近邻训练样本点,通过每一个分类器对k个最近邻样本点进行分类;
(2)选择出S中局部分类精度最高的分类器Cj,作为该样本的最终分类器;
(3)利用Cj对x进行分类,得到的类别标签y即为最终分类结果。
为了验证本发明方法的效果,分别进行了以下对比实验。实验中所使用的高光谱图像测试数据集为Indian Pine数据集。原始Indian Pine数据集包含220个连续的波段,其中18个波段由于受大气影响而被丢弃,因此剩下202个有效波段。该图像数据包含玉米区、树林、黄豆以及牧场等九种类别的样本,测试样本与训练样本不是随机分配,而是对每类分别定义空间不相交的测试区与训练区,以尽可能减少它们的相关性,最终实验数据包括训练样本5012个,测试样本3728个。
对比实验1:
为了比较出对高光谱数据波段选择具有最优效果的多分类器组合方法,实验了四种多分类器组合方法,分别是多数投票法、行为知识空间法、K均值聚类-选择法,以及基于局部分类精度估计的动态分类器选择法。在进行多分类器组合之前,首先通过文献[吴昊,李士进,林林,等.多策略结合的高光谱图像波段选择新方法.计算机科学与探索,2010,4(5):464-472.]中方法,即利用条件互信息将202个有效波段分成12组,再使用GA-SVM的方法搜索出相对较优的波段子集,多次利用该方法获取10组波段子集后,将这些相对较优的波段子集训练成10个基分类器(10组分类器含有波段总数为47,每个子集12个波段),然后使用上述4种多分类器组合方法对这10个基分类器进行组合。
表1基于四种不同分类器组合方法的分类精度
多分类器组合方法 分类正确率
Majority voting 86.45%
BKS 85.7%
Clustering-Selection 85.3%
DCS_LA 88.71%
表1给出了4种多分类器组合方法的分类精度比较。四组实验都选取所有10个基分类器,共47个波段。从表1中可以看出,行为知识空间法,即BKS方法比多数投票法效果稍差。聚类选择方法作为无监督学习方法,没有考虑训练样本的类别分布,取得85.3%的分类精度,所以在分类中很难占有优势。显然,DCS-LA的分类精度最高,说明通过该算法对多分类器进行组合比较有效。在分类器选择过程中,还可以调整选择的分类器数目,即对应选择的波段数目,详见对比实验2。
对比实验2:
为了进一步验证多分类器组合算法对波段选择的有效性,本实验进行了5组DCS-LA实验,表2给出了这几种情况的详细分类精度。
表2基于不同波段数目约束的动态分类器选择的分类精度
最大波段数目(total) 分类器数目 分类正确率
12 1 85.38%
20 2 86.51%
30 4 88.39%
40 7 88.47%
50 10 88.71%
从表2中可以看出,通过确定分类器组合总体多样性,即对应不同波段总数上限total,选择的分类器组合数目也不相同,选取的波段数目也各不相同。当波段总数为50时,即对全部10个基分类器进行组合时,分类结果最好,正确率达到了88.71%。而选择波段不超过30个时,只选择了4个分类器,此时分类正确率为88.39%,明显高于利用所有202个波段进行分类的精度83.2%;而与10个分类器全部参与组合的正确率也很接近,表明在高光谱图像分类中,动态选择参与组合的分类器确实比较有效,既减少了参与组合的分类器,也达到了波段选择的目的。
对比实验3:
为了验证本发明方法较之传统搜索算法的优点,使用另外两种常用的基于全局波段空间搜索的高光谱图像分类方法与本发明方法进行比较:基于遗传算法的波段选择方法和文献[Li Shijin,Zhu Yuelong,Wan Dingsheng,Feng Jun,Spectral Similarity-Preserving Hyperspectral Band Selection,Remote Sensing Letters,2013,4(10):969-978.]中的自适应分支定界法搜索的波段选择方法。在此,采用两种现有方法同样分别搜索12,20,30,40,50个波段进行最后的分类,其中由于遗传算法的随机性,我们对每一组波段分别搜索三次,取三次分类结果进行平均得到平均分类精度(如表3所示)。
表3遗传算法、分支定界法以及本发明方法的平均分类精度
波段数目 遗传算法 分支定界法 本文算法
12 83.43% 83.88% 84.41%
20 82.72% 83.91% 86.51%
30 83.47% 85.20% 88.39%
40 84.34% 85.03% 88.47%
50 83.52% 84.5% 88.71%
从表3可以看出,当波段数目分别为12,20,30,40,50时,本发明方法在分类正确率上具有明显的优势,其中,遗传算法在波段数目为40时达到最高分类正确率84.34%,自适应分支定界法在波段数目为30时达到最高分类正确率85.20%,而本发明方法使用基于局部分类精度的动态分类器选择,在对应波段数目为30时,达到了88.39%的分类正确率,明显高于其他两种直接搜索一组最优波段子集的方法,因此本发明方法具有较强的竞争力。

Claims (4)

1.基于多分类器组合的高光谱图像分类方法,其特征在于,包括以下步骤:
步骤A、从高光谱图像的所有波段中选出多组互不相同的波段子集;
步骤B、分别以所选出的每一组波段子集构建一个特征空间,并利用高光谱图像训练样本分别在各组波段子集所构建的特征空间中对分类器进行训练,得到与各组波段子集一一对应的多个基分类器;
步骤C、根据所述多个基分类器,利用多分类器组合的方法对高光谱图像测试样本进行分类;
其中,所述步骤C包括以下子步骤:
步骤C1、按照以下方法对步骤B所得到的基分类器进行筛选:
步骤C101、将步骤B中所得到的所有基分类器加入未选基分类器集合,并置已选基分类器集合为空;
步骤C102、从未选基分类器集合中选择在训练集上的分类精度最高的基分类器加入已选基分类器集合,并从未选基分类器集合中去除该基分类器;
步骤C103、对于未选基分类器集合中的每个基分类器,利用下式计算其与已选基分类器集合中各基分类器之间的错误多样性度量值的总和,并将该基分类器标记为有效:
Score p = Σ 1 = 1 | S | SF p , q ,
其中,Scorep表示未选基分类器集合中的基分类器Cp与已选基分类器集合中各基分类器之间的错误多样性度量值的总和;p=1,2,…,|U|,|U|为K组波段数目为n的分类器集合U中分类器数目;q=1,2,…|S|,|S|表示当前已选基分类器集合中的基分类器数目;SFp,q为基分类器Cp与已选基分类器集合中的任一基分类器Cq之间的错误多样性度量值,按照下式得到:
SF q , q = N s a m e 00 × N s a m e 00 N 11
式中,表示两个基分类器Cp、Cq对其分类结果都错误的训练样本数,N11表示两个基分类器Cp、Cq对其分类结果都正确的训练样本数;
步骤C104、从未选基分类器集合中标记为有效的基分类器中选出与已选基分类器集合中各基分类器之间的错误多样性度量值的总和最小的基分类器,并计算该基分类器所对应的波段与当前已选基分类器集合中各分类器所对应波段的并集Sall,如果Sall的波段总数大于预设的选择波段总数上限,则转步骤C105;否则,将该基分类器加入已选基分类器集合,并从未选基分类器集合中去除该基分类器,然后转至步骤C103;
步骤C105、将该基分类器标记为无效,并转至步骤C104,直到未选基分类器集合中不存在标记为有效的基分类器;此时已选基分类器集合中的基分类器即为筛选出来的基分类器;
步骤C2、利用筛选出来的基分类器,通过多分类器组合的方法对高光谱图像测试样本进行分类。
2.如权利要求1所述基于多分类器组合的高光谱图像分类方法,其特征在于,所述多分类器组合的方法为以下方法之一:基于局部分类精度估计的多分类器组合方法、基于多数投票法的多分类器组合方法、基于行为知识空间法的多分类器组合方法、基于聚类-选择法的多分类器组合方法。
3.如权利要求2所述基于多分类器组合的高光谱图像分类方法,其特征在于,所述基于局部分类精度估计的多分类器组合方法中使用的局部分类精度为基于先验知识的局部精度。
4.如权利要求1~3任一项所述基于多分类器组合的高光谱图像分类方法,其特征在于,使用遗传算法从高光谱图像的所有波段中选出多组较优的波段子集。
CN201410118967.XA 2014-03-27 2014-03-27 基于多分类器组合的高光谱图像分类方法 Expired - Fee Related CN103942562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410118967.XA CN103942562B (zh) 2014-03-27 2014-03-27 基于多分类器组合的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410118967.XA CN103942562B (zh) 2014-03-27 2014-03-27 基于多分类器组合的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN103942562A CN103942562A (zh) 2014-07-23
CN103942562B true CN103942562B (zh) 2017-05-17

Family

ID=51190225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410118967.XA Expired - Fee Related CN103942562B (zh) 2014-03-27 2014-03-27 基于多分类器组合的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN103942562B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995842B2 (en) 2021-07-22 2024-05-28 X Development Llc Segmentation to improve chemical analysis

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574547B (zh) * 2015-12-22 2019-03-05 北京奇虎科技有限公司 适应动态调整基分类器权重的集成学习方法及装置
US9984314B2 (en) * 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
CN106557781B (zh) * 2016-11-14 2019-09-03 北京爱知之星科技股份有限公司 人脸识别的分类器获取方法和装置
CN106778680B (zh) * 2017-01-06 2018-06-26 杭州电子科技大学 一种基于关键波段提取的高光谱图像波段选择方法及装置
CN108229517B (zh) * 2017-01-24 2020-08-04 北京市商汤科技开发有限公司 神经网络训练和高光谱图像解译方法、装置及电子设备
JP7224757B2 (ja) * 2017-10-13 2023-02-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
CN108182449A (zh) * 2017-12-25 2018-06-19 南京信息工程大学 一种高光谱图像分类方法
CN109887005B (zh) * 2019-02-26 2023-05-30 天津城建大学 基于视觉注意机制的tld目标跟踪方法
US11948347B2 (en) * 2020-04-10 2024-04-02 Samsung Display Co., Ltd. Fusion model training using distance metrics
US11393182B2 (en) 2020-05-29 2022-07-19 X Development Llc Data band selection using machine learning
US11651602B1 (en) 2020-09-30 2023-05-16 X Development Llc Machine learning classification based on separate processing of multiple views
CN113191442B (zh) * 2021-05-14 2023-11-17 中国石油大学(华东) 一种互导学习高光谱图像分类方法
CN117851919B (zh) * 2024-03-06 2024-05-03 成都理工大学 一种基于集成学习的滑坡误报识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667253A (zh) * 2009-09-25 2010-03-10 北京航空航天大学 一种高光谱遥感数据多类别监督分类方法
CN102831436A (zh) * 2012-08-02 2012-12-19 哈尔滨工业大学 基于参考图互信息波段选择和emd的高光谱图像分类方法
CN103366189A (zh) * 2013-07-10 2013-10-23 河海大学 一种高光谱遥感图像的智能化分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756342B2 (en) * 2004-09-20 2010-07-13 The United States Of America As Represented By The Secretary Of The Navy Method for image data processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667253A (zh) * 2009-09-25 2010-03-10 北京航空航天大学 一种高光谱遥感数据多类别监督分类方法
CN102831436A (zh) * 2012-08-02 2012-12-19 哈尔滨工业大学 基于参考图互信息波段选择和emd的高光谱图像分类方法
CN103366189A (zh) * 2013-07-10 2013-10-23 河海大学 一种高光谱遥感图像的智能化分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995842B2 (en) 2021-07-22 2024-05-28 X Development Llc Segmentation to improve chemical analysis

Also Published As

Publication number Publication date
CN103942562A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
CN103942562B (zh) 基于多分类器组合的高光谱图像分类方法
Omran et al. Differential evolution methods for unsupervised image classification
CN108596154B (zh) 基于高维特征选择与多级融合的遥感图像分类方法
CN105184309B (zh) 基于cnn和svm的极化sar图像分类
CN109299741B (zh) 一种基于多层检测的网络攻击类型识别方法
CN103489005B (zh) 一种基于多分类器融合的高分辨率遥感影像分类方法
CN101807254B (zh) 用于图像分类识别的合成核支持向量机的实现方法
Bianco et al. Logo recognition using cnn features
CN108171136A (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN102651073A (zh) 基于稀疏动态集成选择的sar图像地物分类方法
CN104751179A (zh) 一种基于博弈论的多目标高光谱遥感影像波段选择方法
CN109299668A (zh) 一种基于主动学习和聚类分析的高光谱图像分类方法
Olschofsky et al. Rapid field identification of cites timber species by deep learning
CN107273916A (zh) 隐写算法未知的信息隐藏检测方法
CN106934410A (zh) 数据的分类方法及系统
Demir et al. Improving SVM classification accuracy using a hierarchical approach for hyperspectral images
CN1252588C (zh) 高光谱遥感图像联合加权随机分类方法
Omran et al. Self-adaptive differential evolution methods for unsupervised image classification
Ahmadi et al. Improvement of reliability in banknote classification using reject option and local PCA
US8117143B2 (en) Using affinity measures with supervised classifiers
Omran et al. Barebones particle swarm methods for unsupervised image classification
Dai et al. Multiple classifier combination for land cover classification of remote sensing image
CN104732246A (zh) 一种半监督协同训练高光谱图像分类方法
CN102034117A (zh) 一种图像分类方法和装置
Farhan et al. Fingerprint identification using fractal geometry

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517

CF01 Termination of patent right due to non-payment of annual fee