CN110363221A - 基于Bagging的高光谱遥感协同表示集成学习分类方法 - Google Patents

Abstract

本发明公开了一种基于Bagging的高光谱遥感协同表示集成学习分类算法，采用Bagging的集成方式从原始训练集有放回地随机选取样本组成各基分类器的训练集，集成过程中通过多次选取不同的训练集增加基分类器的差异性，从而提高集成分类系统的泛化能力和分类精度。利用CRC和TCRC两种分类器均存在对正则化参数敏感的特点，分别作为Bagging集成方式中的基分类器，以此提升基分类器的分类效果。

Description

基于Bagging的高光谱遥感协同表示集成学习分类方法

技术领域

本发明属于高光谱遥感图像处理技术领域，具体涉及一种基于Bagging的高光谱遥感协同表示集成学习分类方法。

背景技术

20世纪80年代初期随着成像光谱概念的提出和成像光谱技术的发展，一种新型对地观测技术—高光谱遥感技术迅速发展起来，成为遥感技术领域的前沿技术。高光谱遥感通过连续光谱覆盖的几十到上百个窄的电磁波波段来提取相关数据，既可以获得地物空间的图像信息，又能获得决定物质成分的光谱信息，从而达到一个光谱与图像一体化的效果。对于高光谱遥感数据处理来说，利用其特有的数据特点有效对地物目标分类，一直以来是高光谱遥感数据应用研究的主要内容。然而，高光谱遥感影像分类面临着巨大的挑战，主要是：(1)高光谱遥感数据量大而可利用的标签样本少，即存在“小样本问题”。(2)高光谱遥感可以提供几十甚至上百个连续波段的光谱影像,波段维数高且大量连续的窄波段信息中具有高相关性和冗余度。当训练数据有限时，随着波段维数的增加，分类精度下降，这就是所谓的“休斯现象”。

针对高光谱遥感影像的特性－数据量大、光谱特征空间维数高、数据相关性强且冗余度高，解决的方法之一是发展先进的分类器算法。许多经典的机器学习和数据挖掘算法应用于高光谱分类，并且取得了较好的效果如：支持向量机(Support Vector Machine，SVM)、极限学习机(Extreme Learning Machine，ELM)、随机森林(Random Forest，RF)等。近年来，协同表示(collaborative representation,CR)以模型简单、参数少、没有传统的训练测试阶段在高光谱遥感中得到越来越多的关注。协同表示的原理是认为目标像元可以被训练样本线性表示，各训练样本子集通过表示系数对目标像元进行恢复重建，目标像元的分类依据为各训练样本子集的最优表示估计即最小残差。利用简化的切空间估计局部流形，在测试样本的切空间中使用协同表示分类，提出的切空间协同表示分类(tangentcollaborative representation classification,TCRC)有效地提升分类效果。Li等将协同表示算法拓展到类别子空间提出一种基于欧氏距离加权正则化的算法(NearestRegularized Subspace，NRS)，在此基础上结合最邻近算法对其进行改进(Local within-class collaborative Representation Nearest Neighbor，LRNN)，同时针对高光谱数据的非线性结构提出一种基于核方法的协同表示正则化子空间算法(Kernel CollaborativeRepresentation with Tikhonov regularization using Composite Kernel，KCRT-CK)。但任何一种分类算法都不是万能的，在取得较好的分类精度的同时也都有自身的缺陷。因此，除了发展性能更先进分类器外，利用集成学习综合各分类器的优点进行图像分类也成为热点方向。

集成学习不是特指某种分类算法，而是集成多个基分类器共同决策的机器学习方法。该方法通过选择简单的分类算法，获得多个不同的基分类器，然后采用某种集成方式组合成一个强分类器，从而显著提高分类系统的泛化能力和分类精度。常用的生成基分类器的方法可以分为简单地分为两大类：(1)将不同学习算法应用于相同的数据集上。(2)将同一学习算法应用于不同的训练数据集，可以对训练样本进行随机抽样或者改变输入特征。前者成为异质集成学习算法，后者称为同质集成学习算法。对于生成同质类型的基分类器，通常可以采用如下三种策略：(1)对训练数据进行重采样，其中最著名的算法有Bagging和Adaboost。(2)构造不同的输入特征集，可以通过随机子空间、特征选择和特征提取等方法来实现。(3)相同分类算法的不同参数组合。许多分类算法含有参数组合，使用不同的参数组合会产生不同的分类结果。

可以看出，现有协同表示分类算法研究大多集中在表示模型优化和空间结构提取等方面提升分类效果，但是协同表示分类器仍存在泛化性不强，稳定性不够等问题。因此，引入集成学习中的Bagging，结合协同表示原理，构建基于协同表示分类的多分类器集成学习模型，进一步有效提高分类精度和稳定性。

发明内容

发明目的：本发明提出了基于Bagging的高光谱遥感协同表示集成学习分类方法，进一步提高了协同表示分类算法的稳定性和泛化性，从而提升高光谱遥感影像的分类效果。

技术方案：一种基于Bagging的高光谱遥感协同表示集成学习分类算法，所述算法包括以下步骤：

步骤1，将高光谱遥感影像调整为二维矩阵，根据地物真实值随机选择训练样本集和测试样本集；输入高光谱影像的训练集X∈R^N*M,其中M代表样本数目，N表示波段数目，测试样本y，设置集成次数T，正则化参数λ、β，两种基分类器：协同表示分类器CRC、切空间协同表示分类TCRC；

步骤2，训练集X构造字典D＝{D₁,D₂,...D_K}，其中m∈{1,2,...,K}，其中K表示类别数；

步骤3，执行以下步骤：

(a)在原始训练集X采用Bootstrape采样方法生成训练子集X_t∈R^N*M

(b)利用训练子集X_t构建新字典D_t＝{D_1t,D_2t,D_3t,...,D_Kt}，其中m∈{1,2,...,K}，其中K表示类别数；

(c)利用基分类器分类得到测试样本y的类别标签其中m∈{1,2,...K}；

(d)重复执行步骤(a)-(c)，直到循环次数t达到预先设置的集成次数T；

步骤4,集成后测试样本y的标签向量l＝[l₁,l₂,l₃...l_T]采用最大投票法确定测试样本y的最终标签，最后输出土地覆盖图。

所述步骤(c)中，基分类为CRC，该分类器的目标函数为：

其中λ为正则化系数用于平衡惩罚项和误差项的大小；表示系数α_t值的求解结果为：

α_t＝(D_t ^TD_t+λI)^-1(D_t ^Ty)

式中为D_t的转置，I为单位矩阵；利用各类别训练子集D_mt所对应的表示系数α_mt计算各类别对目标像元的表示估计，利用子类别表示估计值D_mtα_mt与测试样本y的误差最小进行分类如下式所示：

进一步的，所述步骤(c)中，假设同一类别的样本位于同一个低维流形中；根据该假设，测试样本的光谱空间及其可能的变化空间位于同一低维流形中。转换表示的形式为：

其中y和y′分别代表原始和变换的光谱特征空间，并且v反映光谱特征的各种变化；测试样本y的局部流形结构可以由测试样本y的切空间近似表示，将局部流形结构嵌入协同表示分类模型中，表达式如下所示：

其中代表切空间的基；当邻域足够大时：

从而该分类器的目标函数为：

式中Δy为测试样本与其邻域像元y′∈{y_i|i＝1,2,...,n}光谱特征向量之差，Δy＝[y₁′-y；y₂′-y；...y_n′-y]，其中n为邻域像元的个数；对项β_t进行l₂范数的正则化约束；η为正则化系数用于平衡惩罚项和误差项的大小；

α_t＝(D_t ^TD_t+λI-D_t ^TPD_t)^-1(D_t ^Ty-D_t ^TPy)

β_t＝(Δy^TΔy+ηI)^-1(Δy^TD_tα_t-Δy^TΔy)

式中，I为单位矩阵，P＝Δy(Δy^TΔy+ηI)Δy^T；若测试样本y来自m类，则测试样本的最佳近似表示估计为：

利用子类别估计与测试样本y的误差最小进行分类；如下所示：

进一步的，设在一个K类问题中使用T个基分类器，其中由字典D_t构造的分类器的输出表示为m∈{1,2,...K}；所述步骤4中的最大投票法表示为l_final＝mode(l),其中l＝[l₁,l₂,l₃...l_T]。

工作原理：采用Bagging的集成方式从原始训练集有放回的随机选取训练样本组成各基分类器的训练集，通过多次选取不同的训练集增加基分类器的差异度，从而提高最终集成分类器的泛化能力和稳定性。利用CRC和TCRC两种分类器对正则化参数敏感的特点，作为Bagging集成方式的基分类器，以此提高基分类器的分类精度。本发明所实现的方法不仅扩展了协同表示分类的优化算法，而且对于推进高光谱影像集成分类方面的研究具有重要理论和现实意义。

有益效果：本发明的基于Bagging的高光谱遥感协同表示集成分类方法，相比现有的技术，具有以下有益效果：

1.采用Bagging的集成方式从原始训练集有放回地随机选取样本组成各基分类器的训练集，通过多次选取不同的训练集增加基分类器的差异度，从而提高最终集成分类器的泛化能力和稳定性；

2.CRC和TCRC均存在参数敏感性的缺陷，而Bagging集成方法对不稳定的分类算法有效；利用Bagging集成方式可以提升基分类器的分类效果和适应性。

附图说明

图1为本发明的基于Bagging的高光谱遥感协同表示集成学习分类算法的流程图；

图2为本发明的Bags CRC和Bags TCRC两种方法的总体分类精度与集成次数T之间的关系；

图3为本发明的Bags CRC和Bags TCRC两种方法的总体分类精度与正则化参数λ之间的关系；

图4为本发明的Bags TCRC方法的分类精度与正则化参数β之间的关系。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明的思路是：采用Bagging的集成方式从原始训练集有放回的随机选取训练样本组成各基分类器的训练集，通过多次选取不同的训练集增加基分类器的差异度，从而提高最终集成分类器的泛化能力和稳定性。利用CRC和TCRC对正则化参数敏感的特点，分别作为Bagging集成方式的基分类器，以此提升基分类器的分类效果。本发明所实现的方法不仅扩展了协同表示分类的优化算法，而且对于推进高光谱影像集成分类方面的研究具有重要理论和现实意义。

实施例：实验数据是由HYDICE(Hyperspectral Digital Imagery CollectionExperiment)传感器获取的华盛顿特区的高光谱影像。该数据覆盖了从0.4到2.5um光谱区间的210个波段，其空间分辨率约为2.8m；剔除了水吸收波段和噪声波段后，保留了191个波段用于数据分析。实验数据为从DC Mall原始影像上切取的一个子图像。其中数据大小为266像素×304像素，包括道路(Road)、草地(Grass)、水体(Water)、小路(Trail)、树木(Tree)、阴影(Shadow)和建筑(Roof)等7个类别。

如图1所示，具体实现步骤为：

(1)对原始高光谱遥感影像数据进行数据预处理，将其转换为b×N大小的二维矩阵,其中b为91504，N为191。对二维矩阵进行归一化处理。根据地物真实值随机分成了训练数据和测试数据。其中训练数据中每类地物10个样本，共60个训练样本，测试样本为4881个。

步骤1，输入高光谱遥感影像S训练集X∈R^N*M，测试样本y，设置集成次数T，T设置为70，设置正则化参数λ＝1e-4，β＝1e-6，基分类器为CRC、TCRC；

步骤2，根据训练集X构造字典D＝{D₁,D₂,...D_K}，其中m∈{1,2,...,K}，其中M_m值为10，M值为60，K表示类别数，K＝6；

步骤3，步骤3，执行以下步骤：

(a)在原始训练集X采用Bootstrape采样方法生成训练子集X_t∈R^M*N；

(b)利用训练子集X_i构建新字典D_t＝{D_1t,D_2t,D_3t,...,D_Kt}，其中m∈{1,2,...,K}，

(c)基分类为CRC,利用α^t＝(D_t ^TD_t+λI)^-1(D_t ^Ty)求解出表示系数的值，再根据误差最小的原则得到测试样本y的预测标签其中m∈{1,2,...K}；

基分类器为TCRC，n设置为8，即取以测试样本y为中心的3×3的窗口内的8个像素作为邻域。计算出Δy＝[y₁′-y；y₂′-y；...y_n′-y]，利用生成的新字典D_t根据公式α_t＝(D_t ^TD_t+λI-D_t ^TPD_t)^-1(D_t ^Ty-D_t ^TPy)和β^t＝(Δy^TΔy+ηI)^-1(Δy^TD_tα-Δy^TΔy)，计算出表示系数α_t和β^t，其中P＝Δy(Δy^TΔy+ηI)Δy^T。最后根据的原则得到测试样本y的预测标签值其中m∈{1,2,...K}；

(d)重复执行步骤(a)-(c)，直到t达到预先设置的集成次数T；

步骤4,集成得到测试样本y的标签向量为l＝[l₁,l₂,l₃...l_T]，采用最大投票法确定最终测试样本的类别结果，最后输出土地覆盖图。

采用本发明的基于Bagging的高光谱遥感协同表示算法(Bags CRC和Bags TCRC)对高光谱遥感影像数据进行了实验，并与之相关的算法进行比较。对比方法主要有Bagging(matlab自带的程序，基分类器为决策树),随机森林(Random Forest,RF),CRC和TCRC。首先对本发明的Bag CRC和Bags TCRC算法中的正则化参数λ的进行分析，随着正则化参数λ的变化，Bags CRC和Bags TCRC算法的总体分类精度变化如图3所示，其中T＝10。据此，将λ设置为1e-4。然后对本发明的Bags TCRC算法的正则化参数β进行分析，其中T＝10。Bags TCRC算法的总体分类精度变化如图4所示，据此，将λ、β分别设置为1e-6和1e-4。6种算法分类精度如表1所示，可见Bags CRC分类精度高于CRC，Bags TCRC分类精度高于TCRC，且Bags TCRC分类精度最高。综上，本发明方法的性能要好于其他类似方法。

表1.各算法分类精度

注：Overall Accuracy：总体分类精度；

Average Accuracy：平均分类精度；

Kappa：Kappa系数。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种基于Bagging的高光谱遥感协同表示集成学习分类算法，其特征在于：所述算法包括以下步骤：

步骤1，将高光谱遥感影像转换为二维矩阵，根据地物真实值随机选择训练样本集和测试样本集；输入高光谱遥感影像的训练集X∈R^N*M,其中M代表样本数目，N表示波段数目，测试样本y，设置集成次数T，正则化参数λ、β，两种基分类器：协同表示分类器CRC、切空间协同表示分类器TCRC；

步骤2，训练集X构造字典D＝{D₁,D₂,...D_K}，其中 其中K表示地物类别数；

步骤3，执行以下步骤：

(a)在原始训练集X采用Bootstrape采样方法生成训练子集X_t∈R^N*M；

(b)利用训练子集X_t构建新的字典D_t＝{D_1t,D_2t,D_3t,...,D_Kt}，其中 其中K表示类别数；

(c)利用基分类器分类得到测试样本y的类别标签其中m∈{1,2,...K}；

(d)重复执行步骤(a)-(c)，直到循环次数t达到预先设置的集成次数T；

步骤4,集成后测试样本y的标签向量l＝[l₁,l₂,l₃...l_T]采用最大投票法确定测试样本y的最终类别标签，最后输出高光谱遥感影像的土地覆盖图。

2.根据权利要求1所述基于Bagging的高光谱遥感影像协同表示集成分类方法，其特征在于：所述步骤(c)中，基分类器为CRC，该分类器的目标函数为：

其中λ为正则化系数用于平衡惩罚项和误差项的大小；表示系数α_t值的求解结果为：

α_t＝(D_t ^TD_t+λI)^-1(D_t ^Ty)

式中为D_t的转置，I为单位矩阵；利用各类别训练子集D_mt所对应的表示系数α_mt计算各类别对目标像元的表示估计，利用子类别表示估计D_mtα_mt与测试样本y的误差最小进行分类，如下式所示：

3.根据权利要求1所述基于Bagging的高光谱遥感协同表示集成学习分类方法，其特征在于：所述步骤(c)中，假设同一类别的样本位于同一个低维流形中；根据该假设，测试样本的光谱空间及其可能的变化空间位于同一低维流形中；转换表示的形式为：

其中y和y′分别代表原始和变换的光谱特征空间，并且v反映光谱特征的各种变化；测试样本y的局部流形结构可由测试样本y的切空间近似表示，将局部流形结构嵌入协同表示分类模型中，表达式如下所示：

其中代表切空间的基；当邻域足够大时：

从而该分类器的目标函数为：

式中Δy为测试样本与其邻域像元y′∈{y_i|i＝1,2,...,n}光谱特征向量之差，Δy＝[y₁′-y；y₂′-y；...y_n′-y]，其中n为邻域像元的个数；对β_t项进行l₂范数的正则化约束；η为正则化系数用于平衡惩罚项和误差项的大小；

α_t＝(D_t ^TD_t+λI-D_t ^TPD_t)^-1(D_t ^Ty-D_t ^TPy)

β_t＝(Δy^TΔy+ηI)^-1(Δy^TD_tα_t-Δy^TΔy)

式中，I为单位矩阵，P＝Δy(Δy^TΔy+ηI)Δy^T；若测试样本y来自第m类，则测试样本的最佳近似表示估计值为：

利用子类别估计值与测试样本y的误差最小进行分类，如下所示:

4.根据权利要求1所述基于Bagging的高光谱遥感协同表示影像集成学习分类方法，其特征在于：设在一个K类问题中使用T个基分类器，其中第t次构造的分类器对测试样本的分类结果表示为所述步骤4中的最大投票法表示为l_final＝mode(l),其中l＝[l₁,l₂,l₃...l_T]，即选择大多数分类器赋予测试样本y的类别标签。