CN102208037B - 基于高斯过程分类器协同训练算法的高光谱图像分类方法 - Google Patents

Abstract

本发明提出了一种基于高斯过程分类器协同训练算法的高光谱图像分类方法，它属于图像处理技术领域，主要解决现有技术在高光谱数据有标记样本个数较少时，分类精度不够高的问题。其实现过程为：首先将样本的特征向量随机划分成个两个子特征向量，将这两个子特征向量作为样本的两个视角；然后利用部分无标记样本和已有有标记样本的这两个视角进行高斯过程分类器协同训练，得到两个最终高斯过程分类器；利用这两个最终高斯过程分类器对所有无标记样本的两个视角分别进行标记，并把概率较大的类别标记作为该无标记样本的分类结果。本发明应用于高光谱图像分类，在有标记样本个数少的情况下，能显著提高分类正确率。

Description

基于高斯过程分类器协同训练算法的高光谱图像分类方法

技术领域

本发明属于图像处理技术领域，涉及高光谱图像的分类，可用于遥感图像理解与解译。

背景技术

高光谱遥感技术出现于20世纪80年代，它将反映目标辐射属性的光谱信息与反映目标空间和几何关系的图像信息有机地结合在一起，开创了成像光谱的概念。高光谱影像具有丰富的地物光谱信息，较之全色、多光谱影像在地物分类识别方面具有巨大的优势。故而成为地图制图，植被调查，海洋遥感，军事情报获取等领域一种重要的技术手段。

高光谱数据的分类实质上就是将高光谱图像的某一类特征在特征空间采用一定的分类方法将图像分为若干个不同属性的类，这种特征可以是光谱，亮度，空间结构，光谱形状等，最简单最直接的分类是采用各谱段的亮度特征进行基于单相元的分类。目前应用于高光谱图像分类领域的分类方法包括无监督、有监督和半监督学习算法。其中：

常用的无监督算法，包括K均值聚类，谱聚类等。由于无监督分类算法完全不利用样本的标记信息，在特征维数高且地物类别数多的高光谱图像分类应用中很难得到较好的结果。

常用的有监督算法，包括k近邻、决策树、支持向量机SVM，高斯过程分类器GPC等。其中：支持向量机SVM是由Vapnik等提出的一种机器学习算法，拥有很好的泛化和推广能力，但是其在应用过程中需要手动调节参数，且参数调节范围无规律遵循，这就导致分类器训练时间较长。高斯过程分类器，是一种基于高斯过程的核分类器，其目标在于对给定数据点预测其类别标记的后验概率。由于其精确计算难以实现，经常采用基于蒙特卡洛采样的方法或者近似推导方法来实现，最常用的近似推导方法是拉普拉斯和期望传播算法。高斯过程分类器在给出类别标记预测的同时还可以得到隶属于此类别的概率，同时在参数调节方面它可以实现自动相关决策，而不需要手动调节参数。然而，高光谱地物分类的难点之一就是有标记数据非常少，在这种情况下上述有监督的分类器由于可利用的标记信息过少而很难达到满意的分类精度。

半监督学习算法可以通过利用部分无标记样本的信息来弥补有标记样本过少这一问题。现有的半监督学习方法，包括自训练方法，基于图的方法，协同训练方法等。其中：

自训练方法，首先用有标记数据训练分类器，然后用训练好的分类器为无标记数据进行标记，再选取其中置信度最高的若干个无标记数据放入到标记数据训练集里，接着用新的训练集对前面的分类器再次训练，并不断重复此过程，直至达到某停止条件。这种自训练方法泛化性能较差，应用于类别数目较多的数据常常达不到预期效果。

基于图的方法，其基本内容是构建一个图用来表征所有样本之间的相似性，已标记样本点的类别信息可以在带权图上传递，传递的结果可以为未标记样本提供有效的分类信息。基于图的方法在泛化性能上较之自训练算法有所提高。但是这种基于图的方法大多数在实现过程中计算量和存储量都很大，因而在处理大量高维的高光谱数据时对计算机内存要求较高，否则会造成内存溢出而无法处理。

协同训练算法，首先假设数据集有两个不同视角，然后在两个视角上利用有标记样本分别训练出一个分类器，进而，在协同训练过程中，每个分类器从未标记样本中挑选出若干标记置信度较高的样本，并把这些样本连同其标记加入另一个分类器的有标记训练集中，以便对方利用这些新标记的样本进行更新。协同训练过程不断迭代进行，直到达到某个停止条件。目前，在协同训练算法中使用最广泛的分类器是朴素贝叶斯分类器。这种分类器虽然可操作性比较强，但其仅在数据训练集规模较大时处理得比较精确，当数据训练集较小时，分类正确率就难以保证。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于高斯过程分类器协同训练算法的高光谱图像分类方法，以在有标记训练样本集规模较小的情况下，进一步提高分类精度。

实现本发明目的的技术关键是将高斯过程分类器引入到协同训练算法中，利用此高斯过程分类器协同训练算法进行高光谱图像分类，其实现过程包括如下：

(1)输入高光谱图像，该高光谱图像包含无标记样本和m类有标记样本，其中，m≥2，每一个样本由一个特征向量表示，从所有无标记样本中选取z个无标记样本构成协同训练使用的无标记样本集合U；

(2)将每一个样本的特征向量随机划分成两个子特征向量，将这两个子特征向量分别作为协同训练的两个视角，记为第一视角和第二视角；

(3)利用第一视角和第二视角进行高斯过程分类器协同训练：

3.1)从协同训练使用的无标记样本集合U中随机选出n个无标记样本，构成待标记样本集合V_i，余下的(z-n)个无标记样本构成侯选样本集合H_i，并将所有m类有标记样本组成有标记样本集合L_i，其中，i表示迭代次数，初始化为i＝1；

3.2)利用上述有标记样本集合L_i中每个样本的第一视角，采用拉普拉斯近似推导方法构造高斯过程分类器h1_i；

3.3)利用高斯过程分类器h1_i对待标记样本集合V_i中待标记样本的第一视角进行标记，得到所有待标记样本的类别标记及其隶属于此类别的概率，并从该类别标记中选出m个隶属于每一类概率最大的类别标记，将该每一类概率最大的类别标记连同其相对应的m个待标记样本，加入到有标记样本集合L_i中，得到更新的有标记样本集合L_i′，并将上述m个待标记样本从待标记样本集合V_i中删除，得到更新的待标记样本集合V_i′；

3.4)利用更新的有标记样本集合L_i′中每个样本的第二视角，采用拉普拉斯近似推导方法构造高斯过程分类器h2_i；

3.5)利用高斯过程分类器h2_i对更新的待标记样本集合V_i′中待标记样本的第二视角进行标记，得到所有待标记样本的类别标记及其隶属于此类别的概率，从该类别标记中选出m个隶属于每一类概率最大的标记，将该每一类概率最大的类别标记连同其相对应的m个待标记样本，加入到上述更新的有标记样本集合L_i′中，得到有标记样本集合L_i+1，并将上述m个待标记样本从更新的待标记样本集合V_i′中删除，得到二次更新的待标记样本集合V_i″；

3.6)从候选样本集合H_i中选取p个样本，加入到二次更新的待标记样本集合V_i″中，得到待标记样本集合V_i+1，并将这p个样本从候选样本集合H_i中删除，得到候选样本集合H_i+1，其中，p≥2m；

3.7)更新变量i＝i+1；

3.8)判断侯选样本集合H_i是否为空集，如果为空集则结束迭代，将此时的两个高斯过程分类器分别记为最终高斯过程分类器h1_k，h2_k，其中，k为迭代结束时i的值，然后执行步骤(4)，如果H_i不为空集转至步骤3.2)；

(4)利用最终高斯过程分类器h1_k和h2_k，对高光谱图像中每个无标记样本的第一视角和第二视角分别进行标记，得到其类别标记及其隶属于此类别的概率，并把隶属于此类别概率较大的类别标记作为该无标记样本的最终分类结果。

本发明与现有的技术相比具有以下优点：

1.分类精确度高

本发明通过将高斯过程分类器引入到协同训练算法中，在有标记样本规模较小的情况下，提高了对待标记样本标记的准确度，进而提高了协同训练算法的性能，应用于高光谱图像分类时所需有标记样本个数少，分类精确度高。

2.对图像的大小限制小

本发明使用的高斯过程分类器协同训练算法，模型简单，存储量小，可用来处理大规模的高光谱图像而不会存在内存不足的问题。

附图说明

图1是本发明的总流程图；

图2是本发明进行高斯过程分类器协同训练的子流程图；

图3是本发明仿真使用的Botswana高光谱图像；

图4是本发明与现有两种算法应用于高光谱图像分类时的性能比较图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤1，输入高光谱图像。

输入的高光谱图像包含N个像素点，其中有标记像素点为l个，无标记像素点为(N-l)个，每一个像素点就是一个样本，第k个样本用特征向量x_k表示，1≤k≤N，

表示特征向量x_k的第e维特征，1≤e≤d，d为特征向量的维数；

上述l个有标记样本组成有标记样本集合

该l个有标记样本对应的类别标记组成类标集合

y_k∈{1，K，m}，m为有标记样本的类别数，(N-l)个无标记样本组成无标记样本集合上述N，l，m，d均由具体高光谱图像决定；

从无标记样本集合Q中随机选取z个无标记样本构成协同训练使用的无标记样本集合U，记为

步骤2，构建协同训练的两个视角。

将特征向量

随机划分成子两个子特征向量，其中，第一子特征向量由第a₁，...，a_h维特征组成，第二子特征向量由剩余的第a_h+1，....，a_d维特征组成，将这两个子特征向量分别作为第k个样本的两个视角，记为第一视角

第二视角

其中，a_g∈[1，...，d]，1≤g≤d，

1≤k≤N，表示向上取整操作。

步骤3，利用上述第一视角和第二视角，进行高斯过程分类器协同训练。

参照图2，本步骤的实现步骤如下：

(3.1)从协同训练使用的无标记样本集合U中随机选出n个无标记样本，构成待标记样本集合V_i，记为

1≤n≤z，余下的(z-n)个无标记样本构成侯选样本集合H_i，记为

协同训练使用的有标记样本集合记为L_i，该L_i中样本对应类别标记组成的类标集合记为Y_i，其中，i表示迭代次数，初始化为i＝1，且，L₁＝L，Y₁＝Y；

(3.2)将有标记样本集合L_i中所有样本的第一视角组成第一视角集合D1_i，记为

其中，n1为此时刻有标记样本集合L_i中有标记样本的个数，将该第一视角集合D1_i与类标集合Y_i作为输入的训练数据集合，采用拉普拉斯近似推导方法，构造高斯过程分类器h1_i，该拉普拉斯近似推导方法构造高斯过程分类器的过程可参考由C.Rasmussen和C.K.I.Williams于2006年所著文献：“Gaussian Process forMachine Learning”；

(3.3)利用高斯过程分类器h1_i对待标记样本集合V_i中第h个待标记样本x_h的第一视角x1_h进行标记，得到其类别标记y1_h及其隶属于此类别的概率p1_h，y1_h∈[1，K m]，1≤h≤n2，n2为待标记样本集合V_i中待标记样本的个数，将上述得到的类别标记组成类标集合

该类标集合Y1_i中包含了m类类别标记，将类标集合Y1_i中第o类类别标记组成类标集合Y1_io，将第o类类别标记对应的概率组成概率集合P1_io，从该概率集合P1_io中选出数值最大的概率记为

此最大概率

对应的类别标记记为

对应的待标记样本记为

1≤o≤m，将

加入到类标集合Y_i中，得到更新的类标集合Y_i′，将

加入到有标记样本集合L_i中，得到更新的有标记样本集合L_i′，并将

从待标记样本集合V_i中删除，得到更新的待标记样本集合V_i′；

(3.4)将更新的有标记样本集合L_i′中所有样本的第二视角组成第二视角集合D2_i，记为

其中，n2为此时刻更新的有标记训练样本集合L_i′中有标记训练样本的个数，将该第二视角集合D2_i与类标集合Y_i′作为输入的训练数据集合，采用拉普拉斯近似推导方法构造高斯过程分类器h2_i，该拉普拉斯近似推导方法构造高斯过程分类器的过程可参考由C.Rasmussen和C.K.I.Williams于2006年所著文献：“Gaussian Process for Machine Learning”；

(3.5)利用高斯过程分类器h2_i对更新的待标记样本集合V_i′中第h个待标记样本x_h的第二视角x2_h进行标记，得到其类别标记y2_h及其隶属于此类别的概率p2_h，y2_h∈[1，K m]，1≤h≤n3，n3为更新的待标记样本集合V_i′中待标记样本的个数，将上述得到的类别标记组成类标集合

则该类标集合Y2_i中包含了m类类别标记，将Y2_i中第o类类别标记组成类标集合Y2_io，将第o类类别标记对应的概率组成概率集合P2_io，从该P2_io中选出数值最大概率记为

此最大概率

对应的类别标记记为

此类别标记

对应的待标记样本记为

1≤o≤m，将

加入到更新的类别标记集合Y_i′中，得到二次更新的类标集合Y_i″，将

加入到更新的有标记样本集合L_i′中，得到有标记样本集合L_i+1，并将从更新的待标记样本集合V_i′中删除，得到二次更新的待标记样本集合V_i″；

(3.6)从候选样本集合H_i中选取p个样本，加入到二次更新的待标记样本集合V_i″中，得到待标记样本集合V_i+1，并将这p个样本从候选样本集合H_i中删除，得到候选样本集合H_i+1，其中，p≥2m；

(3.7)更新变量i＝i+1；

(3.8)判断侯选样本集合H_i是否为空集，如果为空集则结束迭代，将此时的两个高斯过程分类器分别记为最终高斯过程分类器h1_d，h2_d，其中，d为迭代结束时i的值，然后执行步骤4，如果H_i不为空集转至(3.2)。

步骤4，对高光谱图像中的无标记样本进行分类。

无标记样本集合

中无标记样本x_k的第一视角记为x1_k，第二视角记为x2_k，将无标记样本x_k的第一视角x1_k输入最终高斯过程分类器h1_d中，输出其类别标签y1_k及属于此类别的概率p1_k，将无标记样本x_k的第二视角x2_k输入最终高斯过程分类器h2_d中，输出其类别标签y2_k及属于此类别的概率p2_k，其中，y1_k∈{1，...，m}，y2_k∈{1，...，m}，如果p1_k≥p2_k，则将类别标记y1_k作为无标记样本x_k的分类结果，否则，将y2_k作为无标记样本x_k的分类结果。

本发明的优点由以下仿真进一步说明：

1.仿真条件

本发明使用的高光谱数据Botswana是由美国航空航天局(NASA)的卫星EO-1在2001年5月31日获取的南非博茨瓦纳地区奥卡万戈三角洲的影像，大小是256×1476，共242个波段，除去噪声波段后剩余了145个波段，见图3。在该高光谱图像中，有标记样本共有3248个，包含14类地物信息。

在实验中，将高光谱图像包含的所有样本在(0，1)范围上进行归一化，支持向量机参数的调整范围为(10^-3～10³)，高斯过程分类器初始参数设置为[1，1]，高斯过程分类器协同训练算法参数设置为：z＝2000，n＝1000。

2仿真内容及分析

A.使用三种方法对高光谱图像Botswana进行分类，三种方法分别是支持向量机方法，高斯过程分类器方法与本发明高斯过程分类器协同训练算法，在此实验中，本发明高斯过程分类器协同训练算法参数p固定为p＝100，改变使用的有标记样本的个数，得出三种方法的分类性能与有标记样本个数的关系，在每个不同的有标记样本个数的取值下，进行20次分类实验，取其结果的平均值，如图4所示，其中图4a是三种方法分类正确率与有标记样本个数的关系图，图4b是三种方法kappa系数与有标记样本个数的关系图。图4a中的横坐标是有标记样本的个数，纵坐标是分类正确率，图4b中的横坐标是有标记样本的个数，纵坐标是kappa系数。

从图4a和4b可以看出，在有标记样本个数由少到多变化时，本发明的分类正确率与kappa系数较之高斯过程分类器和支持向量机都有不同程度的提高，尤其是在有标记样本个数较少时提高显著。

B.使用本发明对高光谱图像Botswana进行分类，将有标记样本个数l固定为140，参数p分别取以下值200，150，100，80，60，50，在每一个不同的p值下进行20次分类实验，取其结果的平均值，得出本发明方法分类正确率和kappa系数与参数p的关系，由于参数p决定了最终迭代次数k，

表示向下取整操作，故可得到本发明分类正确率与最终迭代次数k的关系，如表1所示，得到本发明的kappa系数与最终迭代次数k的关系，如表2所示。

表1  本发明分类正确率与最终迭代次数k的关系表

最终迭代次数k	分类正确率(％)
		5	88.33
7	88.48
		10	88.52
13	88.24
		17	88.32
20	88.33

表2  本发明kappa系数与最终迭代次数k的关系表

最终迭代次数k	kappa系数
		5	0.8734
7	0.8713
		10	0.8755
13	0.8725
		17	0.8734
20	0.8734

从表1和表2可以看出，本发明的最终迭代次数k对分类正确率和kappa系数的影响不大，故大量增大迭代次数并不能使得分类正确率和kappa系数大幅度提高，所以在利用本发明进行高光谱图像分类时，不需要进行太多次迭代来提高分类正确率和kappa系数，这样就不会导致计算量大幅增加。

综上，本发明方法应用于高光谱图像分类时，在有标记样本个数较少时，能有效提高分类精度，而不需要大幅增加计算量。

Claims (2)

1.一种基于高斯过程分类器协同训练算法的高光谱图像分类方法，包括：

（1）输入高光谱图像，该高光谱图像包含无标记样本和m类有标记样本，其中，m≥2，每一个样本由一个特征向量表示，从所有无标记样本中选取z个无标记样本构成协同训练使用的无标记样本集合U；

（2）将每一个样本的特征向量随机划分成两个子特征向量，将这两个子特征向量分别作为样本的两个视角，记为第一视角和第二视角；

（3）利用第一视角和第二视角进行高斯过程分类器协同训练：

3.1）从协同训练使用的无标记样本集合U中随机选出n个无标记样本，构成待标记样本集合V_i，余下的(z-n)个无标记样本构成侯选样本集合H_i，并将所有m类有标记样本组成有标记样本集合L_i，其中，i表示迭代次数，初始化为i=1；

3.2）利用上述有标记样本集合L_i中每个样本的第一视角，采用拉普拉斯近似推导方法构造高斯过程分类器h1_i；

3.3）利用高斯过程分类器h1_i对待标记样本集合V_i中待标记样本的第一视角进行标记，得到所有待标记样本的类别标记及其隶属于此类别的概率，并从该类别标记中选出m个隶属于每一类概率最大的类别标记，将该每一类概率最大的类别标记连同其相对应的m个待标记样本，加入到有标记样本集合L_i中，得到更新的有标记样本集合L_i′，并将上述m个待标记样本从待标记样本集合V_i中删除，得到更新的待标记样本集合V_i′；

3.4）利用更新的有标记样本集合L_i′中每个样本的第二视角，采用拉普拉斯近似推导方法构造高斯过程分类器h2_i；

3.5）利用高斯过程分类器h2_i对更新的待标记样本集合V_i′中待标记样本的第二视角进行标记，得到所有待标记样本的类别标记及其隶属于此类别的概率，从该类别标记中选出m个隶属于每一类概率最大的标记，将该每一类概率最大的类别标记连同其相对应的m个待标记样本，加入到上述更新的有标记样本集合L_i′中，得到有标记样本集合L_i+1，并将上述m个待标记样本从更新的待标记样本集合V_i′中删除，得到二次更新的待标记样本集合V_i″；

3.6）从候选样本集合H_i中选取p个样本，加入到二次更新的待标记样本集合V_i″中，得到待标记样本集合V_i+1，并将这p个样本从候选样本集合H_i中删除，得到候选样本集合H_i+1，其中，p≥2m；

3.7）更新变量i=i+1；

3.8）判断侯选样本集合H_i是否为空集，如果为空集则结束迭代，将此时的两个高斯过程分类器分别记为最终高斯过程分类器h1_d，h2_d，其中，d为迭代结束时i的值，然后执行步骤（4），如果H_i不为空集转至步骤3.2）；

（4）利用最终高斯过程分类器h1_d和h2_d，对高光谱图像中每个无标记样本的第一视角和第二视角分别进行标记，得到其类别标记及其隶属于此类别的概率，并把隶属于此类别概率较大的类别标记作为该无标记样本的最终分类结果。

2.根据权利要求1所述的基于高斯过程分类器协同训练算法的高光谱图像分类方法，其中步骤（4）所述的利用最终高斯过程分类器h1_d和h2_d，对高光谱图像中每个无标记样本的第一视角和第二视角分别进行标记，按如下步骤进行：

4a）将高光谱图像中第k个无标记样本记为x_k，将该无标记样本的第一视角和第二视角分别记为x1_k和x2_k；

4b）将所述x1_k输入到最终高斯过程分类器h1_d中，则输出x1_k的类别标签y1_k及属于此类别的概率p1_k，其中，y1_k∈{1,...,m}；

4c）将所述x2_k输入到最终高斯过程分类器h2_d中，则输出x2_k的类别标签y2_k及属于此类别的概率p2_k，其中，y2_k∈{1,...,m}；

4d）如果p1_k≥p2_k，则将类别标记y1_k作为无标记样本x_k的分类结果，否则，将y2_k作为无标记样本x_k的分类结果。

Images