CN103258212A - 基于吸引子传播聚类的半监督集成遥感影像分类方法 - Google Patents

Abstract

基于吸引子传播聚类的半监督集成遥感影像分类方法，涉及遥感影像分类领域，针对遥感影像分类过程中所面临的因样本不足且代表不好，致使总体分类精度低的问题。包括如下步骤：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器；利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成；利用步骤B获得的半监督集成模型对遥感影像进行分类。本发明可广泛应用于遥感影像分类方法中。

Description

基于吸引子传播聚类的半监督集成遥感影像分类方法

技术领域

本发明涉及遥感影像分类领域。 

背景技术

遥感影像信息统计分布存在着高度复杂性和随机性；选择样本时，对待分类影像认知也存在有限性、盲目性等因素。这些导致得到的样本数量少，且不够有代表性。针对小样本问题，学者们普遍采用半监督学习和集成学习两种学习范式对分类器进行改进。半监督学习利用未标记样本所隐含的地物类型在特征空间中的结构信息，拟合出一个更有代表性的分类器；集成学习综合多个同构或异构学习机对同一个问题进行学习进而提高分类器的泛化能力。然而这两种方法发展几乎是并行的，最近一项研究结果表明，集成学习与半监督学习之间存在许多互补性，且二者的混合范式(即半监督集成)可以更大程度地改进学习系统的泛化能力。吸引子传播聚类算法(Affinity Propagation，AP)是一种新的、快速高效的非监督学习算法，算法将所有的样本都看作是潜在的聚类中心，通过网络中各边的消息传递，找出每个样本所属簇类。避免了由于初始随机选择不良中心而导致算法准确率低下的缺点，同时也能迅速地逼近全局最优解。但是由于遥感图像的特点，该算法还没有广泛应用于遥感图像的分类。 

发明内容

本发明针对遥感影像分类过程中所面临的因样本不足且代表不好，致使总体分类精度低的问题，提出一种基于吸引子传播聚类的半监督集成遥感影像分类方法，目的在于进一步提高遥感影像的分类精度。 

基于吸引子传播聚类的半监督集成遥感影像分类方法，包括如下步骤： 

步骤A：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器； 

步骤B：利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成； 

步骤C：利用步骤B获得的半监督集成模型对遥感影像进行分类。 

所述步骤A：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器的过程为： 

步骤A1：令T＝L，其中L为标签样本集合，T代表当前新标签样本集合，即标签样本集合与后标注标签样本集合的并集，同时初始化阈值τ，设定τ的初始值为0.5； 

步骤A2：利用当前新标签样本集合T训练支持向量机SVM，得到的个体分类器表示为 S3VMⁿ，n为循环次数； 

步骤A3：在无标签样本集合M中采用吸引子传播聚类算法产生H个类簇； 

步骤A4：分别获取步骤A3中H个类簇的聚类中心，并将聚类中心组成候选集合N； 

步骤A5：利用个体分类器S3VMⁿ对候选集合N进行标注，n为循环次数； 

步骤A6：基于阈值τ产生标签子集ψ； 

步骤A7：更新当前新标签样本集合T，所述更新过程为将标签子集ψ增加到新标签样本集T中； 

步骤A8：更新无标签样本集合M，所述更新过程为将标签子集ψ从无标签样本集合M中删除； 

步骤A9：如果ψ＝φ降低τ的值，返回步骤A6，否则执行步骤A10； 

步骤A10：判断无标签样本集合M，如果M＝φ，则进入步骤A11，否则执行步骤A2； 

步骤A11：当前新标签样本集合T训练个体分类器S3VMⁿ⁺¹。 

所述步骤B：利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成的方法为： 

步骤B1：将个体分类器S3VMⁿ⁺¹的分类精度f作为权值

(i＝1，2，...，n；j＝1，2，...，c)，C为待分遥感影像的类别数； 

$f=\frac{\mathrm{Cc}}{\mathrm{Cc}+\mathrm{Cu}}\×100\%$

其中，Cc和Cu分别代表正确样本数和错分样本数； 

步骤B2：利用个体分类器S3VMⁿ⁺¹对X进行分类，其中X代表待分类像元，将分类结果相同的个体分类器S3VMⁿ⁺¹对该类别的加权值相加，得到加权和表示为： 

$\underset{i=1}{\overset{n+1}{\mathrm{\Σ}}}{W}_j^i(j=\mathrm{1,2},...,c)$

步骤B3：比较权值之和的大小，将最大值对应的类别作为像元X的最终类别标签。 

本发明通过基于吸引子传播聚类的半监督集成遥感影像分类方法解决了遥感影像分类过程中所面临因样本不足且代表不好，致使总体分类精度低的问题，进一步提高遥感影像的分类精度。该分类模型克服传统监督分类所面临的小样本问题；同时将AP算法引入到Self-training半监督学习范式，有效地克服了遥感影像分类中因错误样本的加入而造成分类精度低下的问题。本发明与传统SVM分类器、最优半监督个体分类器(S3VM)相比，在相同训练样本数量下(总样本30％作为训练样本，其余作为测试样本)，总体分类精度 比SVM提高9.51％，比S3VM提高5.32％。 

附图说明

图1为本发明基于吸引子传播聚类的半监督集成遥感影像分类方法的流程图； 

图2为具体实施方式一所述步骤A的流程图。 

具体实施方式

具体实施方式一、结合图1和2说明本具体实施方式。基于吸引子传播聚类的半监督集成遥感影像分类方法，它包括如下步骤： 

步骤A：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器； 

步骤B：利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成； 

步骤C：利用步骤B获得的半监督集成模型对遥感影像进行分类。 

本发明的详细实施步骤为： 

基于吸引子传播聚类的半监督集成遥感影像分类方法，包括如下步骤： 

步骤A：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器； 

所述步骤A：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器的过程为： 

步骤A1：令T＝L，其中L为标签样本集合，T代表当前新标签样本集合，即标签样本集合与后标注标签样本集合的并集，同时初始化阈值τ，设定τ的初始值为0.5； 

步骤A2：利用当前新标签样本集合T训练支持向量机SVM，得到的个体分类器表示为S3VMⁿ，n为循环次数； 

步骤A3：在无标签样本集合M中采用吸引子传播聚类算法产生H个类簇； 

步骤A4：分别获取步骤A3中H个类簇的聚类中心，并将聚类中心组成候选集合N； 

步骤A5：利用个体分类器S3VMⁿ对候选集合N进行标注，n为循环次数； 

步骤A6：基于阈值τ产生标签子集ψ； 

步骤A7：更新当前新标签样本集合T，所述更新过程为将标签子集ψ增加到新标签样本集T中； 

步骤A8：更新无标签样本集合M，所述更新过程为将标签子集ψ从无标签样本集合M中删除； 

步骤A9：如果ψ＝φ降低τ的值，返回步骤A6，否则执行步骤A10； 

步骤A10：判断无标签样本集合M，如果M＝φ，则进入步骤A11，否则执行步骤A2； 

步骤A11：当前新标签样本集合T训练个体分类器S3VMⁿ⁺¹。 

高精度、高性能的遥感分类器的构建离不开充足且准确的训练样本。本发明利用自训 练(self-training)半监督算法扩大训练样本集合数量以提高分类器的泛化能力。Self-training半监督算法首先用有标签样本训练一个分类器，在此选择分类性能较优的支持向量机(Support Vector Machines，SVM)作为基分类器，然后用此分类器对所有无标签样本进行分类，并给每个无标签样本标上类别标签和相应的置信度；再将置信度高的样本连同它的类别标签合并到训练集中继续训练分类器；重复上述过程直至结束条件满足。从self-training算法不难看出分类器是用自己的预测自我学习，那么如果某个分类器训练数据集中加入一个错误的分类信息，所得到的分类结果也可能由于预测错误而不断加强，进而扩大分类器的错误分类，这就是所谓的“错误累积”现象。为了克服这种弊端，在标签样本的标注过程中，引入了吸引子传播聚类算法(Affinity Propagation，AP)，主要目的在于通过AP聚类算法筛选出可信度高的候选样本集合，然后利用SVM对候选集合进行样本标注，以避免错误类别的加入。 

步骤B：利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成； 

所述步骤B：利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成的方法为： 

步骤B1：将个体分类器S3VMⁿ⁺¹的分类精度f作为权值

(i＝1，2，...，n；j＝1，2，...，C)，C为待分遥感影像的类别数； 

$f=\frac{\mathrm{Cc}}{\mathrm{Cc}+\mathrm{Cu}}\×100\%$

其中，Cc和Cu分别代表正确样本数和错分样本数； 

步骤B2：利用个体分类器S3VMⁿ⁺¹对X进行分类，其中X代表待分类像元，将分类结果相同的个体分类器S3VMⁿ⁺¹对该类别的加权值相加，得到加权和表示为： 

$\underset{i=1}{\overset{n+1}{\mathrm{\Σ}}}{W}_j^i(j=\mathrm{1,2},...,C)$

步骤B3：比较权值之和的大小，将最大值对应的类别作为像元X的最终类别标签。 

设定h_t(t＝1，2，...，T)是第t个成员分类器的决策函数，w_t(t＝1，2，...，T)是相应的权重，则决策为： 

$f\left(x\right)=\mathrm{sign}\left(\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{w}_t{h}_t\left(x\right)\right)$

集成学习主要思想是利用分类器的融合改善单个分类器的不足，集成学习性能一方面取决于多样性强的个体学习器，另一方面依赖于成员分类器的有效组合。个体生成方法利 用未标记数据有效的应对训练样本不足缺点，同时也产生若干性能差异的个体分类器(S3VM1···S3VMⁿ⁺¹)。利用加权投票法将这些个体分类器集成，进一步提高分类模型的泛化能力。 

加权投票法是将每个成员分类器均赋予一定的权重，权重通过在训练集上测量每个成员分类器精度获得，且权重与精度成正比，即分类能力好的基分类器被赋予较大的权系数，而分类能力相对差的基分类器赋予较小的权系数，集成的结果取决于加权和。 

吸引子传播聚类的半监督集成遥感影像分类方法以SVM模型作为基分类器，利用Self-training算法产生半监督分类器个体，其中在半监督学习过程中为了避免错误样本的加入引入AP聚类算法，最后将个体分类器采用加权集成策略进一步提高分类模型的泛化能力。该模型将半监督学习和集成学习两种范式结合，一方面充分利用大量廉价的未标记样本以减少对有标记样本的需求量；另一方面，基于AP选择的未标记数据能够增加个体分类器之间的差异性，从而进一步提高学习系统的泛化能力。 

Claims (3)

1.基于吸引子传播聚类的半监督集成遥感影像分类方法，其特征在于它包括如下步骤：

步骤A：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器；

步骤B：利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成；

步骤C：利用步骤B获得的半监督集成模型对遥感影像进行分类。

2.根据权利要求1所述的基于吸引子传播聚类的半监督集成遥感影像分类方法，其特征在于所述步骤A：利用吸引子传播聚类算法控制自训练半监督算法生成个体分类器的过程为：

步骤A1：令T＝L，其中L为标签样本集合，T代表当前新标签样本集合，即标签样本集合与后标注标签样本集合的并集，同时初始化阈值τ，设定τ的初始值为0.5；

步骤A2：利用当前新标签样本集合T训练支持向量机SVM，得到的个体分类器表示为S3VMⁿ，n为循环次数；

步骤A3：在无标签样本集合M中采用吸引子传播聚类算法产生H个类簇；

步骤A4：分别获取步骤A3中H个类簇的聚类中心，并将聚类中心组成候选集合N；

步骤A5：利用个体分类器S3VMⁿ对候选集合N进行标注，n为循环次数；

步骤A6：基于阈值τ产生标签子集ψ；

步骤A7：更新当前新标签样本集合T，所述更新过程为将标签子集ψ增加到新标签样本集T中；

步骤A8：更新无标签样本集合M，所述更新过程为将标签子集ψ从无标签样本集合M中删除；

步骤A9：如果ψ＝φ降低τ的值，返回步骤A6，否则执行步骤A10；

步骤A10：判断无标签样本集合M，如果M＝φ，则进入步骤A11，否则执行步骤A2；

步骤A11：当前新标签样本集合T训练个体分类器S3VMⁿ⁺¹。

3.根据权利要求1所述的基于吸引子传播聚类的半监督集成遥感影像分类方法，其特征在于所述步骤B：利用加权投票法对步骤A生成的多个个体分类器进行个体分类器集成的方法为：

步骤B1：将个体分类器S3VMⁿ⁺¹的分类精度f作为权值

(i＝1，2，...，n；j＝1，2，...，C)，C为待分遥感影像的类别数；

$f=\frac{\mathrm{Cc}}{\mathrm{Cc}+\mathrm{Cu}}\×100\%$

其中，Cc和Cu分别代表正确样本数和错分样本数；

步骤B2：利用个体分类器S3VMⁿ⁺¹对X进行分类，其中X代表待分类像元，将分类结果相同的个体分类器S3VMⁿ⁺¹对该类别的加权值相加，得到加权和表示为：

$\underset{i=1}{\overset{n+1}{\mathrm{\Σ}}}{W}_j^i(j=\mathrm{1,2},...,C)$

步骤B3：比较权值之和的大小，将最大值对应的类别作为像元X的最终类别标签。

Images