CN103440493A - 基于相关向量机的高光谱影像模糊分类方法及装置 - Google Patents

Abstract

本发明公开了一种基于相关相量机的高光谱影像模糊分类方法及装置，其中方法包括以下步骤：确定训练样本集，利用稀疏贝叶斯分类模型，选择核函数，建立相关向量机分类预测模型；针对所述训练样本集，采用一对一法构造多类相关相量机分类器，通过交叉验证优化分类器参数；利用所述多类相关向量机分类器对高光谱影像进行模糊分类。本发明提出的基于相关向量机（RVM）的高光谱影像模糊分类方法中，采用序列稀疏贝叶斯学习算法提高RVM训练速度，针对一对一法构造的多类RVM分类器，将两两配对的概率输出转化为相对于地物类别的隶属度。与SVM比较，RVM参数选择简单、分类速度快；利用模糊隶属度能够标识混合像元，有效提高影像分类的可靠性。

Description

基于相关向量机的高光谱影像模糊分类方法及装置

技术领域

本发明涉及高光谱遥感技术领域，尤其涉及一种基于相关相量机（RVM）的高光谱影像模糊分类方法及装置。 

背景技术

高光谱影像具有丰富的地物光谱信息，与全色、多光谱影像相比，在地物识别方面具有巨大的优势。高光谱影像记录的光谱范围宽、光谱分辨率高，能够获取地物精细的光谱曲线，从中能够很好地提取目标的辐射特性参量，使地表目标的定量分析成为可能。高光谱遥感已经成为植被调查、海洋遥感、农业遥感、环境监测、军事情报获取等领域新的重要技术手段。 

高光谱遥感成像机理复杂，成像光谱仪定标、大气辐射校正、地物光谱重建等预处理技术尚未完善。地物光谱曲线的近乎连续，也导致高光谱影像数据量大、波段相关性强、数据冗余严重。在不同季节、不同时刻、不同环境下，同类地物的光谱曲线也会有所不同。高光谱影像分类识别要解决是高维特征空间海量数据的非线性可分问题。因此，高光谱影像给地物精细分类识别带来了巨大机遇，也给传统影像分类方法带来了挑战。 

高光谱影像地物识别有一类研究方法是基于对光谱曲线的分析。基于地物光谱库的光谱匹配分类方法原理直观、计算简单，但前提是必须对高光谱影像进行准确的地物光谱重建，否则将会严重影响地物分类的精度。由于高光谱影像的空间分辨率较低，混合像元大量存在，混合像元分解中端元光谱的选择、解混模型的建立和求解都是有待解决的问题。 

高光谱影像地物识别另一类研究方法是进行模式分类。传统统计模式识别方法，例如贝叶斯分类、神经网络等，大多是基于经典统计理论的大数定理，泛化能力需要以样本数量趋近无穷大来描述，对于有限训练样本集的高光谱影像分类时，会遇到“维数灾难”现象。高光谱影像降维通常采用线性特征提取方法，这也可能会降低样本的可分性。模糊分类是针对不确定性的“软”分类 器，是高光谱影像分类的一个重要趋势，它以模糊集合论作为基础，有别于普通集合论中地物归属的绝对化，在分析地物的隶属关系时，一般需要按照某种数学模型计算它对于所有地物类别的隶属度，然后根据隶属度的大小，确定其归属。 

目前，许多学者对基于支持向量机（Support Vector Machine，SVM）的高光谱影像分类进行了研究。SVM基于统计学习理论的结构风险最小化原则，通过最小化经验风险和置信范围提高算法的泛化能力。SVM的数学模型表示为 

$y(x;w)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i}K(x,x_i)+w_0---\left(1\right)$

核函数K(x,x_i)是定义在训练样本点的基函数，N为基函数个数，w₀为参数。 

SVM能够有效避免过学习现象，具有良好的泛化能力，但它存在着明显的不足，主要表现在：①基函数个数基本上随训练样本集规模成线性增长，模型稀疏性有限；②预测结果不具有统计意义，无法获取预测结果的不确定性；③核函数参数和规则化系数需要通过交叉验证等方法确定，增加了模型训练的计算量；④核函数必须满足Mercer条件。 

核方法在SVM中得到成功应用以后，人们开始利用核函数将经典的线性分析方法推广到一般情况的研究，被成为继经典统计线性分析、神经网络与决策树非线性分析之后的第三次模式分析方法的变革。支持向量机、稀疏核主成份分析等也引起了人们研究“稀疏”学习模型的兴趣。 

稀疏学习模型具有的一般形式为： 

$y\left(x\right)=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{w}_m{\mathrm{\φ}}_m\left(x\right)---\left(2\right)$

它是相对于权值向量w=(w₁,…,w_M)^T的线性模型，y(x)能够逼近实变量函数或判别函数。假定存在训练样本集

稀疏模型是通过将权值向量w的多数元素设置为零，来控制模型复杂度，从而避免过学习现象，减小模型预测的计算量。 

2000年，Tipping提出了一种与SVM相似的稀疏概率模型来弥补SVM的不足，被称为相关向量机（Relevance Vector Machines，RVM）。2003年，Tipping设计了快速序列稀疏贝叶斯学习算法，提高了模型训练速度；2005年， Thayananthan将该模型推广，解决了多元输出回归和多类分类的训练问题。RVM最初用以处理回归问题，通过Laplace逼近可以将分类问题转化为回归问题。目前，已经开展了RVM在文本识别、时序分析等应用领域的研究。 

发明内容

本发明提出一种基于相关相量机的高光谱影像模糊分类方法及装置，以提高影像分类的可靠性。 

一种基于相关相量机的高光谱影像模糊分类方法，包括：确定训练样本集，利用稀疏贝叶斯分类模型，选择核函数，建立相关向量机分类预测模型；针对所述训练样本集，采用一对一法构造多类相关相量机分类器，通过交叉验证优化分类器参数；利用所述多类相关向量机分类器对高光谱影像进行模糊分类。 

所述利用稀疏贝叶斯分类模型选择核函数包括：根据拉普拉斯逼近方法推断模型参数；利用快速学习算法选择基函数；选择核函数及参数。 

所述模型参数推断过程为：首先初始化超参数向量；对于给定的向量，建立后验概率分布的高斯近似，从而获取边缘似然函数的近似分布；通过最大化边缘似然函数来重新估计向量；重复这个过程直到收敛。 

所述基函数的选择过程为：初始化选择1个基函数f₁，并估计相应权值w₁；设置基函数f₁的超参数a₁为合理数值，使其它所有超参数a_j为无穷大，即模型中只有基函数f₁；计算均值μ和方差Σ，同时计算出所有基函数对应的q_i和s_i；选择候选的基函数f_i。 

所述核函数选择过程为：首先收集和整理样本，并将样本特征的数值范围进行标准化；然后选择或构造核函数，并利用核函数将样本变换成为核矩阵，在特征空间中对核矩阵实施线性算法；最终得到输入空间中的非线性模型。 

采用一对一法构造多类相关相量机分类器包括：在训练样本集T中找出所有不同类别两两配对组成两类相关相量机分类器，总共有P=k(k-1)/2个，用属于这两个类别的训练样本组成两类问题的训练样本集T(i,j)，然后求解两类问题，分别求得P个判别函数f_(i,j)(x)。分类时，将输入样本X分别送到P个判别函数f_(i,j)(x)，若f_(i,j)(x)=+1，判x为i类，i类获得一票，否则判为j类，j类获得统计 一票。k个类别在P个判别函数结果中的得票数，票数最多的类别就是最终判定类别。 

优选地，在构造多类相关相量机分类器之后还包括：将两两配对后验概率转化为属于各类的模糊隶属度，进行地物属性的判别。 

一种基于相关相量机的高光谱影像模糊分类装置，包括：建模单元，用于确定训练样本集，利用稀疏贝叶斯分类模型，选择核函数并建立相关向量机分类预测模型；分类器构造单元，用于针对所述训练样本集，采用一对一法构造多类相关相量机分类器，通过交叉验证优化分类器参数；分类执行单元，用于利用所述多类相关向量机分类器对高光谱影像进行模糊分类。 

其中，所述建模单元进一步包括：模型参数推断子单元，用于根据拉普拉斯逼近方法推断模型参数；基函数选择子单元，用于利用快速学习算法选择基函数；核函数选择子单元，用于选择核函数及参数。 

优选地，所述装置还包括：模糊隶属度求解单元，用于将两两配对后验概率转化为属于各类的模糊隶属度，进行地物属性的判别。 

可见，本发明采用序列稀疏贝叶斯学习算法提高RVM训练速度，针对一对一法构造的多类RVM分类器，将两两配对的概率输出转化为相对于地物类别的隶属度。与SVM的比较表明，RVM参数选择简单、分类速度快；利用模糊隶属度能够标识混合像元，有效提高影像分类的可靠性。 

附图说明

图1是本发明基于RVM的高光谱影像模糊分类方法的流程图； 

图2是本发明基于RVM的高光谱影像模糊分类装置的示意图。 

具体实施方式

本发明提出一种基于相关向量机（RVM）的高光谱影像模糊分类方法。采用序列稀疏贝叶斯学习算法提高RVM训练速度，针对一对一法构造的多类RVM分类器，将两两配对的概率输出转化为相对于地物类别的隶属度。与SVM比较，RVM参数选择简单、分类速度快；利用模糊隶属度能够标识混合像元，有效提高影像分类的可靠性。 

参见图1，为本发明基于RVM的高光谱影像模糊分类方法的流程图，包括： 

S101：确定训练样本集，利用稀疏贝叶斯分类模型，选择核函数，建立相关向量机分类预测模型； 

S102：针对所述训练样本集，采用一对一法构造多类相关相量机分类器，通过交叉验证优化分类器参数； 

S103：利用所述多类相关向量机分类器对高光谱影像进行模糊分类。 

其中，S101涉及以下步骤：根据拉普拉斯逼近方法推断模型参数；利用快速学习算法选择基函数；选择核函数及参数。 

下面对各个步骤的实施和原理进行详细说明。 

（1）稀疏贝叶斯分类模型 

对于两类稀疏贝叶斯分类问题，假定训练样本集为

其中

为训练样本向量，

为训练样本标号，分类预测模型要将非线性基函数的线性组合通过S形函数映射到区间(0,1)内进行类别判定，即： 

z(x;w)=w^Tf(x) 

y(x;w)=s(z(x;w)) 

其中，f(x)=[φ(x₁),φ(x₂),…,φ(x_Μ)]^T为样本基函数映射成的列向量，φ_i(x)(i=1,…,N)是定义在训练样本点上的核函数，即φ_i(x)=K(x,x_i)。这里的w=(w₀,…,w_N)^T为所有基函数的权值组成的列向量，采用S形函数的数学表达式为： 

y=s(z)=1(1+e^-z) 

对于两类分类问题，假设样本独立同分布的，训练样本集似然函数为： 

$p\left(t\right|w)=\underset{n=1}{\overset{\stackrel{N}{~}}{O}}s{\left\{y(x_n;w)\right\}}^{t_n}1-s{\left\{y(x_n;w)\right\}}^{1-t_n}$

其中，t=(t₁,…t_N)^T为训练样本的目标向量。 

假设参数w_i服从均值为0方差为

的高斯条件概率分布，因此： 

其中，α是决定权值w的先验分布的超参数。这种先验概率分布是一种自动相关判定先验分布，模型训练结束后，非零权值的基函数所对应的样本向量被称为相关向量，这种学习机被称为相关向量机。 

根据贝叶斯理论，如果已知模型参数的先验概率分布p(w,α)，那么模型参数的后验概率为： 

p(w,α|t)=p(t|w,α)p(w,α)/p(t) 

若获取了模型参数的后验分布p(w,α|t)，那么对于待测样本为x_*，稀疏贝叶斯模型的预测值z_*的分布为： 

由于无法直接积分获取p(z_*|t)，需要通过参数推断获取预测值z_*。RVM判别准则为：如果y_*=s(z_*)<0.5，则t_*=0；如果y_*=s(z_*)>0.5，则t_*=1。 

（2）模型参数推断 

由于模型参数的后验分布p(w,α|t)不能通过积分直接获取，故将其分解为： 

p(w,α|t)=p(w|t,α)p(α|t) 

根据贝叶斯公式，p(α|t)μp(t|α)p(α)。由于模型参数的后验概率分布p(w|t,α)和边缘似然函数p(t|α)都无法积分求解，采用MacKay提出的拉普拉斯（Laplace）逼近方法近似，具体步骤描述如下：首先初始化超参数向量α；对于给定的向量α，建立后验概率分布的高斯近似，从而获取边缘似然函数的近似分布；通过最大化边缘似然函数来重新估计向量α；重复这个过程直到收敛。 

利用高斯正态分布来逼近后验概率分布的Laplace方法，是对后验概率分布的众数位置处函数的二次逼近。对于给定的向量α，由于： 

p(w|t,α)=p(t|w)p(w|α)p(t|α) 

那么，关于w的高斯后验分布的众数通过最大化公式（3）得到： 

（3） 

其中y_n=s{y(x_n;w)}，A=diag(a_i)。 

通过迭代再加权最小二乘法求解，迭代收敛后，得到以众数位置为中心的后验概率分布的近似高斯分布，其均值为w_MP=A^-1Φ^T(t-y)，方差为Σ=(Φ^TBΦ+A)^-1。这里B=diag(b₁,b₂,L,b_N)，b_n由公式（4）计算得到： 

b_n=s{y(x_n)}1-s{y(x_n)}    （4） 

得到近似后验概率分布后，同样使用Laplace逼近方法可以将边缘似然函数p(t|α)近似表示为： 

p(t|w_MP)p(w_MP|α)(2p)^M/2|S|^1/2

如果令

则近似高斯后验分布的均值方差Σ=(Φ^TBΦ+A)^-1。近似的边缘似然函数对数为： 

$L\left(\mathrm{\&alpha;}\right)=\log p\left(t\right|\mathrm{\&alpha;})=-\frac{1}{2}\{N\log \left(2p\right)+\log |C|+{\left(\hat{t}\right)}^T{C}^{-1}\hat{t}\}---\left(5\right)$

其中C=B+ΦA^-1Φ^T。 

利用Laplace逼近方法可以将分类问题转化为回归问题，相应回归问题的目标向量

稀疏贝叶斯分类模型学习，最终都归结为第II类型最大似然参数估计问题。 

（3）快速学习算法 

本发明采用自下而上的基函数选择方法，求解RVM学习过程中的第II类型最大似然参数估计问题，基函数个数从1开始不断增加直至获取相关向量，而且Φ与Σ只包含当前模型中存在的基函数。 

由于边缘似然函数的对数L(α)与单个超参数ａ_i的相关性，公式（5）中的C可以分解为

其中C_-i是C去除第i个基函数影响后的矩阵，满足： 

$\left|C\right|=\left|C_{-i}\right||1+a_i^{-1}{f}_i^T{C}_{-i}^{-1}{f}_i|$

$C_{-i}=C_{-i}^{-1}-\frac{C_{-i}^{-1}{f}_i{f}_i^T{C}_{-i}^{-1}}{a_i+f_i^T{C}_{-i}^{-1}{f}_i}$

边缘似然函数的对数L(α)可以表示为： 

L(α)=L(α_-i)+l(a_i) 

其中 $l\left(a_i\right)=\frac{1}{2}\log a_i-\log (a_i+s_i)+\frac{q_i^2}{a_i+s_i}.$

目标函数L(α)可分解为去除基函数f_i后的边缘似然函数L(α_-i)与关于a_i的独立表达式l(a_i)。这里的

稀疏因子s_i用于度量基函数f_i与模型中剩余所有基函数的重叠程度；质量因子q_i用于度量去除基函数f_i后对模型误差的校正。 

通过分析l(a_i)表明，L(α)关于a_i存在唯一最大值。当

当时。通过这种方法计算所有基函数f_i对应的s_i和q_i。 

如果假设

和

则有s_i=a_iS_i/(a_i-S_i)，q_i=a_iQ_i/(a_i-S_i)。s_i=S_i且q_i=Q_i。 

实际学习过程中，利用Woodbury恒等式，有

针对分类问题，有B=diag(b₁,b₂,L,b_N)，  $\hat{t}={\mathrm{\&Phi;w}}_{\mathrm{MP}}+B^{-1}(t-y).$

快速学习算法描述如下： 

序列稀疏贝叶斯学习算法流程可以描述为： 

①初始化选择1个基函数f₁，并估计相应权值w₁。 

②设置基函数f₁的超参数a₁为合理数值，使其它所有超参数a_j为无穷大，即模型中只有基函数f₁。 

③利用公式（4）计算B。 

④计算均值μ和方差Σ，同时计算出所有基函数对应的q_i和s_i。 

⑤选择候选的基函数f_i。 

⑥如果

则在模型中基函数f_i已经存在，并更新超参数  $a_i=s_i^2/(q_i^2-s_i).$

⑦如果

则在模型中增加基函数f_i，并更新超参数  $a_i=s_i^2/(q_i^2-s_i).$

⑧如果

则在模型中删除基函数f_i。 

⑨如果收敛，算法结束；否则，执行步骤③～⑨。 

（4）核函数及参数选择 

目前，核函数方法已经成为应用统计、机器学习、模式识别、数据挖掘等许多学科研究的重要工具，并被Shawe-Tsylor称为是继经典统计线性分析、神经网络与决策树非线性分析后第三次模式分析方法的变革。核函数方法的一般过程为：首先要将分析算法调整成为只包含输入向量内积的形式，然后将分析算法与核函数相结合，利用核函数计算特征空间中两个输入向量映射的内积，使得在高维特征空间中实现这一分析算法成为可能。 

核方法是一种模块化设计方法，通常可分为核函数设计和算法设计两个部分。核函数方法的实施步骤可以描述为：首先收集和整理样本，并将样本特征的数值范围进行标准化；然后选择或构造核函数，并利用核函数将样本变换成为核矩阵，在特征空间中对核矩阵实施线性算法；最终得到输入空间中的非线性模型。 

核方法之所以能够得到广泛应用，是因为其固有的优势：核函数的引入能够避免传统模式分析方法遇到的“维数灾难”，可以有效处理高维输入；核方法无需求解非线性变换映射的具体形式和参数，降低了算法复杂度；核函数形式和参数的变化会隐式地改变从输入空间到特征空间的映射，最终隐性地改变核方法的性能；核函数可以与不同分析算法相结合，并且这两部分可以进行单独设计。 

根据核函数理论，只要一种核函数满足Mercer条件，它就对应某一空间中的内积核函数、映射函数以及特征空间。常用的核函数有以下三种：多项式核函数、高斯径向基核函数、神经网络核函数。已有理论研究表明，高斯径向基（RadialBasisFunction，RBF）核函数的分类识别能力不低于高阶多项式核函数和神经网络核函数。因此，本发明中采用RBF核函数，其形式为： 

$k(x,x^{\&prime;})=e^{\frac{-{\left|\right|x-x^{\&prime;}\left|\right|}^2}{{\mathrm{\&sigma;}}^2}},{\mathrm{\&sigma;}}^2>0$

核函数参数的改变实际上是隐含地改变映射函数，从而改变样本数据特征空间分布的复杂程度。核函数参数取值直接影响到RVM的性能，具有十分重要的意义。本发明将RBF核函数参数定义域离散化后采用交叉验证方式，选择核函数合适的参数σ²。在每个离散化点进行2-折交叉验证时，将训练样本随机分 成两部分，一部分训练分类器，另一部分测试分类精度，进行两组分类实验，将平均分类错误率最小的网格点的参数作为选为最优参数组合。 

（5）多类分类器构造 

RVM是针对两类分类问题提出的判别方法，高光谱影像精细分类是典型的多类分类问题，需要将RVM推广至多类分类情况。解决多类分类问题大致有两种思路：第一种思路，将RVM中的原始最优化问题适当改变，使得它能同时计算出所有类的分类判别函数，从而“一次性”地实现多类分类。第二类思路，将多类问题分解为一系列RVM可直接求解的两类问题，基于这一系列RVM求解结果得出最终判别结果。 

本发明按照第二种思路，采用一对一法（One Against One，OAO）构造多类RVM分类器。对于k个类别的分类问题，一对一法多类RVM分类器构造方式如下： 

在训练样本集T中找出所有不同类别两两配对组成两类RVM分类器，总共有P=k(k-1)/2个，用属于这两个类别的训练样本组成两类问题的训练样本集T(i,j)，然后求解两类问题，分别求得P个判别函数f_(i,j)(x)。分类时，将输入样本X分别送到P个判别函数f_(i,j)(x)，若f_(i,j)(x)=+1，判x为i类，i类获得一票，否则判为j类，j类获得统计一票。k个类别在P个判别函数结果中的得票数，票数最多的类别就是最终判定类别。 

（6）模糊隶属度求解 

对于两类RVM分类问题，RVM直接输出属于各类的贝叶斯后验概率。针对OAO多类构造方式，需要将两两配对后验概率转化为属于各类的模糊隶属度，进行地物属性的判别。 

假设样本集存在k个类别w_i，1≤i≤k，k≥3，两两配对法需要计算k(k-1)/2个分类器，其中分类器C_ij（i<j）用于区分类w_i与w_j。 

假定样本x分类器C_ij输出的后验概率为： 

r_ij=Prob(x∈w_j|x,x∈{w_i,w_j}) 

其中，r_ij=1-r_ij。 

假设样本x所有两两配对输出概率计算出的多类后验概率为： 

p_i=Prob(x∈w_i|x) 

样本属于各类别的后验概率组成向量p=[p₁,p₂,…,p_k]^T，通过如下有约束的最优化问题来求解p。 

$\underset{p}{\min }\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j:j\&NotEqual;i}{\mathrm{\&Sigma;}}{(r_{\mathrm{ji}}{p}_i-r_{\mathrm{ij}}{p}_j)}^2$

（6） 

$s.t.\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{p}_i=1,p_i\&GreaterEqual;0,\&ForAll;i$

将优化问题（6）的目标函数可以用矩阵表示为： 

$\underset{p}{\min }{2p}^T\mathrm{Qp}\&equiv;\min \frac{1}{2}{p}^T\mathrm{Qp}$

其中 $Q_{\mathrm{ij}}=\left\{\begin{array}{cc}{\mathrm{\&Sigma;}}_{s:s\&NotEqual;i}{r}_{\mathrm{si}}^2& \mathrm{ifi}=j\\ -r_{\mathrm{ji}}{r}_{\mathrm{ij}}& \mathrm{ifi}\&NotEqual;j\end{array}\right..$

由于Q为半正定矩阵，因此不再需要约束条件p_i≥0，优化问题（6）可以转化为关于p的线性表达形式： 

$\left[\begin{array}{cc}Q& e\\ e^T& 0\end{array}\right]\left[\begin{array}{c}p\\ b\end{array}\right]=\left[\begin{array}{c}0\\ 1\end{array}\right]---\left(7\right)$

由于对称正定系统Cholesky分解的计算时间是Guass消除法计算时间的一半，由于公式（7）为对称非正定的，因此添加约束项△>0，将公式（6）转化为正定公式（8）后，可以进行Cholesky分解。 

$\left[\begin{array}{cc}Q+{\mathrm{\&Delta;ee}}^T& e\\ e^T& 0\end{array}\right]\left[\begin{array}{c}p\\ b\end{array}\right]=\left[\begin{array}{c}\mathrm{\&Delta;e}\\ 1\end{array}\right]---\left(8\right)$

针对OAO多类构造方式，任一样本利用得出两两配对的RVM后验概率r_ij后，可以通过公式（8）求解该像元属于任意地物类别的后验概率。 

与上述方法相对应，本发明还提供一种基于相关相量机的高光谱影像模糊分类装置。 

参见图2，为本发明基于相关相量机的高光谱影像模糊分类装置示意图，该装置可以采用软件、硬件或软硬件结合实现。具体地，该装置包括： 

建模单元201，用于确定训练样本集，利用稀疏贝叶斯分类模型，选择核函数并建立相关向量机分类预测模型； 

分类器构造单元202，用于针对所述训练样本集，采用一对一法构造多类相关相量机分类器，通过交叉验证优化分类器参数； 

分类执行单元203，用于利用所述多类相关向量机分类器对高光谱影像进行模糊分类。 

其中，建模单元202进一步包括：模型参数推断子单元，用于根据拉普拉斯逼近方法推断模型参数；基函数选择子单元，用于利用快速学习算法选择基函数；核函数选择子单元，用于选择核函数及参数。 

优选地，还包括：模糊隶属度求解单元，用于将两两配对后验概率转化为属于各类的模糊隶属度，进行地物属性的判别。 

有关装置其余实现细节和原理与上述方法相同，不再赘述。 

综上，RVM是在贝叶斯框架下提出的一种稀疏的学习机器，它没有规则化系数，核函数不需要满足Mercer条件，却能够得到具有统计意义的预测结果。本发明综合考虑核函数选择、多类分类器构造、模糊隶属度求解等问题，提出了一套基于相关向量机的高光谱影像模糊分类方法。 

在相关向量机学习过程，利用自下而上的基函数选择方法进行快速稀疏贝叶斯模型参数推断，采用交叉验证方法选择RBF核函数参数，采用一对一方法进行多类RVM分类器构造。在相关向量机分类过程中，针对一对一多类分类器，将两两配对的概率输出转化为属于各类地物的隶属度，进行模糊分类，提高高光谱影像分类的可靠性。 

1、采用自下而上的基函数选择方法，进行快速序列稀疏贝叶斯学习，提高相关向量机训练过程的速度。 

2、采用RBF核函数替代相关向量机中非线性映射函数的内积，不再需要明确非线性映射的数学表达式。 

3、针对RBF核函数，采用交叉验证法选择核函数参数，提高相关向量机的分类精度与可靠性。 

4、采用一对一方法构造多类相关向量机分类器，解决高光谱影像精细多类分类问题。 

5、针对一对一多类分类器，将两两配对的概率输出转化为属于各类地物的隶属度，进行高光谱影像的模糊分类。 

可见，本发明采用RBF核函数，综合利用快速序列稀疏贝叶斯学习算法、交叉验证选择RBF核函数参数、多类构造方式构建多类RVM分类器，并针对一对一法构造的多类RVM分类器，将两两配对的概率输出转化为相对于地物类别的隶属度。实验分析表明，与目前常用的支持向量机分类方法，本发明具有以下优点： 

1、采用快速序列稀疏贝叶斯学习算法的RVM训练速度比采用序列最小优化的SVM速度快； 

2、针对相同的核函数，SVM分类器不仅与RVM一样要选择核函数参数，还要选择合适的正则化系数。因此，RVM的参数空间比SVM少一维，交叉验证选择参数选择过程更简单； 

3、RVM比SVM模型更加稀疏；RVM参数选择过程简单，并且受核函数影响较小；RVM分类速度快，能够得到具有统计意义的结果。 

实验结果显示，按照像元属于各类地物的隶属度判断地物类型具有可靠性，不仅能够标识不同地物混合的像元，还可以将隶属度近似视为混合像元分解的结果。 

上文中提供了对本发明的具体描述以用于进行阐述和说明。但并非要穷举或者将本发明限于所公开的精确形式。根据以上教导，可实现很多修改和变型。上述实施例被选取用于最佳地解释本发明的原理及其实际应用，从而使得本领域技术人员能够以不同的实施例并利用适于特定预期用途的不同变型来最佳地利用本发明。本发明的范围要由所附权利要求来定义。 

Claims (10)

1.一种基于相关相量机的高光谱影像模糊分类方法，其特征在于，包括：

确定训练样本集，利用稀疏贝叶斯分类模型，选择核函数，建立相关向量机分类预测模型；

针对所述训练样本集，采用一对一法构造多类相关相量机分类器，通过交叉验证优化分类器参数；

利用所述多类相关向量机分类器对高光谱影像进行模糊分类。

2.根据权利要求1所述的方法，其特征在于，所述利用稀疏贝叶斯分类模型选择核函数包括：

根据拉普拉斯逼近方法推断模型参数；

利用快速学习算法选择基函数；

选择核函数及参数。

3.根据权利要求2所述的方法，其特征在于，所述模型参数推断过程为：

首先初始化超参数向量；对于给定的向量，建立后验概率分布的高斯近似，从而获取边缘似然函数的近似分布；通过最大化边缘似然函数来重新估计向量；重复这个过程直到收敛。

4.根据权利要求2所述的方法，其特征在于，所述基函数的选择过程为：

初始化选择1个基函数f₁，并估计相应权值w₁；

设置基函数f₁的超参数a₁为合理数值，使其它所有超参数a_j为无穷大，即模型中只有基函数f₁；

计算均值μ和方差Σ，同时计算出所有基函数对应的q_i和s_i；

选择候选的基函数f_i。

5.根据权利要求2所述的方法，其特征在于，所述核函数选择过程为：

首先收集和整理样本，并将样本特征的数值范围进行标准化；然后选择或构造核函数，并利用核函数将样本变换成为核矩阵，在特征空间中对核矩阵实施线性算法；最终得到输入空间中的非线性模型。

6.根据权利要求1所述的方法，其特征在于，采用一对一法构造多类相关相量机分类器包括：

在训练样本集T中找出所有不同类别两两配对组成两类相关相量机分类器，总共有P=k(k-1)/2个，用属于这两个类别的训练样本组成两类问题的训练样本集T(i,j)，然后求解两类问题，分别求得P个判别函数f_(i,j)(x)；

分类时，将输入样本X分别送到P个判别函数f_(i,j)(x)，若f_(i,j)(x)=+1，判x为i类，i类获得一票，否则判为j类，j类获得统计一票；

k个类别在P个判别函数结果中的得票数，票数最多的类别就是最终判定类别。

7.根据权利要求6所述的方法，其特征在于，在构造多类相关相量机分类器之后还包括：

将两两配对后验概率转化为属于各类的模糊隶属度，进行地物属性的判别。

8.一种基于相关相量机的高光谱影像模糊分类装置，其特征在于，包括：

建模单元，用于确定训练样本集，利用稀疏贝叶斯分类模型，选择核函数并建立相关向量机分类预测模型；

分类器构造单元，用于针对所述训练样本集，采用一对一法构造多类相关相量机分类器，通过交叉验证优化分类器参数；

分类执行单元，用于利用所述多类相关向量机分类器对高光谱影像进行模糊分类。

9.根据权利要求8所述的装置，其特征在于，所述建模单元进一步包括：

模型参数推断子单元，用于根据拉普拉斯逼近方法推断模型参数；

基函数选择子单元，用于利用快速学习算法选择基函数；

核函数选择子单元，用于选择核函数及参数。

10.根据权利要求8所述的装置，其特征在于，还包括：

模糊隶属度求解单元，用于将两两配对后验概率转化为属于各类的模糊隶属度，进行地物属性的判别。

Images