CN105334504B

CN105334504B - 基于大边界的非线性判别投影模型的雷达目标识别方法

Info

Publication number: CN105334504B
Application number: CN201510566530.7A
Authority: CN
Inventors: 陈渤; 肖定坤; 文伟
Original assignee: Xidian University; Xian Cetc Xidian University Radar Technology Collaborative Innovation Research Institute Co Ltd
Current assignee: Xidian University; Xian Cetc Xidian University Radar Technology Collaborative Innovation Research Institute Co Ltd
Priority date: 2015-09-08
Filing date: 2015-09-08
Publication date: 2017-11-21
Anticipated expiration: 2035-09-08
Also published as: CN105334504A

Abstract

本发明公开了一种基于大边界的非线性判别投影模型的雷达目标识别方法，主要解决现有技术不能很好地对非线性可分数据进行分类的问题。其技术步骤为：1.提取雷达数据的功率谱特征样本集X；2.计算训练样本集的核函数矩阵G；3.构建大边界的非线性判别投影模型，得出该模型中各参数的联合条件后验分布；4.推导各参数的条件后验分布；5.设定各参数的先验初始值,并对各参数进行I₀次循环采样；6.保存T₀次测试阶段所需参数的采样结果；7.利用保存数据计算隐变量8.将隐变量代入LVSVM分类器得出测试样本的目标类别标号。本发明提高了原始数据空间的可分性，能实现对非线性可分数据的分类，用于对雷达目标的识别。

Description

基于大边界的非线性判别投影模型的雷达目标识别方法

技术领域

本发明属于雷达技术领域，涉及一种基于大边界的非线性判别投影模型的雷达高分辨距离像HRRP目标识别方法，可用于对雷达高分辨距离像中的飞机、船舶和车辆进行分类识别。

背景技术

雷达目标识别是雷达采用的一种技术手段，用来辨认其搜索体积内已被发现的目标，其原理就是利用目标的雷达回波信号，实现对目标类型的判定。宽带雷达通常工作在光学区，此时雷达目标可以看作是由大量强度不同的散射点构成，高分辨距离像HRRP是用宽带雷达信号获取目标体上各散射点回波信号的矢量和。它反映了目标体上散射点沿雷达视线的分布情况，包含了目标重要的结构信息，比如目标尺寸、散射点结构等。因此在二十世纪末，一些学者提出了利用HRRP完成雷达目标自动识别的技术，见[S.P.Jacobs.Automatictarget recognition using high-resolution radar range profiles.PhDdissertation,Washington Univ.,St.Louis,MO,1999].进入二十一世纪后，这一技术在雷达领域引起了人们的广泛关注。

在高频区时，散射中心模型描述了目标电磁散射特性。根据该模型，当目标姿态有较大变化时，会发生散射中心距离单元走动MTRC，即部分散射中心会从一个距离单元移动到另一个距离单元，引起目标HRRP的剧烈变化；而姿态发生较小的变化时，即不出现MTRC。如上所述，HRRP敏感于目标姿态，且同一目标的HRRP具有多模分布特性，这往往使数据在HRRP空间中的分布具有非线性可分性，这影响了常用目标识别方法的效果与应用。

在现有的机器学习技术中，主成分分析PCA，因子分析FA等以及基于核的非线性的特征提取方法，均为无监督模型，用这些技术所提取的特征不一定适合后端的分类任务；线性判别分析LDA是一种有监督的线性特征提取的基本方法，能对高维的数据线性投影到低维的判别子空间中，然而LDA模型对数据分布的依赖性非常大，而且它只能解决线性分类问题，这就限制了它的实际应用；隐变量支持向量机LVSVM，作为一种分类器能在贝叶斯框架下运用贝叶斯方法求解SVM问题，但是隐变量支持向量机LVSVM只能学习训练出分类器而不能对数据进行特征提取得到判别子空间。

发明内容

本发明的目的在于提出一种基于大边界的非线性判别投影模型的雷达目标识别方法，以解决现有技术不能在贝叶斯框架下将判别子空间和分类器一同学习出来的非线性分类问题，提高分类的识别率。

为达到上述目的，本发明的技术方案包括如下步骤：

(1)雷达接收C种类别的目标高分辨距离像，对这些高分辨距离像进行特征提取，得到每个高分辨距离像的功率谱特征x_n，用这些高分辨距离像的功率谱特征x_n组成训练样本集X＝{x₁,x₂,…x_n,…x_N}，并用y＝{y₁,y₂,…,y_n,…,y_N}来记录训练样本集X中的每一个训练样本的类别标号，y_n∈{1,2,…,C}表示x_n所对应的类别标号，n＝1,2,…N，N表示训练样本集X的样本总个数；

(2)利用非线性的核函数将步骤(1)中的训练样本集X映射到核空间F，计算核矩阵G；

(3)将非线性投影模型与隐变量支持向量机LVSVM分类器相结合，构建大边界的非线性判别投影模型，并计算该模型中各个参数的联合条件后验分布p(β,W,λ,α,σ|Z,y)，其中：

β＝[β₁,β₂,…,β_k,…,β_D]表示非线性投影模型的投影系数矩阵，β_k为投影系数矩阵β的第k列向量，k＝1,2,…,D，D表示投影系数矩阵β的中列向量的总个数，

α＝[α₁,α₂,…,α_k,…,α_D]^T表示协方差矩阵的精度向量，α_k为投影系数矩阵β的第k列向量β_k的协方差矩阵的精度，I_M表示一个M维的单位矩阵，M是核空间F的维度，

Z＝[z₁,z₂,…,z_n,…,z_N]表示训练样本集X对应的隐变量集，z_n表示第n个隐变量，

W＝[ω₁,ω₂,…,ω_m,…,ω_C]为隐变量支持向量机LVSVM分类器的权系数矩阵，ω_m表示第m个LVSVM分类器的权系数向量，m＝1,2,…,C，C表示雷达目标种类个数，

σ＝[σ₁,σ₂,…,σ_m,…,σ_C]^T为协方差精度向量，σ_m表示权系数向量ω_m的协方差矩阵的精度，I_D+1表示一个D+1维的单位矩阵，

λ＝[λ₁,λ₂,…,λ_m,…λ_C]为隐变量支持向量机LVSVM分类器的隐变量，λ_m表示第m个LVSVM分类器中的隐变量，

y表示雷达高分辨距离像的类别标号；

(4)根据贝叶斯公式和上述联合条件后验分布p(β,ω,λ,α,σ|Z,y)，推导出β,ω,λ,α,σ,Z每个参数对应的条件后验分布；

(5)设定模型中各个参数的先验初始值：

设投影系数矩阵β的初始值为一个服从N(0,1)分布的M×D维的随机矩阵，

设协方差精度向量α的初始值为一个全部是1的D维向量，

设隐变量集Z的初始值为一个服从N(0,1)分布的D×N维的随机矩阵，

设LVSVM分类器的权系数ω_m的初始值为一个服从N(0,1)分布的D+1维的随机向量，

设LVSVM分类器的权系数ω_m的协方差精度σ_m的初始值为一个服从Ga(1,0.001)分布的随机数，

设LVSVM分类器的隐变量λ_m的初始值为一个服从的N维的随机向量，

其中：N(·)表示高斯分布、Ga(·)表示Gamma分布、GIG(·)表示广义逆高斯分布；

(6)根据步骤(4)中各个参数的条件后验分布，按照Gibbs采样技术对设定初始值的参数依次进行I₀次循环采样，其中I₀为自然数；

(7)在参数循环采样I₀次后，从第I₀+1次开始每间隔S_P次保存核空间中的投影系数矩阵β和LVSVM分类器的权系数W，总共保存T₀次这些参数的采样结果；

(8)对雷达高分辨距离像测试样本进行特征提取得到具有距离像功率谱特征的测试样本集将该测试样本集映射到核空间，计算出核矩阵

(9)根据核矩阵和步骤(7)中保存的投影系数矩阵β，计算出测试隐变量集

(10)将步骤(9)得到的测试隐变量集以及步骤(7)中保存的LVSVM分类器的权值系数W代入到LVSVM分类器的判别公式中，输出测试雷达高分辨距离像的目标类别标号

本发明与现有技术相比具有以下优点：

1.与现有的线性分类器相比，本发明采用非线性映射核将非线性的数据映射到一个高维的核空间，使数据在高维核空间中线性可分，提高了分类性能。

2.与现有技术相比，本发明引入一个中间隐变量z_n去记录数据投影后的信息，这样去除了类别标号和投影矩阵之间的强烈依赖性，可以避免计算过程中的冲突。

3.与现有技术相比，本发明采用LVSVM作为分类器，可以通过Gibbs采样算法对参数进行估计，大大简化了求解复杂度。

4.本发明在训练阶段，将LVSVM分类器和投影矩阵一同在贝叶斯模型框架下进行学习的，并利用了类别标号信息，提高了隐空间的可分性。

下面结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1是本发明的实现流程图；

图2是本发明获取原始雷达高分辨距离像的雷达实测场景图；

图3是本发明预测类别结果与真实类别结果的比较图；

具体实施方式

参照图1，本发明的基于大边界的非线性判别投影模型的雷达目标识别方法，其具体实现步骤如下：

步骤1，接收雷达目标的高分辨距离像HRRP数据，产生训练数据。

1a)雷达接收C种类别的目标高分辨距离像，对这些高分辨距离像进行特征提取，得到每个高分辨距离像的功率谱特征x_n，用这些高分辨距离像的功率谱特征组成训练样本集X＝{x₁,x₂,…x_n,…x_N}，x_n为训练本集X中的第n个训练样本，n＝1,2,…N，N表示训练样本集X的样本总个数；

1b)用y＝{y₁,y₂,…,y_n,…,y_N}来记录训练样本集X中的每一个训练样本的类别标号，y_n∈{1,2,…,C}表示x_n所对应的类别标号，C表示雷达目标的种类个数。

步骤2，对训练样本集X进行核映射处理。

2a)将训练样本x_n,n＝1,2,…,N经过非线性映射核Φ(·)映射到希尔伯特核空间F中，即：x_n→Φ(x_n)∈F，得到核空间F中的训练样本集：

Φ(X)＝[Φ(x₁),Φ(x₂),…,Φ(x_n),…,Φ(x_N)]；

2b)根据核空间F中的训练样本集Φ(X)与核空间F的基向量组Φ(V)，计算出核矩阵G：

G＝Φ(V)^TΦ(X)＝K(V,X)

其中：Φ(V)＝[Φ(v₁),Φ(v₂),…,Φ(v_n),…,Φ(v_M)]表示核空间F的基向量组，Φ(v_n)是基向量组Φ(V)中的第n个基向量，M为核空间F的维度，K(·)是一个核函数，用来计算核空间F中的两个向量的内积。

步骤3，设定非线性投影模型。

3a)根据核空间F中的训练样本Φ(X)＝[Φ(x₁),Φ(x₂),…,Φ(x_n),…,Φ(x_N)]得到对应的隐变量集Z＝[z₁,z₂,…,z_n,…,z_N]，其中隐变量集Z的第n个向量z_n服从一个高斯分布：

z_n～N(H^TΦ(x_n),I_D)

式中：H＝[h₁,h₂,…,h_k,…,h_D]为投影矩阵，h_k是投影矩阵H的第n列，k＝1,2,…,D，D表示投影矩阵H中列向量的总个数，I_D是一个D维的单位矩阵，N(·)表示高斯分布；

3b)用核空间F中的基向量组Φ(V)对上述向量h_k进行线性表示，即：h_k＝Φ(V)β_k，得到非线性投影模型为：

其中：

K(V，x_n)＝Φ(V)^TΦ(x_n)表示核矩阵G的第n列，

β＝[β₁,β₂,…,β_k,…,β_D]表示核空间F中的投影系数矩阵，β_k是投影系数矩阵β的第k列，β_k的协方差矩阵为α_k为β_k的协方差精度，

N(·)表示高斯分布，Ga(·)表示Gamma分布，c₀,d₀为Gamma分布的两个不同参数。

步骤4，设定隐变量支持向量机LVSVM分类器。

4a)设定C个LVSVM分类器权系数向量的先验分布为：

其中：

ω_m表示第m个LVSVM分类器的权系数向量，σ_m为权系数向量ω_m的协方差矩阵的精度，I_D+1表示D+1维的单位矩阵；

4b)将C个类别中的一类看作是正类目标，其它类看作是负类目标，训练C个LVSVM分类器；

4c)将C个LVSVM分类器的权系数向量ω_m的先验分布分别代入到C个LVSVM分类器中，得到每个LVSVM分类器：

其中：

Z＝[z₁,z₂,…,z_n,…,z_N]表示训练样本集X对应的隐变量集，z_n表示第n个隐变量样本，

λ_m＝[λ_1m,λ_2m,…,λ_nm,…,λ_Nm]^T是第m个LVSVM分类器中的隐变量，λ_nm表示第n个隐变量样本z_n所对应的第m个LVSVM分类器的隐变量，

y_m＝[y_1m,y_2m,…,y_nm,…,y_Nm]^T表示第m个LVSVM分类器中训练样本集X对应的隐变量集Z的类别标号，y_nm表示隐变量z_n对应第m个LVSVM分类器的类别标号，若隐变量z_n属于第m类目标，则y_nm＝+1，否则y_nm＝-1，

φ(ω_m,λ_m,σ_m|y_m)的表达式如下：

表示第n个隐变量z_n的增广向量，(·)^T表示转置操作。

步骤5，构建大边界的非线性判别投影模型。

将非线性投影模型与隐变量支持向量机LVSVM分类器相结合，构建大边界的非线性判别投影模型如下：

其中：

I表示单位矩阵，a₀,b₀,c₀,d₀表示Gamma分布的四个不同参数。

步骤6，计算各个参数的联合条件后验分布。

大边界的非线性判别投影模型中各参数的联合条件后验分布p(β,W,λ,α,σ|Z,y)，按如下公式计算：

其中：

α＝[α₁,α₂,…,α_k,…,α_D]^T表示协方差矩阵的精度向量，α_k为投影系数矩阵β的第k列向量β_k的协方差矩阵的精度，

W＝[ω₁,ω₂,…,ω_m,…,ω_C]为隐变量支持向量机LVSVM分类器的权系数矩阵，ω_m表示第m个LVSVM分类器的权系数向量，m＝1,2,…,C，C表示雷达目标的种类个数，

λ＝[λ₁,λ₂,…,λ_m,…λ_C]为隐变量支持向量机LVSVM分类器的隐变量矩阵，λ_m表示第m个LVSVM分类器的隐变量向量，λ_nm表示第n个隐变量样本z_n所对应的第m个LVSVM分类器的隐变量，

σ＝[σ₁,σ₂,…,σ_m,…,σ_C]^T为协方差精度向量，σ_m表示权系数向量ω_m的协方差矩阵的精度，I_D+1表示一个D+1维的单位矩阵。

步骤7，根据贝叶斯公式和上述联合条件后验分布p(β,ω,λ,α,σ|Z,y)推导每个参数对应的条件后验分布。

7a)计算投影系数矩阵β的第k列向量β_k的条件后验分布为：

其中：表示高斯分布的均值，表示高斯分布的方差，z_kn表示隐变量z_n的第k个元素，K(V，x_n)＝Φ(V)^TΦ(x_n)表示核矩阵G的第n列，I_M表示一个M维的单位矩阵，M为核空间F的维度，N(·)表示高斯分布，(·)^T表示转置操作；

7b)计算第n个隐变量z_n的第k个元素z_kn的条件后验分布：

其中：表示高斯分布的均值，表示高斯分布的方差，ω_km表示第m个LVSVM分类器的权系数向量ω_m的第k个权值，λ_nm表示第n个隐变量样本z_n对应的第m个LVSVM分类器的隐变量，y_nm表示第n个隐变量样本z_n在第m个LVSVM分类器中的类别标号；

7c)计算第m个LVSVM分类器的权值系数ω_m的条件后验分布：

其中：表示高斯分布的均值，表示高斯分布的方差，表示第n个隐变量z_n所对应的增广向量；

7d)计算第n个隐变量样本z_n对应的第m个LVSVM分类器的隐变量λ_nm的条件后验分布为：

其中：表示第n个隐变量z_n所对应的增广向量，GIG(·)表示广义逆高斯分布；

7e)计算第k个投影系数向量β_k的协方差精度α_k的条件后验分布：

p(α_k|-)＝Ga(c,d)

其中：c₀，d₀为α_k的先验分布中参数的初始值；

7f)计算第m个LVSVM分类器的权值系数ω_m的协方差精度σ_m的条件后验分布：

p(σ_m|-)＝Ga(a,b)

其中：D表示隐空间的维度，a₀，b₀为σ_m的先验分布中参数的初始值。

步骤8，设定模型中各个参数的先验初始值：。

8a)设投影系数矩阵β的初始值为一个服从N(0,1)分布的M×D维的随机矩阵；

8b)设协方差精度向量α的初始值为一个全部是1的D维向量；

8c)设隐变量集Z的初始值为一个服从N(0,1)分布的D×N维的随机矩阵；

8d)设LVSVM分类器的权系数ω_m的初始值为一个服从N(0,1)分布的D+1维的随机向量；

8e)设LVSVM分类器的权系数ω_m的协方差精度σ_m的初始值为一个服从Ga(1,0.001)分布的随机数；

8f)设LVSVM分类器的隐变量λ_m的初始值为一个服从的N维的随机向量，其中GIG(·)表示广义逆高斯分布。

步骤9，对大边界的非线性判别投影模型进行Gibbs循环采样。

9a)根据步骤(4)中各个参数的条件后验分布，按照Gibbs采样技术对设定初始值的参数依次进行I₀次循环采样，其中I₀为自然数；

9b)在参数循环采样I₀次后，从第I₀+1次开始每间隔S_P次保存核空间中的投影系数矩阵β和LVSVM分类器的权系数W，总共保存T₀次这些参数的采样结果。

步骤10，对大边界的非线性判别投影模型进行测试。

10a)对雷达高分辨距离像测试样本进行特征提取得到具有距离像功率谱特征的测试样本集将该测试样本集映射到核空间F，计算出测试样本集的核矩阵

其中：V＝[v₁,v₂,…,v_n,…,v_M]表示基向量组，v_n是基向量组V中的第n个基向量，M为核空间F的维度，K(·)是一个核函数，表示核空间中的向量积。

10b)根据核矩阵和步骤9中保存的投影系数矩阵β，计算出测试隐变量集

其中：β为核空间中的投影系数矩阵，表示测试样本的核矩阵；

10c)将测试隐变量集以及步骤9中保存的LVSVM分类器的权值系数W代入到LVSVM分类器的判别公式中，输出测试雷达高分辨距离像的目标类别标号

ρ＝[ρ₁,ρ₂,…,ρ_m,…,ρ_C]

其中：表示测试样本的预测类别标号，表示第t次采样的第m个LVSVM分类器的权值系数，m＝1,2,…,C，t＝1,2,…,T₀，C表示目标类别个数，T₀表示步骤(5)中设定的保存采样参数的个数，ρ_m表示第m个LVSVM分类器的平均输出，表示求解最大值对应的m值。

本发明的效果通过以下对三类飞机的实测数据仿真做进一步说明：

1.仿真条件

获得雷达高分辨距离像HRRP的实测数据S，实测场景参照图2，其中图2a是飞机Yark-42的实测场景图，图2b是飞机Cessna Citation S/Ⅱ的实测场景图，图2c是飞机An-26的实测场景图，具体飞机和雷达参数如表1所示：

表1

参照图2，选择飞机Yark-42的第2、5段，飞机Cessna Citation S/Ⅱ的第6、7段以及飞机An-26的第5、6段的雷达高分辨距离像HRRP共600个样本作为训练样本Tr，其余段中的2400个雷达高分辨距离像HRRP作为测试样本Te；

预处理：采用幅度2范数归一的方法，对雷达高分辨距离像HRRP进行归一，然后提取功率谱特征。原始雷达高分辨距离像HRRP的维数为256，由于功率谱具有对称性，只需取雷达高分辨距离像HRRP的128维作为特征。

2.仿真内容：

采用本发明与现有技术中的两种模型对三类飞机进行分类识别仿真，得到对三类飞机的识别结果，如表2和图3所示，其中图3是本发明的预测类别结果与真实类别结果的比较。

现有技术中的两种模型是：线性SVM模型、KLDA-BSVM模型。其中，线性SVM模型表示直接将目标样本输入到线性的支持向量机SVM分类器进行分类；KLDA-BSVM模型表示先用基于核的线性判别分析LDA对目标样本进行特征提取，然后将提取后的特征用贝叶斯SVM进行分类，因为LDA是一种有监督的线性特征提取方法，再加上利用核方法，这样KLDA-BSVM模型也能对非线性数据进行分类。

表2

从表2中可以看出：

1)与线性SVM模型相比，本发明对雷达高分辨距离像具有更高的识别率。这表明了与现有的线性分类器相比，本发明采用非线性映射核将非线性的数据映射到一个高维的核空间，使数据在高维核空间中线性可分，提高了分类性能。

2)与KLDA-BSVM模型相比，本发明对雷达高分辨距离像的识别更有优势。因为本发明在训练阶段，将投影矩阵和LVSVM分类器一同在贝叶斯模型框架下进行学习的，并利用了类别标号信息，提高了隐空间的可分性。

从图3可以看出：本发明获得的预测类别结果如图3a与真实类别结果如图3b基本吻合。

由于本实验采用的雷达高分辨距离像数据具有较好的线性可分性，所以线性SVM模型、KLDA-BSVM模型获得的识别率相对较高，但当雷达高分辨距离像数据的线性可分性差的时候，本发明的优越性能将会更好的体现。

Claims

1.一种基于大边界的非线性判别投影模型的雷达目标识别方法，包括以下步骤：

(1)雷达接收C种类别的目标高分辨距离像，对这些高分辨距离像进行特征提取，得到每个高分辨距离像的功率谱特征x_n，用这些高分辨距离像的功率谱特征x_n组成训练样本集X＝{x₁,x₂,···x_n,···x_N}，并用y＝{y₁,y₂,···,y_n,···,y_N}来记录训练样本集X中的每一个训练样本的类别标号，y_n∈{1,2,···,C}表示x_n所对应的类别标号，n＝1,2,···N，N表示训练样本集X的样本总个数；

β＝[β₁,β₂,···,β_k,···,β_D]表示非线性投影模型的投影系数矩阵，β_k为投影系数矩阵β的第k列向量，k＝1,2,···,D，D表示投影系数矩阵β的中列向量的总个数，

α＝[α₁,α₂,···,α_k,···,α_D]^T表示协方差矩阵的精度向量，α_k为投影系数矩阵β的第k列向量β_k的协方差矩阵的精度，I_M表示一个M维的单位矩阵，M是核空间F的维度，

Z＝[z₁,z₂,···,z_n,···,z_N]表示训练样本集X对应的隐变量集，z_n表示第n个隐变量，

W＝[ω₁,ω₂,···,ω_m,···,ω_C]为隐变量支持向量机LVSVM分类器的权系数矩阵，ω_m表示第m个LVSVM分类器的权系数向量，m＝1,2,···,C，C表示雷达目标种类个数，

σ＝[σ₁,σ₂,···,σ_m,···,σ_C]^T为协方差精度向量，σ_m表示权系数向量ω_m的协方差矩阵的精度，I_D+1表示一个D+1维的单位矩阵，

λ＝[λ₁,λ₂,···,λ_m,···λ_C]为隐变量支持向量机LVSVM分类器的隐变量矩阵，λ_m表示第m个LVSVM分类器中的隐变量向量，

y表示雷达高分辨距离像的类别标号；

(5)设定模型中各个参数的先验初始值：

设协方差精度向量α的初始值为一个全部是1的D维向量，

设功隐变量集Z的初始值为一个服从N(0,1)分布的D×N维的随机矩阵，

2.根据权利要求1中所述的方法，其中步骤(2)所述的利用非线性的核函数将步骤(1)中的训练样本集X映射到核空间F，计算核矩阵G按照如下步骤进行：

2.1)将训练样本x_n,n＝1,2,···,N经过非线性映射核Φ(·)映射到希尔伯特核空间F中，即：x_n→Φ(x_n)∈F，得到核空间F中的训练样本集：

Φ(X)＝[Φ(x₁),Φ(x₂),···,Φ(x_n),···,Φ(x_N)]

2.2)根据核空间F中的训练样本集Φ(X)与核空间F的基向量组Φ(V)，计算出核矩阵G：

G＝Φ(V)^TΦ(X)＝K(V,X)

其中：Φ(V)＝[Φ(v₁),Φ(v₂),···,Φ(v_n),···,Φ(v_M)]，Φ(v_n)是基向量组Φ(V)中的第n个基向量，V＝[v₁,v₂,···,v_n,···,v_M]表示基向量组，v_n是基向量组V中的第n个基向量,M为核空间F的维度，K(·)是一个核函数，用来计算核空间F中的两个向量的内积。

3.根据权利要求1所述的方法，其中所述步骤(3)中将非线性投影模型与隐变量支持向量机LVSVM分类器相结合，构建大边界的非线性判别投影模型，按如下步骤进行：

3.1)设定非线性投影模型：

3.1a)根据核空间F中的训练样本Φ(X)＝[Φ(x₁),Φ(x₂),···,Φ(x_n),···,Φ(x_N)]得到对应的隐变量集Z＝[z₁,z₂,···,z_n,···,z_N]，其中隐变量集Z的第n个向量z_n服从一个高斯分布：

z_n～N(H^TΦ(x_n),I_D)

式中：H＝[h₁,h₂,···,h_k,···,h_D]为投影矩阵，h_k是投影矩阵H的第n列，k＝1,2,···,D，D表示投影矩阵H中列向量的总个数，I_D是一个D维的单位矩阵，N(·)表示高斯分布；

3.1b)用核空间F中的基向量Φ(V)对上述向量h_k进行线性表示，即h_k＝Φ(V)β_k,得到非线性投影模型为：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mi>n</mi> </msub> <mo>~</mo> <mi>N</mi> <mrow> <mo>(</mo> <msup> <mi>&beta;</mi> <mi>T</mi> </msup> <mi>K</mi> <mo>(</mo> <mrow> <mi>V</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> </mrow> <mo>)</mo> <mo>,</mo> <msub> <mi>I</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <mo>~</mo> <mi>N</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&alpha;</mi> <mi>k</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mi>M</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>&alpha;</mi> <mi>k</mi> </msub> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>d</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中：

K(V，x_n)＝Φ(V)^TΦ(x_n)表示核矩阵G的第n列，

β＝[β₁,β₂,···,β_k,···,β_D]表示核空间F中的投影系数矩阵，β_k是投影系数矩阵β的第k列，β_k的协方差矩阵为α_k为β_k的协方差精度，

Ga(·)表示Gamma分布，c₀,d₀为Gamma分布的两个不同参数；

3.2)设定隐变量支持向量机LVSVM分类器：

3.2a)设定C个LVSVM分类器权系数向量的先验分布为：

<mrow> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>~</mo> <mi>N</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&sigma;</mi> <mi>m</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mrow> <mi>D</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mi>m</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>C</mi> </mrow>

其中：

3.2b)将C个类别中的一类看作是正类目标，其它类看作是负类目标，训练C个LVSVM分类器；

3.2c)将C个LVSVM分类器的权系数向量ω_m的先验分布分别代入到C个LVSVM分类器中，得到每个LVSVM分类器：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>~</mo> <mi>N</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&sigma;</mi> <mi>m</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mrow> <mi>D</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>b</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>|</mo> <mi>Z</mi> <mo>,</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>~</mo> <mi>&phi;</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>|</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中：

Z＝[z₁,z₂,···,z_n,···,z_N]表示训练样本集X对应的隐变量集，z_n表示第n个隐变量样本，

λ_m＝[λ_1m,λ_2m,···,λ_nm,···,λ_Nm]^T是第m个LVSVM分类器中的隐变量向量，λ_nm表示第n个隐变量样本z_n所对应的第m个LVSVM分类器的隐变量，

y_m＝[y_1m,y_2m,···,y_nm,···,y_Nm]^T表示第m个LVSVM分类器中训练样本集X对应的隐变量集Z的类别标号，y_nm表示隐变量z_n对应第m个LVSVM分类器的类别标号，且有若隐变量z_n属于第m类目标，则y_nm＝+1，否则y_nm＝-1，

φ(ω_m,λ_m,σ_m|y_m)的表达式如下：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>&phi;</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>|</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <mo>&Proportional;</mo> <munderover> <mo>&Pi;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mfrac> <mn>1</mn> <msqrt> <mrow> <mn>2</mn> <msub> <mi>&pi;&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> </mrow> </msqrt> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>+</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <msubsup> <mi>&omega;</mi> <mi>m</mi> <mi>T</mi> </msubsup> <msub> <mover> <mi>z</mi> <mo>~</mo> </mover> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msub> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&times;</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>;</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&sigma;</mi> <mi>m</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mi>K</mi> </msub> <mo>)</mo> </mrow> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>;</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>b</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

表示第n个隐变量z_n的增广向量，(·)^T表示转置操作；

3.3)将上述步骤3.1.b)的非线性投影模型与步骤3.2.c)的隐变量支持向量机LVSVM分类器相结合，构建大边界的非线性判别投影模型：

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mi>n</mi> </msub> <mo>~</mo> <mi>N</mi> <mrow> <mo>(</mo> <msup> <mi>&beta;</mi> <mi>T</mi> </msup> <mi>K</mi> <mo>(</mo> <mrow> <mi>V</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> </mrow> <mo>)</mo> <mo>,</mo> <msub> <mi>I</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <mo>~</mo> <mi>N</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&alpha;</mi> <mi>k</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mi>M</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>&alpha;</mi> <mi>k</mi> </msub> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>d</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&omega;</mi> <mn>0</mn> </msub> <mo>~</mo> <mi>N</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&sigma;</mi> <mi>m</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mrow> <mi>D</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>~</mo> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>b</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>|</mo> <mi>Z</mi> <mo>,</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>~</mo> <mi>&phi;</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>|</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mtable> <mtr> <mtd> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>N</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>D</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>C</mi> </mrow> </mtd> </mtr> </mtable> </mrow>

其中：

4.根据权利要求1所述的方法，其中所述步骤(3)中计算该模型中各个参数的联合条件后验分布p(β,W,λ,α,σ|Z,y)，按如下公式计算：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>,</mo> <mi>W</mi> <mo>,</mo> <mi>&lambda;</mi> <mo>,</mo> <mi>&alpha;</mi> <mo>,</mo> <mi>&sigma;</mi> <mo>|</mo> <mi>Z</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Pi;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>C</mi> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>,</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>,</mo> <msub> <mi>&lambda;</mi> <mi>m</mi> </msub> <mo>,</mo> <mi>&alpha;</mi> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>|</mo> <mi>Z</mi> <mo>,</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&Proportional;</mo> <munderover> <mo>&Pi;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>C</mi> </munderover> <munderover> <mo>&Pi;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>n</mi> </msub> <mo>|</mo> <mi>&beta;</mi> <mo>,</mo> <mi>V</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mi>&phi;</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>|</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>|</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> <munderover> <mo>&Pi;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>D</mi> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>&alpha;</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>&alpha;</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munderover> <mo>&Pi;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>C</mi> </munderover> <munderover> <mo>&Pi;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>n</mi> </msub> <mo>;</mo> <msup> <mi>&beta;</mi> <mi>T</mi> </msup> <mi>K</mi> <mo>(</mo> <mrow> <mi>V</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>n</mi> </msub> </mrow> <mo>)</mo> <mo>,</mo> <msub> <mi>I</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <msqrt> <mrow> <mn>2</mn> <msub> <mi>&pi;&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> </mrow> </msqrt> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mfrac> <msup> <mrow> <mo>(</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>+</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>y</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <msubsup> <mi>&omega;</mi> <mi>m</mi> <mi>T</mi> </msubsup> <msub> <mover> <mi>z</mi> <mo>~</mo> </mover> <mi>n</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msub> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&times;</mo> <munderover> <mo>&Pi;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>D</mi> </munderover> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <mo>;</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&alpha;</mi> <mi>k</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mi>M</mi> </msub> <mo>)</mo> </mrow> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>d</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&times;</mo> <munderover> <mo>&Pi;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>C</mi> </munderover> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>;</mo> <mn>0</mn> <mo>,</mo> <msubsup> <mi>&sigma;</mi> <mi>m</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>I</mi> <mrow> <mi>D</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mi>G</mi> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>&sigma;</mi> <mi>m</mi> </msub> <mo>;</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>b</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中：

Z＝[z₁,z₂,···,z_n,···,z_N]表示训练样本集X对应的隐变量集，z_n表示第n个隐变量样本，表示第n个隐变量z_n的增广向量，

β＝[β₁,β₂,···,β_k,···,β_D]表示核空间F中的投影系数矩阵，β_k是投影系数矩阵β的第k列，

α＝[α₁,α₂,···,α_k,···,α_D]^T表示协方差矩阵的精度向量，α_k为投影系数矩阵β的第k列向量β_k的协方差矩阵的精度，

λ＝[λ₁,λ₂,···,λ_m,···λ_C]为隐变量支持向量机LVSVM分类器的隐变量矩阵，λ_m表示第m个LVSVM分类器的隐变量向量，λ_nm表示第n个隐变量样本z_n所对应的第m个LVSVM分类器的隐变量，

K(V，x_n)表示核矩阵G的第n列向量，

N(·)表示高斯分布，(·)^T表示转置操作，Ga(·)表示Gamma分布，I表示单位矩阵，a₀,b₀,c₀,d₀表示Gamma分布的四个不同参数。

5.根据权利要求1所述的方法，其中所述步骤(4)中根据贝叶斯公式和联合条件后验分布p(β,ω,λ,α,σ|Z,y)，推导出β,ω,λ,α,σ,Z每个参数对应的条件后验分布，按如下步骤进行：

4.1)计算投影系数矩阵β的第k列向量β_k的条件后验分布为：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <mo>|</mo> <mo>-</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> <mo>;</mo> <msub> <mi>&mu;</mi> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> </msub> <mo>,</mo> <msub> <mo>&Sigma;</mo> <msub> <mi>&beta;</mi> <mi>k</mi> </msub> </msub> <mo>)</mo> </mrow> </mrow>

4.2)计算第n个隐变量z_n的第k个元素z_kn的条件后验分布：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mrow> <mi>k</mi> <mi>n</mi> </mrow> </msub> <mo>|</mo> <mo>-</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mrow> <mi>k</mi> <mi>n</mi> </mrow> </msub> <mo>;</mo> <msub> <mi>&mu;</mi> <msub> <mi>z</mi> <mrow> <mi>k</mi> <mi>n</mi> </mrow> </msub> </msub> <mo>,</mo> <msub> <mo>&Sigma;</mo> <msub> <mi>z</mi> <mrow> <mi>k</mi> <mi>n</mi> </mrow> </msub> </msub> <mo>)</mo> </mrow> </mrow>

4.3)计算第m个LVSVM分类器的权值系数ω_m的条件后验分布：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>|</mo> <mo>-</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> <mo>;</mo> <msub> <mi>&mu;</mi> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> </msub> <mo>,</mo> <msub> <mo>&Sigma;</mo> <msub> <mi>&omega;</mi> <mi>m</mi> </msub> </msub> <mo>)</mo> </mrow> </mrow>

4.4)计算第n个隐变量样本z_n对应的第m个LVSVM分类器的隐变量λ_nm的条件后验分布为：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>|</mo> <mo>-</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>G</mi> <mi>I</mi> <mi>G</mi> <mrow> <mo>(</mo> <msub> <mi>&lambda;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>;</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>,</mo> <mn>1</mn> <mo>,</mo> <msubsup> <mi>&xi;</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow>

4.5)计算第k个投影系数向量β_k的协方差精度α_k的条件后验分布：

p(α_k|-)＝Ga(c,d)

其中：Ga(·)表示Gamma分布，c₀，d₀为α_k的先验分布中参数的初始值；

4.6)计算第m个LVSVM分类器的权值系数ω_m的协方差精度σ_m的条件后验分布：

p(σ_m|-)＝Ga(a,b)

6.根据权利要求1所述的方法，其中所述步骤(8)计算核矩阵按如下公式计算：

其中：V＝[v₁,v₂,···,v_n,···,v_M]表示基向量组，v_n是基向量组V中的第n个基向量，M为核空间F的维度；表示测试样本集，K(·)是一个核函数，表示核空间中的向量积。

7.根据权利要求1所述的方法，其中所述步骤(9)中根据核矩阵和步骤(7)中保存的投影系数矩阵β，计算出测试隐变量集按如下公式计算：

其中：β为核空间中的投影系数矩阵，表示测试样本的核矩阵。

8.根据权利要求1所述的方法，其中所述步骤(10)中LVSVM分类器的判别公式，表示如下：

ρ＝[ρ₁,ρ₂,···,ρ_m,···,ρ_C]

<mrow> <msub> <mi>&rho;</mi> <mi>m</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>T</mi> <mn>0</mn> </msub> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>T</mi> <mn>0</mn> </msub> </munderover> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&omega;</mi> <mi>m</mi> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msub> <mover> <mi>z</mi> <mo>~</mo> </mover> <mi>n</mi> </msub> </mrow>

其中：表示测试样本的预测类别标号，表示第t次采样的第m个LVSVM分类器的权值系数，m＝1,2,···,C，t＝1,2,···,T₀，C表示目标类别个数，T₀表示步骤(7)中设定的保存采样参数的个数，ρ_m表示第m个LVSVM分类器的平均输出，表示求解最大值对应的m值，(·)^T表示转置操作，表示第n个隐变量z_n的增广向量。