CN104809475A - 基于增量线性判别分析的多类标场景分类方法 - Google Patents

Abstract

本发明公开了一种基于增量线性判别分析的多类标场景分类方法，主要解决现有技术中图像降维和多标记分类的问题。其实现步骤为：首先，将多类标分解成多个单类标；其次使用初始样本计算初始线性判别分析的变换矩阵，使用新增样本增量更新线性判别分析的变换矩阵，并将高维数据投影到低维空间；再从降维后的样本集中随机选取训练样本和测试样本，使用单示例多标记的K最近邻分类器对降维后的特征样本分类，并得到测试样本输出值；最后，预测出测试样本的标签，得到分类结果。本发明具有分类精度更高，分类时间更短的优点，可用于快速准确地处理海量高维度并且类别较多的多类标数据分类问题。

Description

基于增量线性判别分析的多类标场景分类方法

技术领域

本发明属于图像处理技术领域，特别涉及一种多类标图像场景分类方法，可用于快速准确地处理特征丰富且类别数较多的复杂场景检测。

背景技术

近年来,随着电脑和其他数据采集设备容量的增加，数据的规模变得越来越大。由于高维度和数据的扩充涌现出了大量的数据。人们普遍预期可以通过降低数据维数来减少时间和资源消耗。降维可以在很大程度上减少数据量，通过将数据从高维维特征空间映射到低维特征空间为后面的处理提供了便利。投影保持了在高维空间中尽可能多的信息。一个广泛使用的监督降维方法是线性判别分析。当数据投影到低维空间，线性判别分析通过同时最小化类内距离和最大化类间距离从不同类别中寻求数据最好的分离。在许多应用中线性判别分析表现良好。由于线性判别分析良好的属性和流数据挖掘的需求，增量线性判别分析吸引了越来越多的兴趣。在数据流进的情况下，用需要的流入数据更新线性判别分析的解，因为它避免了线性判别分析的解决方案中耗时的批模式再计算。在过去的几年里,各种增量线性判别分析算法被开发出来。他们中的大多数提供近似解并面临着很高的计算成本。

C.Chatterjee等人在1997年使用神经网络研究增量线性判别分析，但经常面临收敛缓慢的问题，违背了增量学习的重要性。S.Pang等人在2009年提出了线性判别分析的增量版本，它提供了一种方法来更新类内和类间的散布矩阵，但是却没有给出更新后续特征分析的耗时步骤。J.Ye等人在2005年出的IDR/QR算法将线性判别分析应用于一个类间距最大的投影子空间。但是该算法的不足是在第一次投影中丢失了大量的信息。T.-K.Kim等人在2007年提出一种增量线性判别分析算法，该算法将足够的生成集的概念用来更新类间和类内的散射矩阵，其中在每一步中都要移除保存和更新矩阵的特征向量和次要成分，在判别成份的计算中,散射矩阵投影到一个完成了本征分解的低维空间。H.Zhao等人在2008年提出增量线性判别分析算法,GSVD-ILDA，该算法的核心步骤是更新集中数据矩阵的特征向量。在更新过程中,次要的成份被删除，从而降低计算成本。但是T.-K.Kim等人提出的增量线性判别分析算法和H.Zhao等人提出的GSVD-ILDA算法遇到了一个同样的问题，即很难确定效率与性能的权衡等级。如果删除太多的次要成份，性能会恶化，否则效率会很低。此外，性能对于参数设置很敏感，不易调节参数，导致分类结果不稳定。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于增量线性判别分析的多类标场景分类方法，以缩短分类时间，提高分类精度。

实现本发明目的的技术方案是：在新的样本到来，通过增量算法更新线性判别分析的最小二乘解，将高维数据投影到低维空间，得到低维特征；使用多类标K最近邻分类器对降维后的特征样本进行分类。其实现步骤包括如下：

(1)提取图像库中每一个样本的特征得到特征集其中表示第i个样本的特征，i＝1,…,N,N表示特征集中样本个数；

(2)将上述图库中样本的地物标签矩阵表示为Y，当第i个样本属于第j个类别时，则地物标签矩阵Y中的元素y(i，j)＝1，否则，y(i，j)＝-1,并规定上述特征集中任意一个样本至少属于一个类别，其中j＝1,…,M，M表示类别数；

(3)使用步骤(1)所述的特征集和步骤(2)所述的地物标签矩阵构成样本集其中，x_k是第k个样本特征，用一个行向量表示，是与x_k相对应的第j个类别的地物标签，N是样本个数；

(4)采用增量线性判别分析的方法对上述样本集进行降维，得到低维样本集

(5)从上述低维样本集中随机选取训练样本集和测试样本集其中，是第k个训练特征样本，用一个行向量表示，是与相对应的第j个类别的地物标签，n是训练样本个数，是第k个测试特征样本，用一个行向量表示，是与相对应的第j个类别的地物标签，tn是测试样本个数；

(6)将上述训练样本集和测试样本集输入到基于单示例多标签的K最近邻分类器中进行分类，得到测试样本的输出向量T_k；

(7)根据测试样本的输出向量T_k判断测试样本的标签向量：

当测试样本的输出向量T_k中每一个值都小于0时，则第k个测试样本的标签向量为：

      

当测试样本的输出向量T_k中至少有一个值大于0时，则第k个测试样本的标签向量为：

      

其中j＝1,2…6表示类别数，k＝1,2…tn表示测试样本数；

(8)根据步骤(7)的判别结果得到测试样本的标签向量ty_k，再由标签向量ty_k构成测试样本的标签矩阵即得到测试样本的分类结果。

本发明与现有的技术相比具有以下优点：

1.本发明采用多标签的标记方式，使得单幅图像描述内容更加丰富具体，能够通过学习挖掘出图像内部语义信息，提高了分类精度；

2.本发明采用增量线性判别分析算法对数据降维，缩短了分类时间；

3.本发明采用多类标K最近邻分类器对降维数据分类，提高了类别数较多的图像的分类精度。

附图说明

图1是本发明的实现流程图。

具体实施方式

以下参照附图，对本发明的具体实现方式及效果作进一步详细描述。

参照图1，本发明的具体实现步骤如下：

步骤1，提取图像库中每一个样本的特征得到特征集其中表示第i个样本的特征，i＝1,…,N,N表示特征集中样本个数。

步骤2，将上述图库中样本的地物标签矩阵表示为Y，当第i个样本属于第j个类别时，则地物标签矩阵Y中的元素y(i，j)＝1，否则，y(i，j)＝-1,并规定上述特征集中任意一个样本至少属于一个类别，其中j＝1,…,M，M表示类别数。

步骤3，使用步骤1所述的特征集和步骤2所述的地物标签矩阵构成样本集其中，x_k是第k个样本特征，用一个行向量表示，是与x_k相对应的第j个类别的地物标签，N是样本个数。

步骤4，对上述样本集进行降维，得到低维样本集

现有的数据降维方法包括线性降维方法：主成分分析法、独立成分分析法、线性判别分析法等；基于核函数的非线性降维方法：核主成分分析法、核独立成分分析法等；基于特征值的非线性降维方法：局部线性嵌入法、等距映射法等；本发明使用的是增量线性判别分析的方法。

4a)取样本集中前50％作为初始样本集后50％作为新增样本集

4b)用初始样本集中的特征集构成特征矩阵X；

4c)分别求取特征矩阵X的类间离散矩阵S_b和离散矩阵S_t：

       $S_b=\frac{1}{n}\underset{c=1}{\overset{\mathrm{\ξ}}{\mathrm{\Σ}}}{n}_c(m_c-m){(m_c-m)}^T,$

       $S_t=\frac{1}{n}(X-m{1}^T){(X-m{1}^T)}^T,$

其中是以列为样本的特征矩阵，m是特征矩阵的均值向量，m_c是样本属于第c类的均值向量，n是样本个数，n_c是属于第c类的样本个数，1^T是单位行向量，T表示矩阵转置，ξ是总类别数；

4d)根据离散矩阵S_t的奇异性，计算得到变换矩阵W：

当离散矩阵S_t是非奇异的矩阵时，变换矩阵W是对进行特征值分解得到的非零特征值所对应的特征向量；

当离散矩阵S_t是奇异矩阵时，变换矩阵W是对进行特征值分解得到的非零特征值所对应的特征向量；

4e)初始化特征矩阵X和它的伪逆矩阵X⁺、均值向量m、标签矩阵Y、新增样本x′和它的标签向量y；

4f)利用新增样本的标签向量y对标签矩阵Y更新，得到新的标签矩阵

4f1)设新增样本x′属于第p类，n_p＝n_p+1，n_p表示属于类别p的样本个数；

4f2)定义上述新增样本的标签向量y中的第j个类别的标签y^(j)为：

      

4f3)将新增样本的标签向量y以一个新增行的形式添加到标签矩阵Y的最后一行中；

4f4)根据下式更新得到新的标签矩阵

       $\tilde{Y}=\left[\begin{array}{ccc}Y& {\⊗}_P& {\mathrm{\α}}_P\\ & y^T& \end{array}\right],$

其中α_p是迭代系数， 表示操作符，如果p小于等于Y的列数，则Y的第p列乘以α_p，否则，给Y添加一列零元素；

4g)通过上述新增样本x′对上述均值向量m更新，得到新的均值向量 $\tilde{m}=m+\frac{1}{n+1}(x^{\′}-m);$

4h)根据特征维数与样本个数的大小关系，按以下两种情况更新得到新的变换矩阵

4h1)当数据维数大于样本个数时，其更新步骤如下：

首先，按照如下公式对上述特征矩阵的伪逆矩阵X⁺更新，得到新的伪逆矩阵 ${\tilde{X}}^{+}=\left[\begin{array}{c}{X}^{+}-X^{+}(x^{\′}-\tilde{m})h^T-\frac{1}{n}1h^T\\ h^T\end{array}\right],$

其中h表示空间参数，1表示单位列向量；

然后，通过新的标签矩阵新的均值向量和新的伪逆矩阵计算得到新的变换矩阵

       $\tilde{W}={\left({\tilde{X}}^{+}\right)}^T\·\tilde{Y}=(W-h{(x^{\′}-\tilde{m})}^{T}W-\frac{{h1}^{T}Y}{n}){\stackrel{\‾}{\⊗}}_P{\mathrm{\α}}_P+{\mathrm{hy}}^T,$

其中x′表示新增样本，n表示样本个数，m表示目前的均值向量，X表示目前的特征矩阵，1^T表示单位行向量，W表示目前的变换矩阵，操作符表示如果p小于等于Y的列数，则Y的第p列乘以α_p,否则，给Y添加一列零元素；

4h2)当数据维数小于等于样本个数时，其更新步骤如下：

第一步，通过下式利用特征矩阵X计算散射矩阵φ:

φ＝XX^T

第二步，通过散射矩阵φ的秩判断信号参数t的取值：

      

其中d表示特征矩阵X的行数，rank()表示求矩阵的秩；

第三步，通过信号参数t的取值，对散射矩阵的伪逆矩阵φ⁺更新，得到新的散射矩阵的伪逆矩阵

      

其中u表示中心参数，s表示核参数，s＝φ⁺u，θ表示偏置系数，θ＝1+u^Tφ⁺u；

第四步，通过新的标签矩阵新的均值向量和新的散射矩阵φ⁺对变换矩阵W进行更新，得到新的变换矩阵

       $\tilde{W}=(G-\frac{{\widetilde{\mathrm{\φ}}}^{+}(x^{\′}-\tilde{m})1^T\tilde{Y}}{n+1}){\stackrel{\‾}{\⊗}}_P{\mathrm{\α}}_P+\frac{n{\widetilde{\mathrm{\φ}}}^{+}(x^{\′}-\tilde{m})y^T}{n+1},$

其中G定义为

4i)将原始样本特征经过线性判别分析的变换投影后，得到低维特征矩阵:进而得到低维样本集其中是低维特征矩阵L的集合形式，其中j＝1,…,M，M表示类别数。

步骤5，从上述低维样本集中随机选取训练样本集和测试样本集其中，是第k个训练特征样本，用一个行向量表示，是与相对应的第j个类别的地物标签，n是训练样本个数，是第k个测试特征样本，用一个行向量表示，是与相对应的第j个类别的地物标签，tn是测试样本个数。

步骤6，将上述训练样本集和测试样本集输入到基于单示例多标签的K最近邻分类器中进行分类，得到测试样本的输出向量T_k。

步骤7，根据测试样本的输出向量T_k判断测试样本的标签向量：

当测试样本的输出向量T_k中每一个值都小于0时，则第k个测试样本的标签向量为：

      

当测试样本的输出向量T_k中至少有一个值大于0时，则第k个测试样本的标签向量为：

      

其中j＝1,2…M,M表示类别数，k＝1,2…tn表示测试样本数。

步骤8，根据步骤(7)的判别结果得到测试样本的标签向量ty_k，再由标签向量ty_k构成测试样本的标签矩阵即得到测试样本的分类结果。

本发明的效果可以通过下面的实验仿真进一步说明：

1、实验条件与方法

硬件平台为：Intel(R)Xeon(R)CPU E56062.13GHZ、7.98GB RAM；

软件平台为：MATLAB R2013a；

实验方法：分别为本发明方法和现有的四种方法，其中：

第一种现有方法是基于实例分化的方法；

第二种现有方法是用实例分化结合多示例多标签支持向量机的方法；

第三种现有方法是用的是基于快速稀疏支持向量机的单示例多标签分类方法；

第四种现有方法是用的是基于多类标K最近邻的方法；

现有的这四种对比方法都是国际引用较多的经典方法。

仿真实验所使用的是UCI数据库中的数据，其中该数据有6238个训练样本，1559个测试样本，617维的特征向量，共分为26类的多类标样本。

2、仿真内容与结果

将UCI数据中训练数据的前3000个样本作为训练数据，后3238个样本作为新增数据，测试样本即作为测试数据，使用增量线性判别分析对特征降维，再结合多类标K最近邻分类器对降维后数据分类，再对其测试样本进行标签预测。

用本发明和所述的现有四种方法对上述训练样本集和测试样本集进行仿真，采用海明损失、单一错误率、覆盖率、排列损失、平均精度、平均召回率、平均F1值，这七个指标来评价算法的性能。实验30次，分别取各个指标的平均值，结果见表1。

表1中ex1是第一种分类方法；ex2是第二种分类方法；ex3是第三种分类方法；ex4是第四种分类方法。A1是海明损失；A2是单一错误率；A3是排列损失；A4是覆盖率；A5是平均精度；A6是平均召回；A7是平均F1值；T(s)是平均分类时间。其中A1-A4越大表示分类性能越好，A5-A7越小表示分类性能越好，T(s)越小表示分类性能越好。

表1本发明与对比方法的分类结果

      

	A1	A2	A3	A4	A5	A6	A7	T(s)
									ex1	0.007	0.057	0.005	0.129	0.967	0.8339	0.8956	>15hour
ex2	0.073	0.952	0.496	12.363	0.157	0.0481	0.0737	>26hour
									ex3	0.074	0.423	0.663	12.502	0.148	0.0385	0.0611	646.19
ex4	0.005	0.044	0.081	1.128	0.959	0.9198	0.9394	379.72
									本发明	0.005	0.050	0.077	1.0269	0.959	0.9224	0.9393	218.63

从表1中可以看出：ex1将单实例数据转换为多实例数据的过程耗费了大量的时间，虽然大部分指标都要比其他学习方法的好，但是分类时间太长；ex 2方法用在高维度、类别较多的数据分类问题中，明显在各方面表现的都远不如其他方法；ex3虽然分类时间较短，但是分类准确性低；ex4是不用增量线性判别分析降维而直接使用单示例多标签的K最近邻分类的结果，可以看出，其分类性能和本发明相差不多，但是时间上却比本发明要长；本发明在使用增量线性判别分析对数据降维后又结合单示例多标签的K最近邻分类，既保证了一定的准确性，又节约了大量的时间，得到了一个很好的权衡。

Claims (4)

1.一种用于基于增量线性判别分析的多类标场景分类方法，包括如下步骤：

(1)提取图像库中每一个样本的特征得到特征集其中表示第i个样本的特征，i＝1,…,N,N表示特征集中样本个数；

(2)将上述图库中样本的地物标签矩阵表示为Y，当第i个样本属于第j个类别时，则地物标签矩阵Y中的元素y(i，j)＝1，否则，y(i，j)＝-1,并规定上述特征集中任意一个样本至少属于一个类别，其中j＝1,…,D，D表示类别数；

(3)使用步骤(1)所述的特征集和步骤(2)所述的地物标签矩阵构成样本集其中，x_k是第k个样本特征，用一个行向量表示，是与x_k相对应的第j个类别的地物标签，N是样本个数；

(4)采用增量线性判别分析的方法对上述样本集进行降维，得到低维样本集

(5)从上述低维样本集中随机选取训练样本集和测试样本集其中，是第k个训练特征样本，用一个行向量表示，是与相对应的第j个类别的地物标签，n是训练样本个数，是第k个测试特征样本，用一个行向量表示，是与相对应的第j个类别的地物标签，tn是测试样本个数；

(6)将上述训练样本集和测试样本集输入到基于单示例多标签的K最近邻分类器中进行分类，得到测试样本的输出向量T_k；

(7)根据测试样本的输出向量T_k判断测试样本的标签向量：

当测试样本的输出向量T_k中每一个值都小于0时，则第k个测试样本的标签向量为：

当测试样本的输出向量T_k中至少有一个值大于0时，则第k个测试样本的标签向量为：

其中j＝1,2…6表示类别数，k＝1,2…tn表示测试样本数；

(8)根据步骤(7)的判别结果得到测试样本的标签向量ty_k，再由标签向量ty_k构成测试样本的标签矩阵即得到测试样本的分类结果。

2.根据权利要求1所述的方法，其中所述步骤4中采用增量线性判别分析的方法对样本集进行降维，得到低维样本集按如下步骤进行：

4a)取样本集中前50％作为初始样本集后50％作为新增样本集 ${\{x_k,y_k^{\left(j\right)}\}}_{k=\frac{N}{2}+1}^N;$

4b)用初始样本集中的特征集构成特征矩阵X；

4c)分别求取特征矩阵X的类间离散矩阵S_b和离散矩阵S_t：

$S_t=\frac{1}{n}(X-{m1}^T){(X-{m1}^T)}^T,$

其中是以列为样本的特征矩阵，m是特征矩阵的均值向量，m_c是样本属于第c类的均值向量，n是样本个数，n_c是属于第c类的样本个数，1^T是单位行向量，T表示矩阵转置，是总类别数；

4d)根据离散矩阵S_t的奇异性，计算得到变换矩阵W：

当离散矩阵S_t是非奇异的矩阵时，变换矩阵W是对离散矩阵的逆矩阵与类间离散矩阵S_b的乘积进行特征值分解得到的非零特征值所对应的特征向量；

当离散矩阵S_t是奇异矩阵时，变换矩阵W是对离散矩阵的逆矩阵与类间离散矩阵S_b的乘积进行特征值分解得到的非零特征值所对应的特征向量；

4e)初始化特征矩阵X和它的伪逆矩阵X⁺、均值向量m、标签矩阵Y、新增样本x′和它的标签向量y；

4f)利用新增样本的标签向量y对标签矩阵Y更新，得到新的标签矩阵

4g)通过上述新增样本x′对上述均值向量m更新，得到新的均值向量

$\tilde{m}=m+\frac{1}{n+1}(x^{\′}-m);$

4h)根据特征维数与样本个数的大小关系，对变换矩阵W更新得到新的变换矩阵

4i)对原始样本特征X进行投影，得到低维特征矩阵:从而得到低维样本集其中是低维特征矩阵L的集合形式。

3.根据权利要求2所述的方法，其中所述步骤4f)中利用新增样本的标签向量y对标签矩阵Y更新，按如下步骤进行：

4f1)设新增样本x′属于第p类，n_p＝n_p+1，n_p表示属于类别p的样本个数；

4f2)定义上述新增样本的标签向量y中的第j个类别的标签y^(j)为：

4f3)将新增样本的标签向量y以一个新增行的形式添加到标签矩阵Y的最后一行中；

4f4)根据下式更新得到新的标签矩阵

$\tilde{Y}=\left[\begin{array}{ccc}Y& {\⊗}_P& {\mathrm{\α}}_P\\ & y^T& \end{array}\right]$

其中迭代系数操作符表示如果p小于等于Y的列数，则Y的第p列乘以α_p，否则，给Y添加一列零元素。

4.根据权利要求2所述的方法，其中所述步骤4h)中根据特征维数与样本个数的大小关系，更新得到新的变换矩阵按如下两种情况进行：

4h1)当数据维数大于样本个数时，其更新步骤如下：

4h11)按照如下公式对上述特征矩阵的伪逆矩阵X⁺更新，得到新的伪逆矩阵

${\tilde{X}}^{+}=\left[\begin{array}{c}{X}^{+}-X^{+}(x^{\′}-\tilde{m})h^T-\frac{1}{n}1h^T\\ h^T\end{array}\right],$

其中h表示空间参数， $h=\frac{(x^{\′}-\tilde{m})-X{X}^{+}(x^{\′}-\tilde{m})}{{(x^{\′}-\tilde{m})}^T(x^{\′}-\tilde{m})-{(x^{\′}-\tilde{m})}^T{\mathrm{XX}}^{+}(x^{\′}-\tilde{m})},$ 1表示单位列向量；

4h12)通过新的标签矩阵新的均值向量和新的伪逆矩阵计算得到新的变换矩阵

$\tilde{W}={\left({\tilde{X}}^{+}\right)}^T\·\tilde{Y}=(W-h{(x^{\′}-\tilde{m})}^{T}W-\frac{{h1}^{T}Y}{n}){\stackrel{\‾}{\⊗}}_P{\mathrm{\α}}_P+h{y}^T,$

其中x′表示新增样本，n表示样本个数，m表示目前的均值向量，X表示目前的特征矩阵，1^T表示单位行向量，W表示目前的变换矩阵，操作符表示如果p小于等于Y的列数，则Y的第p列乘以α_p,否则，给Y添加一列零元素；

4h2)当数据维数小于等于样本个数时，其更新步骤如下：

4h21)通过下式利用特征矩阵X计算散射矩阵φ:

φ＝XX^T；

4h22)通过散射矩阵φ的秩判断信号参数t的取值：

其中d表示特征矩阵X的行数，rank()表示求矩阵的秩；

4h23)通过信号参数t的取值，对散射矩阵的伪逆矩阵φ⁺更新，得到新的散射矩阵的伪逆矩阵

其中u表示中心参数，s表示核参数，s＝φ⁺u，θ表示偏置系数，θ＝1+u^Tφ⁺u；

4h24)通过新的标签矩阵新的均值向量和新的散射矩阵φ⁺对变换矩阵W进行更新，得到新的变换矩阵

$\tilde{W}=(G-\frac{{\widetilde{\mathrm{\φ}}}^{+}(x^{\′}-\tilde{m})1^T\tilde{Y}}{n+1}){\stackrel{\‾}{\⊗}}_P{\mathrm{\α}}_P+\frac{n{\widetilde{\mathrm{\φ}}}^{+}(x^{\′}-\tilde{m})y^T}{n+1},$

其中G定义为