CN101369316B - 基于全局和局部结构融合的图像特征提取方法 - Google Patents

Abstract

基于全局和局部结构融合的图像特征提取方法，其特征在于，包括以下步骤：1)构造加权邻接图，2)确定相似矩阵、度矩阵和图的拉普拉斯矩阵，3)确定类内散布矩阵和类间散布矩阵，4)确定投影矩阵，5)识别。本发明的优点是提出了一种融合全局结构信息和局部结构信息的特征提取方法，该方法可以提取出融合全局特征和局部特征的复合特征，因而更具有鉴别力。而且该方法不但具有局部保留映射法特点，即能够保留数据的流形结构的特性；而且具有线性鉴别分析方法的特点，即能使类内数据聚集地更紧凑而拉大类间距离。将本发明应用在图像识别中，可以提高识别性能。

Description

基于全局和局部结构融合的图像特征提取方法

技术领域

本发明涉及一种基于全局和局部结构融合的图像特征提取方法，属于智能信息处理领域。

背景技术

图像识别技术已经成为当今研究和应用的热点之一。该项技术已成功应用于人脸识别、车牌识别、视频监控、目标跟踪识别等领域。

作为图像识别关键环节之一的特征提取方法，就是将原始的高维图像数据映射到一个低维的特征空间。该技术已经成为机器学习和模式识别领域的一个研究热点。常用的特征提取方法有线性鉴别分析方法(Linear Discriminant Analysis，简称LDA)，局部保留映射方法(Locality Preserving Projection，简称LPP)等。

线性鉴别分析方法是模式识别中的经典算法(K.Fukunaga.“Introduction tostatistical pattern classification”.Academic Press，San Diego，California，USA，1990.“统计模式识别导论”)。这种方法通过最大化类间散布矩阵而最小化类内散布矩阵，获取目标图像数据的全局结构信息，使得投影后的模式样本的类间散布最大而类内散布最小，也就是说，投影后保证模式样本在新的空间中有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

最近，局部几何结构在特征提取领域引起了广泛的关注，而局部几何结构可以通过拉普拉斯矩阵获得。局部保留映射(X.He，P.Niyogi.“Locality Preserving Projections”.In Proc.Conf.Advances in Neural Information Processing Systems，2003.“局部保留映射”)法正是根据这一思想发展起来的一种新的特征提取方法，它基于图的拉普拉斯矩阵计算数据的低维流形，其方法是：首先构造原始数据的邻接图，建立图的拉普拉斯矩阵，然后以在原始空间中距离接近的两个数据点，投影后在特征空间中的距离更近为准则，求得变换矩阵，获取目标图像数据集的局部结构信息。

以上两种方法用于图像识别，都取得了令人满意的识别结果。但是LDA、LPP分别主要提取图像数据集的全局信息、局部信息，仅能反映数据集某方面的特征，而在现实世界中，目标图像数据集的结构通常非常复杂，仅仅靠全局信息或仅仅靠局部结构信息，可能不足以揭示目标图像数据集内在的真实结构。而且在图像识别中，全局结构特征相对更重要，还是局部结构特征相对更重要，随着应用对象的不同而不同。因此寻求一种兼顾全局结构信息和局部结构信息的特征融合提取方法具有重要的意义。在进一步的检索中尚未发现融合这两种特征的图像识别方法。

发明内容

本发明的目的在于针对现有方法中存在的不足，提出一种融合全局结构信息和局部结构信息特征的提取方法，称之为一种基于全局和局部特征融合的图像分析方法(Global andLocal feature fusion Analysis，简称GLA)，使其达到同时兼顾全局和局部结构信息，提取更具鉴别力的特征的目的，将该方法用于图像识别，能够提高识别的精度。

为了达到上述目的，本发明提供了一种基于全局和局部结构融合的图像特征提取方法，其技术原理是，首先是构造训练图像数据的加权邻接图，确定相似矩阵、度矩阵和图的拉普拉斯矩阵；然后确定训练图像数据的类内散布矩阵和类间散布矩阵；根据全局和局部特征融合分析方法的目标函数，得到投影矩阵；最后利用该投影矩阵把训练图像和测试图像分别投影到特征空间中，采用最小距离分类器，进行图像识别。

具体步骤如下：

步骤1、构造训练数据的加权邻接图

步骤1.1、在现有的数据集的每一类数据中，选取任意个数n的数据点组成训练图像数据集，并在剩余的数据点中选取任意个数的数据点组成测试图像数据集，其中每一个数据点为一幅图像；

步骤1.2、通过顶点以及每个顶点与其最近邻点之间边的权值构造加权邻接图；

步骤1.2.1、加权邻接图的每个顶点对应于训练图像数据集中的一个数据点；

步骤1.2.2、若顶点x_j属于顶点x_i的k-最近邻点，k为最近邻范围，即x_j是x_i的k范围内的最近邻点，则在x_i和x_j之间建立一条边e＝ij，其权值通过下式求出：

其中，若顶点x_j属于顶点x_i的k-最近邻点或顶点x_i属于顶点x_j的k-最近邻点，则w(i，j)为通过式(1)求出，其他情况下，w(i，j)＝式(2)；β为任一正实数；w(i，j)大于0并小于等于1，其反映了相邻接的两个图像数据点间的相似程度，w(i，j)越大说明这两点越相似；

步骤2、根据步骤1得到的加权邻接图确定相似矩阵W、度矩阵D和加权邻接图的拉普拉斯矩阵L

步骤2.1、相似矩阵W中的每个元素的值为通过步骤1.2.2求得的w(i，j)，即W_ij＝w(i，j)，其中i＝1，2，3，…，n、j＝1，2，3，…，n；

步骤2.2、度矩阵D＝diag(d₁，d₂，L，d_n)，其中，d_i为顶点x_i的度，其值通过以下公式求出： $d_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}w(i,j);$

步骤2.3、加权邻接图的拉普拉斯矩阵L＝D-W，即

相似矩阵W的每行的元素值，只考虑了该行所代表的数据点与其最近邻范围内的k个数据点的相似程度，即只有k个元素值非零，其余值均为零，这样W体现了数据集的局部结构，而k定义了W的局部特性，L和D都是在W的基础上生成的；

步骤3、确定训练图像数据集的类内散布矩阵S_w和类间散布矩阵S_b类内散布矩阵S_w和类间散布矩阵S_b分别通过以下公式求出：

$S_w=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈X_i}{\mathrm{\Σ}}(x-{\stackrel{\‾}{X}}_i){(x-{\stackrel{\‾}{X}}_i)}^T;$

$S_b=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}){({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X})}^T,$ 其中，数据集X包含n个训练图像数据点，有c个目标类别，则第i类目标的数据集为X_i(i＝1，2，L，c)，其数据点个数为n_i，则X＝[X₁，X₂，Λ，X_c]；x是指n个数据点中属于第i类目标的各个数据点； ${\stackrel{\‾}{X}}_i=\frac{1}{n_i}\underset{x\∈X_i}{\mathrm{\Σ}}x$ 为第i类目标的均值向量， $\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$ 为总体的均值向量，其中，i＝1，2，…，c；

S_w和S_b反映的是数据集的二阶统计信息，它们每个元素都是由数据集的所有数据点综合而成的，因此S_w和S_b都是对数据集的一种全局描述；并且可以通过公式 $\mathrm{trace}\left(S_w\right)=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{\left|\right|X_i-{\stackrel{\‾}{X}}_i{e}^T\left|\right|}_F^2$ 求出S_w的迹，它度量了类的内聚程度，其中e∈R^D，且e的元素全为1，e^T表示该列向量的转置，S_w的迹是大于等于零的数，越大表示类内散布越大，越小表示类内散布越小，亦可以通过公式 $\mathrm{trace}\left(S_b\right)=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i{\left|\right|{\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}\left|\right|}_F^2$ 求出S_b的迹，它度量了类间的分离程度，其值是大于等于零的数，越大表示类间散布越大，越小表示类间散布越小；

步骤4、确定投影矩阵A

投影矩阵A通过通过以下公式求出：

$A=\arg \underset{A}{\min }\left(\frac{(1-\mathrm{\ρ})\mathrm{trace}\left(A^T{S}_{w}A\right)+\frac{\mathrm{\ρ}}{n}\mathrm{trace}\left(A^T{\mathrm{XLX}}^{T}A\right)}{\mathrm{trace}\left(A^T{S}_{b}A\right)}\right),$ 其中，ρ为调节因子，且0≤ρ≤1，若ρ＝0，上述公式表示全局特征，若ρ＝1，上述公式表示局部特征；n为训练图像数据集中数据点的总数；X为训练图像数据集中所有的数据点构成的矩阵；

引入n是为了消除S_w和XLX^T计算上的差异；A^TS_wA为投影后的类内散布矩阵，表示投影后的数据之间的全局特性；A^TS_bA表示投影以后的类间散布矩阵；由步骤3中对S_w的迹和S_b的迹的说明可以得知，上述公式中A^TS_wA的迹trace(A^TS_wA)可以用来度量投影后类的内聚程度，A^TS_bA的迹trace(A^TS_bA)可以用来度量投影后类间的分离程度；矩阵XLX^T的每个元素都只是对局部信息的反映，反应了数据之间的局部特性，A^TXLX^TA表示投影后的数据之间的局部特性；

通过上述公式可以提取出全局结构特征和局部结构特征综合后所得到的复合特征，这些特征可以更全面地表达目标数据，即可以转化为求解如下广义特征值问题的最小特征值对应的特征向量：

$((1-\mathrm{\ρ})S_w+\frac{\mathrm{\ρ}}{n}{\mathrm{XLX}}^T)\mathrm{\α}=\mathrm{\λ}{S}_b\mathrm{\α},$

其中，调节因子ρ的最佳取值可以通过试验确定；λ是矩阵A的特征值；α是λ对应的特征向量；

步骤5、识别

将训练图像和测试图像分别利用上述投影矩阵A映射到特征空间中，得到训练系数矩阵和测试系数矩阵，采用最小距离分类器，即可获得识别结果。

进一步，步骤5中所述的采用最小距离分类器是指把各类别样本的均值向量作为各类的代表点，根据待识样本到各类别代表点的最小距离判别其类别。

附图说明

图1为本发明处理方法总体框图；

图2为调节因子ρ对算法识别性能的影响(Satimage库)，图中：

*线：GLA方法(全局局部特征融合分析方法)；

△线：LPP方法(局部保留映射方法)；

○线：LDA方法(线性鉴别分析方法)；

图3为Satimage数据集的部分数据采用线性鉴别分析方法降维后的二维可视化结果，其中：●红土；*棉作物；

灰土；×湿地；☆植被覆盖区；□重湿地；

图4为Satimage数据集的部分数据采用局部保留映射方法降维后的二维可视化结果，其中：●红土；*棉作物；灰土；×湿地；☆植被覆盖区；□重湿地；

图5为Satimage数据集的部分数据采用全局局部融合特征分析方法降维后的二维可视化结果，其中：●红土；*棉作物；灰土；×湿地；☆植被覆盖区；□重湿地。

具体实施方式

以下结合实施例来具体说明本发明：

Satimage数据库实验

Satimage是UCI提供的用于机器学习研究的数据集之一，它包含6类数据，样本的属性特征个数为36，本实验使用了Satimage中的2400个数据点，每类400个，训练样本数为180，测试样本数为2220。图1为实验方法总体框架，框架中的预处理主要是对数据的规范化，将数据的模规范化到0到1之间。如图1所示，本发明的可以分为下列步骤：

步骤1.构造训练数据的加权邻接图

在6类数据每类400个数据点中，选取前30个数据组成训练库，并用剩余的数据组成测试库。对训练数据构造邻接图时，取最近邻范围为k＝15。

根据公式(1)计算出邻接图中每条边的权值w(i，j)，也即相邻接的两个图像数据点间的相似程度。β作为参数主要是用来控制数据空间的尺度或光滑性，β的选取尚没有一般性的结论，在本实验中，选取β为所有数据间平均欧氏距离的平方根。

步骤2.确定相似矩阵W、度矩阵D和图的拉普拉斯矩阵L

由步骤1中的邻接图中计算得到的权值w(i，j)可以得到相似矩阵W，W的元素W_ij＝w(i，j)。

邻接图中每个顶点i的度d_i由公式 $d_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}w(i,j)$ 求得，其中n为训练图像数据点的个数，这里为n＝180。求得度d_i后，则邻接图的度矩阵可由公式D＝diag(d₁，d₂，L，d_n)得到。

上面求出W和D后，图的拉普拉斯矩阵可由公式L＝D-W可计算得到。

步骤3.确定类内散布矩阵S_w和类间散布矩阵S_b。

类内散布矩阵可由公式 $S_w=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈X_i}{\mathrm{\Σ}}(x-{\stackrel{\‾}{X}}_i){(x-{\stackrel{\‾}{X}}_i)}^T$ 计算得到。类间散布矩阵可由公式 $S_b=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}){({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X})}^T$ 计算得到。其中，c为目标类别，在Satimage数据库里为c＝6；n为训练图像数据点的个数，这里为n＝180；n_i表示第i类目标X_i(i＝1，2，L，c)的训练样本有n_i个，这里为n_i＝30。X_i表示第i类目标，i的范围为从1到6。 ${\stackrel{\‾}{X}}_i=\frac{1}{n_i}\underset{x\∈X_i}{\mathrm{\Σ}}x$ 为第i类目标的均值向量。 $\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$ 为总体的均值向量，x_i为训练图像数据点，i的范围从1到180。

步骤4.确定投影矩阵A

由步骤3求得S_w和S_b后，投影矩阵A通过解全局和局部特征融合分析方法的准则函数

$A=\arg \underset{A}{\min }\left(\frac{(1-\mathrm{\ρ})\mathrm{trace}\left(A^T{S}_{w}A\right)+\frac{\mathrm{\ρ}}{n}\mathrm{trace}\left(A^T{\mathrm{XLX}}^{T}A\right)}{\mathrm{trace}\left(A^T{S}_{b}A\right)}\right)---\left(5\right)$

可以得到A。上式可以转化为求解如下广义特征值问题的最小特征值对应的特征向量：

$((1-\mathrm{\ρ})S_w+\frac{\mathrm{\ρ}}{n}{\mathrm{XLX}}^T)\mathrm{\α}=\mathrm{\λ}{S}_b\mathrm{\α}$

其中调节因子ρ的最佳取值可以通过试验确定。α是A的一列，是特征向量，组合起来就构成A，和λ是特征值，是大于等于零的实数。

由于调节因子ρ的最佳取值需要通过试验确定，所以在ρ从0到1的取值范围内以0.01为间距从0递增到1在Satimage训练库和测试库上重复实验，记录识别结果，实验中运用求得的前两列特征向量构成投影矩阵将数据降至两维。实验结果如图2所示，可以看出GLA方法比LDA和LPP方法具有更高的识别率，并且当ρ＝0.08时，全局局部融合特征分析方法取得了最佳的识别性能。因此在以后的Satimage库实验中，全局局部融合特征分析方法的调节因子ρ均取0.08。表1列出了在该实验下LDA、LPP、GLA三种方法的识别结果，实验中固定取每类的前30个数据作为训练库，k＝15。表中的1级识别率表示运用最小距离分类器求得的与测试数据距离最小的类别均值向量的类别作为识别结果时的识别率；表中的2级识别率表示运用最小距离分类器求得的与测试数据距离最小的类别均值向量的类别或与测试数据距离次最小的类别均值向量的类别作为识别结果时的识别率；表中的3级识别率表示运用最小距离分类器求得的与测试数据距离最小的类别均值向量的类别或与测试数据距离次最小的类别均值向量的类别或与测试数据距离第三最小的类别均值向量的类别作为识别结果时的识别率。当ρ＝0.08时，GLA取得了73.74％的识别率，比LDA、LPP分别高了6.7个、4.5个百分点，显示出了良好的性能。

表1各识别算法在Satimage库上的识别性能比较

(固定取每类的前30个数据作为训练库，k＝15)

步骤5.识别

由步骤4求得投影矩阵A后，将训练图像180个数据和测试图像2220个数据分别利用投影矩阵映射到特征空间中，得到训练系数矩阵和测试系数矩阵，采用最小距离分类器，即可获得识别结果。

为了能进一步比较线性鉴别分析、局部保留映射和全局局部特征融合三种方法的性能，我们进行了100次随机实验。每次实验从数据集中随机选择30个数据点作为训练库，剩余的数据作为测试库，三种方法均降至两维，仍取k＝15构造最近邻图，记录识别结果，最后取100次结果的平均值作为最终结果。实验中全局局部特征融合分析方法均取ρ＝0.08。

表2列出了三种方法的最终识别结果，可以看出GLA取得了78.83％的识别率，比LDA、LPP分别高了16个、7个百分点。

表2各识别算法在Satimage库上的识别性能比较

(随机实验，k＝15)

为了更直观地观察三种方法的分类性能，分别用这三种方法求取两列特征向量构成的投影矩阵将数据降至两维。用每类中选取的前30个数据组成训练库，剩余的数据作测试，k＝15，ρ＝0.08。三种方法对训练库中的数据降维后的可视化结果如图3、图4和图5所示。

从图3中可以看出，LDA分离出了红土和棉作物，灰土和植被覆盖区的大部分也分离了出来，但是灰土、植被覆盖区的一部分和湿地、重湿地混叠在一起。从图4中可以看出LPP分离出了红土、棉作物和灰土，但是红土和灰土分开的距离不大，部分数据陷入对方区域，其他三类混叠在一起，区分难度大。

图5与图3和图4比较可以显示GLA取得了最佳的分类结果，完全分离出了红土、棉作物和灰土，而且这三者的区分非常明显，尤其是红土和灰土之间距离非常大，克服了LPP的不足，其余三类虽然也混叠在一起，但是明显比LPP区分度大，可以将植被覆盖区的大部分分离出来。

从图3、图4和图5也可以看出，LPP能够保留数据的流形结构，将数据分布在其流形上，而LDA可以使每类聚集地更紧凑，不同类别之间分开的距离也相对最大。而GLA兼具两者的特性，既可以保留数据的流形结构，又能使每类数据尽可能聚集地更紧凑，通过对比可以发现，GLA利用保流形特性，将灰土和湿地完全分开(LPP也是如此)，而利用聚类特性将每一类的分布范围明显缩小，同时将不同类别间的距离拉开。

Claims (3)

1.基于全局和局部结构融合的图像特征提取方法，其特征在于，分为下列步骤：

步骤1、构造训练数据的加权邻接图

步骤1.1、在现有的数据集的每一类数据中，选取任意个数n的数据点组成训练图像数据集，并在剩余的数据点中选取任意个数的数据点组成测试图像数据集，其中每一个数据点为一幅图像；

步骤1.2、通过顶点以及每个顶点与其最近邻点之间边的权值构造加权邻接图；

步骤1.2.1、加权邻接图的每个顶点对应于训练图像数据集中的一个数据点；

步骤1.2.2、若顶点x_j属于顶点x_i的k-最近邻点，k为最近邻范围，即x_j是x_i的k范围内的最近邻点，则在x_i和x_j之间建立一条边e＝ij，其权值通过下式求出：

其中，若顶点x_j属于顶点x_i的k-最近邻点或顶点x_i属于顶点x_j的k-最近邻点，

则w(i，j)为通过式(1)求出，其他情况下，w(i，j)＝式(2)；β为任一正实数；

步骤2、根据步骤1得到的加权邻接图确定相似矩阵W、度矩阵D和加权邻接图的拉普拉斯矩阵L

步骤2.1、相似矩阵W中的每个元素的值为通过步骤1.2.2求得的w(i，j)，即W_ij＝w(i，j)，其中i＝1，2，3，…，n、j＝1，2，3，…，n；

步骤2.2、度矩阵D＝diag(d₁，d₂，…，d_n)，其中，d_i为顶点x_i的度，其值通过以下公式求出：

步骤2.3、加权邻接图的拉普拉斯矩阵L＝D-W，即

步骤3、确定训练图像数据集的类内散布矩阵S_w和类间散布矩阵S_b

类内散布矩阵S_w和类间散布矩阵S_b分别通过以下公式求出：

$S_w=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈X_i}{\mathrm{\Σ}}(x-{\stackrel{\‾}{X}}_i){(x-{\stackrel{\‾}{X}}_i)}^T;$

其中，数据集X包含n个训练图像数据点，有c个目标类别，则第i类目标的数据集为X_i(i＝1，2，…，c)，其数据点个数为n_i，则X＝[X₁，X₂，…，X_c]；x是指n个数据点中属于第i类目标的各个数据点；

为第i类目标的均值向量，

为总体的均值向量，其中，i＝1，2，…，c；

步骤4、确定投影矩阵A

投影矩阵A通过通过以下公式求出：

其中，ρ为调节因子，且

0≤ρ≤1，若ρ＝0，上述公式表示全局特征，若ρ＝1，上述公式表示局部特征；n为训练图像数据集中数据点的总数；X为训练图像数据集以及测试图像数据集中所有的数据点构成的矩阵，trace为求迹；

步骤5、识别

将训练图像和测试图像分别利用所述投影矩阵A映射到特征空间中，得到训练系数矩阵和测试系数矩阵，采用最小距离分类器，即可获得识别结果。

2.如权利要求1所述的基于全局和局部结构融合的图像特征提取方法，其特征在于，根据步骤4中所述的公式提取出全局结构特征和局部结构特征综合后所得到的复合特征，这些特征更全面地表达目标数据，即转化为求解如下广义特征值问题的最小特征值对应的特征向量：

其中，调节因子ρ的取值通过试验确定；λ是矩阵A的特征值；α是λ对应的特征向量。

3.如权利要求1所述的基于全局和局部结构融合的图像特征提取方法，其特征在于，步骤5中所述的采用最小距离分类器是指把各类别样本的均值向量作为各类的代表点，根据待识样本到各类别代表点的最小距离判别其类别。

Images