CN101441716A - 面向鉴别的整体和局部特征融合识别系统 - Google Patents

Abstract

一种模式识别技术领域中的面向鉴别的整体和局部特征融合识别系统，本发明中，加权邻接图构造模块建立一个加权邻接图，根据类别信息获得任意两个顶点间的相似性权值；训练样本的矩阵构建模块接收相似性权值并根据最近邻原则，建立训练样本的相似矩阵、度矩阵、图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵；最佳调节因子选择模块选取使得训练样本的识别率达到最高时的调节因子值作为调节因子的最佳取值；投影矩阵获得模块选取所有特征值中前几个最小的特征值对应的特征向量作为基向量，构成投影矩阵；数据分类模块采用最小距离分类器，识别出测试数据所属的类别。本发明利用数据间的类别信息，更准确地刻画数据间关系，取得更高的识别性能。

Description

面向鉴别的整体和局部特征融合识别系统

技术领域

本发明涉及一种电信技术领域中的识别系统，具体是一种面向鉴别的整体和局部特征融合识别系统。

背景技术

特征抽取作为现有技术已成功应用于人脸识别、车牌识别、视频监控、目标跟踪识别等领域。

经对现有技术文献检索发现，K.Fukunaga.在Academic Press，San Diego，California，USA，1990.(美国学术出版社，圣地亚哥，加利福尼亚，美国，1990.)上发表的文章“Introduction to statistical patternclassification”(“统计模式识别导论”)中，提出一种经典的面向鉴别的特征抽取方法——线性鉴别分析方法(Linear Discriminant Analysis，简称LDA)，这种方法通过最大化类间散布矩阵而最小化类内散布矩阵，获取数据的整体结构信息，使得投影后的模式样本的类间散布最大而类内散布最小，也就是说，投影后保证模式样本在新的空间中有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

最近，局部几何结构在特征抽取领域引起了广泛的关注，而局部几何结构可以通过拉普拉斯矩阵获得。经检索发现，X.He，P.Niyogi在In Proc.Conf.Advances in Neural Information Processing Systems，2003.(神经信息处理系统进展国际会议，2003)上发表的文章“Locality Preserving Projections”(“局部保持投影”)中，提出了一种局部保持投影法，局部保持投影法基于图的拉普拉斯矩阵计算数据的低维流形，其方法是：首先构造原始数据的邻接图，建立图的拉普拉斯矩阵，然后以在原始空间中距离接近的两个数据点，投影后在特征空间中的距离更近为准则，求得变换矩阵，获取数据集的局部结构信息。

以上两种方法用于模式识别，都能获得较好的识别结果。但是LDA、LPP分别主要抽取数据集的整体信息、局部信息，仅能反映数据集某方面的特征，而在现实世界中，数据集的结构通常非常复杂，仅仅靠整体信息或仅仅靠局部结构信息，可能不足以揭示数据集内在的真实结构。而且在模式识别中，整体结构特征在相对更重要，还是局部结构特征相对更重要，随着应用的不同而不同。另外，LPP是一种无监督的特征抽取方法，没有利用数据的类别信息。而一般情况下，类别信息对分类识别具有重要作用。因此寻求一种面向鉴别的整体和局部特征融合识别方法具有重要的意义。在进一步的检索中尚未发现这种特征融合识别方法。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种面向鉴别的整体和局部特征融合识别系统(Supervised Global and Local feature fusion Analysis，简称SGLA)，即面向鉴别的融合整体结构信息和局部结构信息进行特征融合与识别，使其达到兼顾整体结构信息和局部结构信息，提取出更具鉴别力的特征，本发明可应用于识别，能够提高识别的精度。

本发明是通过以下技术方案实现的，本发明包括：加权邻接图构造模块、训练样本的矩阵构建模块、最佳调节因子选择模块、投影矩阵获得模块、数据分类模块，其中：

加权邻接图构造模块将每个训练样本作为一个顶点，建立一个加权邻接图，根据类别信息获得任意两个顶点间的相似性权值，并将相似性权值传输给训练样本的矩阵构建模块；

训练样本的矩阵构建模块接收相似性权值并根据最近邻原则，使得每个顶点都只与与其相似性权值最小的若干个顶点连接，建立训练样本的相似矩阵，再由训练样本的相似矩阵建立训练样本的度矩阵、图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵，并将上述矩阵传输给投影矩阵获得模块；

最佳调节因子选择模块选取使得训练样本的识别率达到最高时的调节因子值作为调节因子的最佳取值，并将最佳取值传输给投影矩阵获得模块；

投影矩阵获得模块接收图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵以及最佳调节因子，再根据面向鉴别的整体和局部特征融合识别的方法解广义特征值问题，选取所有特征值中前几个最小的特征值对应的特征向量作为基向量，构成投影矩阵，并将投影矩阵传输给数据分类模块；

数据分类模块接收输入的训练数据和测试数据，并将训练数据和测试数据投影到投影矩阵中获得到训练系数矩阵和测试系数矩阵，采用最小距离分类器，识别出测试数据所属的类别。

所述加权邻接图构造模块，其根据类别信息获得任意两个顶点间的相似性权值，是指设每个训练样本代表一个顶点x_i，建立任意两个顶点之间的相似性权值，这些相似性权值表示如下：

相似性权值的构造利用了训练数据的类别信息，较好地反映了相连接的两个数据点间的相似程度，相似性权值越大说明这两个数据点越相似。

所述训练样本的矩阵构建模块，其建立训练样本的相似矩阵、度矩阵、图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵，具体如下：

矩阵构建模块接收相似性权值，在相似性权值中按照最近邻原则，找出每个顶点的k个近邻顶点，即找出与顶点x_i间的相似性权值最小的前k个顶点，使得顶点x_i只与这k个顶点连接，建立训练数据集的相似矩阵W，W的元素表示为：

顶点x_i的度为： $d_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}w(i,j),$ n为训练数据点的个数，建立邻接图的度矩阵为：D＝diag(d₁，d₂，…，d_n)，建立图的拉普拉斯矩阵为：L＝D-W，即

建立训练样本的类内散布矩阵S_w、类间散布矩阵S_b分别为，

$S_w=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈X_i}{\mathrm{\Σ}}(x-{\stackrel{\‾}{X}}_i){(x-{\stackrel{\‾}{X}}_i)}^T---\left(4\right)$

$S_b=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}){({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X})}^T---\left(5\right)$

其中，X＝{x₁，x₂，…，x_N}、c为样本类别数、 ${\stackrel{\‾}{X}}_i=\frac{1}{n_i}\underset{x\∈X_i}{\mathrm{\Σ}}x$ 为第i类目标的均值向量(i＝1，2，…，c)、 $\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$ 为总体的均值向量。

所述投影矩阵获得模块，其根据面向鉴别的整体和局部特征融合识别方法，解广义特征值问题，采用的目标函数如下：

$A=\arg \underset{A}{\min }\left(\frac{(1-\mathrm{\ρ})\mathrm{trace}\left(A^T{S}_{w}A\right)+\frac{\mathrm{\ρ}}{n}\mathrm{trace}\left(A^T{\mathrm{XLX}}^{T}A\right)}{\mathrm{trace}\left(A^T{S}_{b}A\right)}\right)---\left(6\right)$

其中：A为投影矩阵，ρ为调节因子，且0≤ρ≤1，调节因子ρ的最佳取值可以通过实验确定，n为样本数目，(6)式等价于求解如下广义特征值问题：

$((1-\mathrm{\ρ})S_w+\frac{\mathrm{\ρ}}{n}{\mathrm{XLX}}^T)\mathrm{\α}=\mathrm{\λ}{S}_b\mathrm{\α}---\left(7\right)$

其中，α为特征值λ对应的特征向量，解广义特征值问题(7)，选取所有特征值中前几个最小的特征值对应的特征向量作为基向量，构成投影矩阵。

与现有技术相比，本发明具有如下有益效果：

本发明在构造加权邻接图时，引入了训练数据的类别信息，可以更准确地刻画数据间的关系，本发明可以提取出融合整体特征和局部特征的复合特征，更具有鉴别力，而且既具有局部保留映射法能够保留数据的流形结构的特性，又具有线性鉴别分析方法能使类内数据聚集地更紧凑而拉大类间距离的特性，应用到识别问题中，可以提高识别性能(以实施例为例，本发明方法的识别率比LDA的识别率高七个百分点)。本发明可应用于人脸识别、视频监控系统、军事目标跟踪识别系统等。

附图说明

图1为本发明的系统结构框图；

图2为本发明在航天器图像库中进行识别的结果与直接用矩特征进行识别，以及用线性鉴别分析(LDA)进行识别的结果比较图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例应用于对STK模型库中的航天器模型进行识别，STK是美国AGI公司出品的卫星仿真工具包，此工具包不但可以对卫星的轨道、姿态和通信链路进行计算，还可以根据真实的星历信息计算各天体的位置和实际的光照。此外，工具包内包含很多天体表面纹理信息和航天器模型，因而可以对空间视景进行模拟。

在仿真中，从STK模型库中选取了4类有代表性的航天器模型，利用STK8.0计算得到航天器模拟图像，每类航天器模型有100幅图像。

本实施例获得每幅图像的Hu不变矩作为观测数据进行实验。取每类航天器模型的前30幅图像的Hu不变矩组成训练数据集，每类剩余70幅图像的Hu不变矩组成测试数据集，则训练数据共有120个，测试数据共有280个。

如图1所示，本实施例包括：加权邻接图构造模块、训练样本的矩阵构建模块、最佳调节因子选择模块、投影矩阵获得模块、数据分类模块，其中：

加权邻接图构造模块将每个训练样本作为一个顶点，建立一个加权邻接图，根据类别信息获得任意两个顶点间的相似性权值，并将相似性权值传输给训练样本的矩阵构建模块；

训练样本的矩阵构建模块接收相似性权值并根据最近邻原则，使得每个顶点都只与与其相似性权值最小的若干个顶点连接，建立训练样本的相似矩阵，再由训练样本的相似矩阵建立训练样本的度矩阵、图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵，并将上述矩阵传输给投影矩阵获得模块；

最佳调节因子选择模块选取使得训练样本的识别率达到最高时的调节因子值作为调节因子的最佳取值，并将最佳取值传输给投影矩阵获得模块；

投影矩阵获得模块接收图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵以及最佳调节因子，再根据面向鉴别的整体和局部特征融合识别的方法解广义特征值问题，选取所有特征值中前几个最小的特征值对应的特征向量作为基向量，构成投影矩阵，并将投影矩阵传输给数据分类模块；

数据分类模块接收输入的训练数据和测试数据，并将训练数据和测试数据投影到投影矩阵中获得到训练系数矩阵和测试系数矩阵，采用最小距离分类器，识别出测试数据所属的类别。

所述加权邻接图构造模块，其构造的邻接图中的每个顶点x_i对应于航天器训练数据集中的一个数据点，建立任意两个顶点之间的相似性权值，这些相似性权值可以表示成：

相似性权值的构造利用了航天器训练数据的类别信息，较好地反映了相连接的两个数据点间的相似程度，相似性权值越大说明这两个数据点越相似，越有可能属于同一种航天器。

所述训练样本的矩阵构建模块，其在相似性权值中按照最近邻原则，找出与顶点x_i间的相似性权值最小的前k＝15个顶点，使得顶点x_i只与这15个顶点连接，建立航天器训练数据集的相似矩阵W，W的元素表示为：

顶点x_i的度为： $d_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}w(i,j),$ n＝120为航天器训练数据点的个数，建立邻接图的度矩阵为：D＝diag(d₁，d₂，…，d_n)，建立图的拉普拉斯矩阵为：

L＝D-W，即

建立航天器训练样本的类内散布矩阵S_w、类间散布矩阵S_b，分别为，

$S_w=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈X_i}{\mathrm{\Σ}}(x-{\stackrel{\‾}{X}}_i){(x-{\stackrel{\‾}{X}}_i)}^T---\left(4\right)$

$S_b=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}){({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X})}^T---\left(5\right)$

其中，X＝{x₁，x₂，…，x_n}；c＝4为航天器训练样本的类别数； ${\stackrel{\‾}{X}}_i=\frac{1}{n_i}\underset{x\∈X_i}{\mathrm{\Σ}}x$ 为第i类航天器训练样本的均值向量(i＝1，2，3，4)，n_i为第i类航天器训练样本的个数，此处n_i均为30； $\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$ 为航天器训练样本的总体均值向量。显然，S_w的迹 $\mathrm{trace}\left(S_w\right)=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{\left|\right|X_i-{\stackrel{\‾}{X}}_i{e}^T\left|\right|}_F^2$ 度量了航天器训练样本的内聚程度，而S_b的迹 $\mathrm{trace}\left(S_b\right)=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i{\left|\right|{\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}\left|\right|}_F^2$ 度量了样本的分离程度。

所述投影矩阵获得模块，其根据面向鉴别的整体和局部特征融合识别方法，解广义特征值问题，采用的目标函数如下：

$A=\arg \underset{A}{\min }\left(\frac{(1-\mathrm{\ρ})\mathrm{trace}\left(A^T{S}_{w}A\right)+\frac{\mathrm{\ρ}}{n}\mathrm{trace}\left(A^T{\mathrm{XLX}}^{T}A\right)}{\mathrm{trace}\left(A^T{S}_{b}A\right)}\right)---\left(6\right)$

其中：A为投影矩阵，ρ为调节因子，且0≤ρ≤1，调节因子ρ的最佳取值可以通过试验确定，n为样本数目，引入n是为了消除S_w和XLX^T计算上的差异。

局部结构通过拉普拉斯矩阵L体现。通过(6)式，可以提取出整体结构特征和局部结构特征综合后所得到的复合特征，这些特征可以更全面地表达航天器目标数据。(6)式等价于求解如下广义特征值问题：

$((1-\mathrm{\ρ})S_w+\frac{\mathrm{\ρ}}{n}{\mathrm{XLX}}^T)\mathrm{\α}=\mathrm{\λ}{S}_b\mathrm{\α}---\left(7\right)$

其中，α为特征值λ对应的特征向量。

解广义特征值问题(7)，选取所有特征值中前几个最小的特征值对应的特征向量作为基向量，构成投影矩阵。

图2是采用本实施例(SGLA)在航天器图像库中进行识别的结果与直接用矩特征进行识别(Invmoments)，以及用线性鉴别分析(LDA)进行识别的比较结果图，附图中显示的是调节因子ρ对识别性能的影响，其中横坐标为调节因子取值，纵坐标为识别率，从图中可看出，本实施例系统获得的结果明显优于直接用矩特征的和用LDA提取特征所获得的结果，能获得更具鉴别性的特征，可以提高识别性能。

Claims (4)

1、一种面向鉴别的整体和局部特征融合识别系统，其特征在于，包括：加权邻接图构造模块、训练样本的矩阵构建模块、最佳调节因子选择模块、投影矩阵获得模块、数据分类模块，其中：

加权邻接图构造模块将每个训练样本作为一个顶点，建立一个加权邻接图，根据类别信息获得任意两个顶点间的相似性权值，并将相似性权值传输给训练样本的矩阵构建模块；

训练样本的矩阵构建模块接收相似性权值并根据最近邻原则，使得每个顶点都只与与其相似性权值最小的若干个顶点连接，建立训练样本的相似矩阵，再由训练样本的相似矩阵建立训练样本的度矩阵、图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵，并将上述矩阵传输给投影矩阵获得模块；

最佳调节因子选择模块选取使得训练样本的识别率达到最高时的调节因子值作为调节因子的最佳取值，并将最佳取值传输给投影矩阵获得模块；

投影矩阵获得模块接收图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵以及最佳调节因子，再根据面向鉴别的整体和局部特征融合识别的方法解广义特征值问题，选取所有特征值中前几个最小的特征值对应的特征向量作为基向量，构成投影矩阵，并将投影矩阵传输给数据分类模块；

数据分类模块接收输入的训练数据和测试数据，并将训练数据和测试数据投影到投影矩阵中获得到训练系数矩阵和测试系数矩阵，采用最小距离分类器，识别出测试数据所属的类别。

2、根据权利要求1所述的面向鉴别的整体和局部特征融合识别系统，其特征是，所述加权邻接图构造模块，其根据类别信息获得任意两个顶点间的相似性权值，是指设每个训练样本代表一个顶点x_i，建立任意两个顶点之间的相似性权值，这些相似性权值表示如下：

相似性权值的构造利用了训练数据的类别信息，相似性权值反映了相连接的两个数据点间的相似程度，相似性权值越大说明这两个数据点越相似。

3、根据权利要求1所述的面向鉴别的整体和局部特征融合识别系统，其特征是，所述训练样本的矩阵构建模块，其建立训练样本的相似矩阵、度矩阵、图的拉普拉斯矩阵、类内散布矩阵和类间散布矩阵，具体如下：

矩阵构建模块接收相似性权值，在相似性权值中按照最近邻原则，找出每个顶点的k个近邻顶点，即找出与顶点x_i间的相似性权值最小的前k个顶点，使得顶点x_i只与这k个顶点连接，建立训练数据集的相似矩阵W，W的元素表示为：

顶点x_i的度为： $d_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}w(i,j),$ n为训练数据点的个数，建立邻接图的度矩阵为：D＝diag(d₁，d₂，…，d_n)，建立图的拉普拉斯矩阵为：L＝D-W，即

建立训练样本的类内散布矩阵S_w、类间散布矩阵S_b分别为，

$S_w=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{x\∈X_i}{\mathrm{\Σ}}(x-{\stackrel{\‾}{X}}_i){(x-{\stackrel{\‾}{X}}_i)}^T$

$S_b=\frac{1}{n}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}){({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X})}^T$

其中，X＝{x₁，x₂，…，x_N}、c为样本类别数、 ${\stackrel{\‾}{X}}_i=\frac{1}{n_i}\underset{x\∈X_i}{\mathrm{\Σ}}x$ 为第i类目标的均值向量(i＝1，2，…，c)、 $\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$ 为总体的均值向量。

4、根据权利要求1所述的面向鉴别的整体和局部特征融合识别系统，其特征是，所述投影矩阵获得模块，根据面向鉴别的整体和局部特征融合识别方法，解广义特征值问题，采用的目标函数如下：

$A=\arg \underset{A}{\min }\left(\frac{(1-\mathrm{\ρ})\mathrm{trace}\left(A^T{S}_{w}A\right)+\frac{\mathrm{\ρ}}{n}\mathrm{trace}\left(A^T{\mathrm{XLX}}^{T}A\right)}{\mathrm{trace}\left(A^T{S}_{b}A\right)}\right)$

其中：A为投影矩阵，ρ为调节因子，且0≤ρ≤1，调节因子ρ的最佳取值可以通过试验确定，n为样本数目，上式等价于求解如下广义特征值问题：

$((1-\mathrm{\ρ})S_w+\frac{\mathrm{\ρ}}{n}{\mathrm{XLX}}^T)\mathrm{\α}=\mathrm{\λ}{S}_b\mathrm{\α}$

其中，α为特征值λ对应的特征向量，解广义特征值问题，选取所有特征值中前几个最小的特征值对应的特征向量作为基向量，构成投影矩阵。

Images