CN1598868A - 模式识别中特征提取的一种变换方法 - Google Patents

Abstract

特征提取作为模式识别系统的重要模块，其本质是对原始特征数据进行某种变换以降维。本发明就是关于模式识别中特征提取的一种变换方法，它是一种三角矩阵变换方法，具体步骤为：(1)自定义或选取一目标函数(主要指类别可分性判据)，以其最优化作为变换准则；(2)根据原始特征向量的维数，给出带未知参数的三角变换矩阵及其约束；(3)在所给准则下，优化三角变换矩阵之未知参数，即确定出具体的三角变换矩阵；(4)变换；(5)根据变换后特征数据各维的大小或者对可分性的贡献做降维处理。本发明克服了现有方法的一些局限，如要求样本类内离散度矩阵为非奇异矩阵的局限，或者运算量大、可操作性差的局限等。

Description

模式识别中特征提取的一种变换方法

技术领域

本方法发明的直接领域为：模式识别(Pattern Recognition)中的特征提取(FeatureExtraction)。实际中存在着各种各样的基于计算机的模式识别系统，如人脸识别系统、雷达目标识别系统、故障诊断系统等。一个典型的基于计算机的模式识别系统，通常由这些模块组成：数据的采集及预处理、特征生成(Feature Generation)、特征提取(Feature Extraction)或选择(Feature Selection)、分类器设计和分类决策等。特征生成阶段产生的特征，称为原始特征，往往数量很多(即维数较高)，有些原始特征对后面的分类识别没有多大作用。特征提取或选择就是对原始特征量进行精简，找出最有效的特征量，以节省系统资源、提高分类效率和性能。特征选择是不经过变换直接选择某些主要特征量；特征提取则是通过变换来间接获取主要特征量。本发明就是关于特征提取的一种变换方法，是一种新的特征提取的技术方案。

背景技术

特征提取的原理可描述：设有D个原始特征量，它们的N组观测数据(样本)为X_DxN＝[X₁，X₂，…，X_i，…，X_N]，其中X_i＝[x_i1，x_i2，…，x_iD]^T，依据某一准则确定一变换矩阵W_dxD(d＜D)，令Y_dxN＝W_dxDX_DxN，则Y_dxN为变换后特征量的观测数据(样本)，达到了降维即减少特征量的目的，称为特征提取。特征提取可以说就是一个变换，特征提取的主要工作就是确定变换矩阵W_dxD。

特征提取要尽可能多地保持甚至强化分类信息，即要通过变换使在降维后的低维空间中——异类点尽量相距更远而同类点相距更近。因此，通常定义或选取一种类别可分性判据作为目标函数，以其最优化作为确定变换矩阵W_dxD的准则。目前，业已提出了很多种类别可分性判据，如，基于样本类内类间距离的可分性判据，基于样本概率分布的可分性判据等。下面列出了四个基于类内类间距离的可分性判据：

j₁＝tr(S_w ^-1S_b) $J_2=\ln \left(\frac{\left|S_b\right|}{\left|S_w\right|}\right)$ $J_3=\frac{\mathrm{tr}\left(S_b\right)}{\mathrm{tr}\left(S_w\right)}$ $J_4=\frac{\left|S_T\right|}{\left|S_w\right|}=\frac{|S_b+S_w|}{\left|S_w\right|}$

其中，S_w为类内离散度矩阵(Within scatter matrix)，S_b为类间离散度矩阵(Between scattermatrix)。

特征提取中的变换判据或者说准则，虽然可采取各种各样的具体形式，但现有的确定变换矩阵W_dxD的方式大体上可以归纳为两种：第一种是，计算某一矩阵的各特征向量，用它们来构做变换矩阵W_dxD；第二种是，把判据看成变换矩阵W_dxD的函数，即判据J＝f(W_dxDX_DxN)＝F(W_dxD)，利用各种最优化方法，如基于梯度的一类方法、基于进化计算的一类方法等，来求取对应最优判据值的W_dxD。第二种方式是一般的通用方法，第一种方式是在一定的判据和条件下由第二种方式推导派生出的简化方法，但不是对所有的判据第二种通用方式都可以转化为第一种方式来实现。(关于第二种方式的参考文献：Euisun Choi，et al：Optimizing feature extraction for multiclass problems，IEEE Transactions on Geoscience and Remote Sensing，V39(3)，521-528，2001)。

对上面的J₁、J₂、J₃或J₄判据下的变换矩阵W_dxD确定，通常均归结为S_w ^-1S_b特征向量的求取问题。若S_w ^-1S_b的D个特征值由大到小依次为λ₁，λ₂，…，λ_D，对应的特征向量依次为u₁，u₂，…，u_D，则选前d个特征向量作为变换矩阵，即有W_dxD＝[u₁，u₂，…，u_d]^T。还有其他一些可分性判据，也归结为类似的矩阵特征向量求取问题，如对孙大瑞等人提出的判据 $J_s=\frac{\left|S_b{S_w}^{-1}\right|}{\left|S_w\right|},$ 归结为S_w ^-1S_bS_w ^-1的特征向量求取问题。这些求取特征向量的做法，还可以分阶段进行，先基于S_w对样本做白化变换，即先进行一个变换B使B^TS_wB＝I，然后再基于S_b等进一步做其他变换。以上都属于确定变换矩阵W_dxD的第一种方式，即基于求特征向量来进行，运算简单、速度快。(参考文献：孙大瑞等，基于正交分量辨别分析的人脸识别方法，模式识别与人工智能，v14(3)，372-375，2001)。

求取变换矩阵W_dxD的第一种方式存在的局限性或者缺点是：(1)要求S_w必须为非奇异性矩阵，否则S_w ^-1不存在，而这一要求在样本数量少于特征向量维数时是不成立的，在某些样本数量大于维数的情况下也不成立；(2)前面已提到，对某些判据，求取W_dxD的问题不能推导简化成第一种方式来进行，即第一种方式支持的变换判据或准则少。

上述第二种确定变换矩阵W_dxD的方式，作为一种通用方法，在一定意义上对各种判据都是支持的，也不要求S_w为非奇异性矩阵。但是，W_dxD有dxD个参数，而且由于d在开始时不好盲目确定，一般先取为D，这样则共有DxD个参数，当D较大时，这是一个很大的数字；另一方面，这些参数的搜索范围也一点都不知道。因此，基于通用最优化方法的第二种方式，求取W_dxD的计算量较大，这是使用者不希望看到的。

发明内容

发明目的

针对背景技术中确定变换矩阵W_dxD的第一种方式存在的两个问题，提出一种不要求类内离散度矩阵S_w为非奇异性矩阵的、可支持多种判据的应用面广的特征提取变换方法，同时，该方法与背景技术中的第二种通用方式相比较，应该要确定的参数较少、参数范围较小，以减小计算量、提高运算速度和可操作性。

技术方案

本发明模式识别中特征提取的一种变换方法，是一种三角矩阵变换方法，其步骤如下：(1)自定义或选取一目标函数(主要指类别可分性判据)，以其最优化作为变换准则；(2)根据原始特征向量的维数，给出带未知参数的三角变换矩阵及其约束；(3)在所给准则下，优化三角变换矩阵之未知参数，即确定出具体的三角变换矩阵；(4)变换；(5)根据变换后特征向量各维的大小或者对可分性的贡献做降维处理。

以上步骤(1)，自定义或选取一目标函数(主要指类别可分性判据)，以其最优化作为变换准则，这里的目标函数主要指能反映样本类别可分性的各种判据，也可以包括其他判据，如以验证样本集(Validation Set)的分类精度定义的判据等；目标函数可以选取一现成的可分性判据，也可以自定义一新的判据函数；目标函数的最优化指最大化或者是最小化，如果样本可分性最好或分类精度最高对应目标函数最大则取最大化，相反，则取最小化。

以上步骤(2)，根据原始特征向量的维数，给出带未知参数的三角变换矩阵及其约束，设原始特征向量数据维数为D，则带未知参数的三角变换矩阵及其约束确定如下：

其中，C_i＞0，0 ≤α_i，i≤π/2， $0\&le;\underset{j<i}{{\mathrm{\&alpha;}}_{i,j}}\&le;\mathrm{\&pi;},$ $\underset{j=1}{\overset{i}{\mathrm{\&Sigma;}}}{\cos }^2{\mathrm{\&alpha;}}_{i,j}=1,i=2,\&CenterDot;\&CenterDot;\&CenterDot;,D;$ 共有变量(D²+3D-4)/2个，约束4组。把W_DxD给成它的变种形式——W_DxD乘以一个不为零的常数，也可以，会不影响变换结果的可分性。

以上步骤(3)，在所给准则下，优化三角变换矩阵之未知参数，即以确定的目标判据函数为函数，以变换矩阵W_DxD的未知参数为变量，求解一个带约束的非线性规划问题，可采用各种最优化方法求解，包括各种梯度方法、进化算法等。

以上步骤(4)，变换，即令Y_DxN＝W_DxDX_DxN，其中N为观测样本数据的个数。

以上步骤(5)，根据变换后特征向量各维的大小或对可分性的贡献做降维处理，即根据各特征量的能量或对可分性的贡献的大小，选取能量或贡献最大的d个特征量(d＜D)，使Y_DxN变成Y_dxN，实现降维。

以上步骤(4)和(5)也可以合并，即将步骤(3)中确定的W_DxD中主要的d个行向量取出，构成W_dxD，让Y_dxN＝W_dxDX_DxN，实现降维。

方案产生背景

为了便于理解方案的本质，对方案产生背景做一介绍。

可分性是一个几何直观的概念，研究特征空间内的可分性必须把特征向量的初始基底首先放在一个标架(坐标系)上，这样特征空间内的样本才有了几何位置的概念，坐标系既是几何问题代数化的桥梁也是代数问题几何直观化的桥梁。

传统的做法无不将特征空间初始基底放在直角标架上来实现直观化，这并没有必然性；另一方面，将初始基底放在其他夹角的仿射标架下样本观察值给人的可分性感觉或许更好，如附图2可分性给人的感觉优于附图1。因此，就可分性而言，特征空间初始基底所放置标架的假定存在一个优化的问题。

假定D维特征空间的一个初始基底为a₁，a₂，…，a_D，并假定把该初始基底放在某一仿射标架上，构成一个仿射空间；并记S_i i＝1，2，…，D-1为从a₁到a_i共i个基底向量构成的子空间。

在仿射空间内定义一标准正交基：e₁，e₂，…，e_D，其中，|e_i|＝1，i＝1，2，…，D，e_D方向与S_D-1垂直且指向a_D一侧(angle(e_D，a_D)≤π/2)，e_i i＝D-1，…，2的方向与所有e_j(j＞i)垂直、与S_i-1垂直且指向a_i一侧(angle(e_i，a_i)≤π/2)，e₁方向同a₁。记α_i，j i＝1，2，…，D，j＝1，2，…D为a_i与e_j的夹角，则初始基底对标准正交基的夹角参数写成矩阵形式为：

且有 $\underset{i=1}{\overset{j}{\mathrm{\&Sigma;}}}{\cos }^2{\mathrm{\&alpha;}}_{i,j}=\mathrm{1,0}\&le;{\mathrm{\&alpha;}}_{i,i}\&le;\mathrm{\&pi;}/\mathrm{2,0}\&le;{\mathrm{\&alpha;}}_{i,j}\&le;(i>j).$

若特征空间中某一元素对初始基底的坐标(初始坐标)为X＝(x₁，x₂，…x_D)^T，而其在以上标准正交基下的坐标为Y＝(y₁，y₂，…y_D)^T。假设标准正交基原点与仿射标架原点重合，则有 $\underset{i=1}{\overset{D}{\mathrm{\&Sigma;}}}{x}_i{a}_i=\underset{j=1}{\overset{D}{\mathrm{\&Sigma;}}}{y}_j{e}_j.$ 标准正交基下的分向量y_je_j应该等于初始基底下各分向量

x_ia_i i＝1，2，…，D到e_j投影向量的和，即有 $y_j{e}_j=\underset{i=1}{\overset{D}{\mathrm{\&Sigma;}}}{x}_i\left|a_i\right|\cos \left({\mathrm{\&alpha;}}_{i,j}\right)e_j,$ 进一步有

$y_j=\underset{i=1}{\overset{D}{\mathrm{\&Sigma;}}}{x}_i\left|a_i\right|\cos \left({\mathrm{\&alpha;}}_{i,j}\right),$ 写成矩阵的形式为：

且有 $\underset{i=1}{\overset{j}{\mathrm{\&Sigma;}}}{\cos }^2{\mathrm{\&alpha;}}_{i,j}=\mathrm{1,0}\&le;{\mathrm{\&alpha;}}_{i,i}\&le;\mathrm{\&pi;}/\mathrm{2,0}\&le;{\mathrm{\&alpha;}}_{i,j}\&le;\mathrm{\&pi;}(i>j).$

一般各维坐标同时除以某一个值不会影响可分性，故可再令|a₁|＝1，|a_i|/|a₁|＝C_i i＝2，…，D，则可得上面技术方案中公式(1)所示的变换。对特征空间初始基底尺度的假定，相当于假定一组式(1)中的C_i＞0 i＝2，…D的值，而特征空间初始基底所放置仿射标架的假定，相当于假定一组式(1)中的α_i，j i＝2，3，…，D，j＝1，…，i的值。由于假定标准正交基原点与仿射标架原点重合，仿射变换退化成一种线性变换，这一假定是合理的，因为平移不会影响可分性。

方法的有益效果

(1)与背景技术中通过求取特征向量构做变换矩阵W_dxD的第一种求解方式相比，本发明不要求类内离散度矩阵S_w为非奇异性矩阵，可支持更多更广泛的判据函数，因此，方法没有苛刻的实施条件，可适用面广。

(2)与背景技术中基于最优化技术的第二种求取变换矩阵W_dxD的方式相比，本发明求解的方法与之相似，都是基于最优化方法，但要确定的参数大大减少，而且有很多的约束，因此实际参数搜索空间大为减小，相应地计算量也大大减小，可操作性也增强。表1所列是两种方法求解不同维数变换矩阵W_DxD(假定d＝D)时的参数个数的对比。

表1

维数D	2    5    10    20    30    50
		第二种确定变换矩阵方式	4    25   100   400   900   2500
本发明(三角变换)	3    18   63    228   493   1323

附图说明

图1所示是本发明方法的实施步骤及各步骤的实施内容

图2所示是将两类四个样本的初始基底放在直角标架上的情况

图3所示是将两类四个样本的初始基底放在一仿射标架上的情况

图4所示是本方法三角变换后的两类四个样本的分布情况，图中的坐标系是优化的仿射空间内的一标准正交基。

具体实施方式(实施例)

本发明的具体实施步骤在前面的发明内容中已表达清楚，下面给出一实施例，将使具体实施方式更明了，另外，也可进一步看出本发明的意义。

问题是一两类分类问题的特征提取。已知观测的两个类别的样本共四个，样本的原始特征值及类别如表2，特征向量维数为2。也就是附图1和附图2中所示的数据。

表2

样本号	1           2           3        4
		原始特征值	(0，0)     (1，1.5)    (2，1)    (3，0.5)
类别	1           2           2         2

以上数据的类内离散度矩阵S_w为：

$S_w=\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}{P}_i\frac{1}{n_i}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}(x_k^{\left(i\right)}-m_i){(x_k^{\left(i\right)}-m_i)}^T$

$=\frac{1}{4}\&CenterDot;\frac{1}{1}\left[\begin{array}{c}0\\ 0\end{array}\right]\left[\begin{array}{cc}0& 0\end{array}\right]+\frac{3}{4}\&CenterDot;\frac{1}{3}\left[\begin{array}{ccc}-1& 0& 1\\ 0.5& 0& -0.5\end{array}\right]\left[\begin{array}{cc}-1& 0.5\\ 0& 0\\ 1& -0.5\end{array}\right]$

$=\left[\begin{array}{cc}0.5& -0.25\\ -0.25& 0.125\end{array}\right]$

虽然这里的样本数为4，大于特征空间维数2，但显然S_w仍为奇异矩阵、不可逆，因此，不能采用背景技术中计算矩阵特征向量构做变换矩阵W_dxD的第一种方式。

本发明对该例的实施过程如下：

目标函数的定义。设C为类别数，n_i为第i类的样本数，n_j为第j类的样本数，定义总的类间距为 $E_b=\frac{1}{2}\underset{i=1}{\overset{C}{\mathrm{\&Sigma;}}}\underset{\underset{j\&NotEqual;i}{j=1}}{\overset{C}{\mathrm{\&Sigma;}}}\left(\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{n_j}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}(X_k^i,X_l^j)\right),$ 总的类内距为 $E_w=\frac{1}{2}\underset{i=1}{\overset{C}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{n_i}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{n_i}{\mathrm{\&Sigma;}}}\mathrm{\&delta;}(X_k^i,X_l^i),$ 其中δ(X_k ⁱ，X_l ^j)和δ(X_k ⁱ，X_l ^j)分别为两个样本间的欧氏距离，即两个样本的坐标差的平方和再求算术根，进一步定义可分性判据(目标函数)为：

                                 J_E＝E_b/E_w

这里，类别数C为2，第1类的样本数n₁＝1，第2类的样本数n₂＝3。原始样本的判据值经计算为J_E＝1.583。

带参数三角变换矩阵。原始特征向量维数为2，则带未知参数的三角变换矩阵及其约束确定如下：

$W_{2x2}=\left[\begin{array}{cc}1& C_2\cos {\mathrm{\&alpha;}}_{\mathrm{2,1}}\\ 0& C_2\cos {\mathrm{\&alpha;}}_{\mathrm{2,2}}\end{array}\right]---\left(2\right)$

其中，C₂＞0，0≤α_2，2≤π/2，0≤α_2，1≤π， $\underset{j=1}{\overset{2}{\mathrm{\&Sigma;}}}{\cos }^2{\mathrm{\&alpha;}}_{2,j}=1.$ 共有变量3个，约束4个。

优化三角变换矩阵。以定义的判据J_E为函数，求使它最大化的W_2x2，即优化参数C₂、α_2，1和α_2，2。可采用任何可能的最优化方法，这里采用一种称为猴王遗传算法的优化方法来求解(该种遗传算法的细节见《南京师范大学学报(理科版)》2004年9月第3期)。遗传算法优化时，C₂的搜索范围取为[0，10]，选种群大小为10，经过30代进化，花费约3秒时间求得参数为：α_2，1＝1.8383e-004，α_2，2＝1.5706，C₂＝2.0103，即求取的变换矩阵为

$W_{2x2}=\left[\begin{array}{cc}1.0000& 2.0103\\ 0& 0.0004\end{array}\right]$

变换。再经过Y_2x4＝W_2x2X_2x4变换，得变换后样本如下：

$Y_{2x4}=\left[\begin{array}{cccc}0& 4.0154& 4.0103& 4.0051\\ 0& 0.0006& 0.0004& 0.0002\end{array}\right]$

降维。变换后样本Y_2x4的分布见附图4，显然，类内距大大减小，可分性增强；经计算，变换后样本的可分性J_E＝584.0746。变换后第一维为主要分量，经计算，变换后第一维数据的能量占总能量的比近似为100％；同时，仅用第一维数据计算的可分性判据J_E1＝584.4510，近似等于变换后的J_E，用第二维数据计算的可分性判据J_E2＝1.5。因此，可以放心地降至一维，即让有样本

                 Y＝Y_1x4＝[0 4.0154 4.0103 4.0051]

以上过程中，也可以将后面的步骤合并。即根据W_2x2的行向量的模大小，取W_1x2＝[1.0000 2.0103]。然后令Y＝Y_1x4＝W_1x2X_2x4，以实现降维。

上面定义的可分性判据J_E与一般的资料上的可分性定义方式不大一样，故为自定义。还选取现有的前面提到的 $J_3=\frac{\mathrm{tr}\left(S_b\right)}{\mathrm{tr}\left(S_w\right)}$ 作为可分性判据，其他步骤同上，进行了实施，取得了近

乎相同的效果和结果。说明本发明方法支持更多的判据函数或者说准则。

前面已指出，上面实例问题的类内离散度矩阵S_w为奇异矩阵，不能采用背景技术中计算矩阵特征向量构做变换矩阵W_dxD的第一种方式；其实，如果采用上面自定义的可分性判据J_E，即使S_w为非奇异矩阵，也不支持第一种方式，因为第一种方式只对应前面提到的J₁、J₂、J₃和J₄等判据函数，而本发明方法没有这一限制，支持各种判据。

Claims (7)

1、一种模式识别中特征提取的变换方法，其特征在于，是一种三角矩阵变换方法，其步骤如下：(1)自定义或选取一目标函数(主要指类别可分性判据)，以其最优化作为变换准则；(2)根据原始特征向量的维数，给出带未知参数的三角变换矩阵及其约束；(3)在所给准则下，优化三角变换矩阵之未知参数，即确定出具体的三角变换矩阵；(4)变换；(5)根据变换后特征向量各维的大小或者对可分性的贡献做降维处理。

2、根据权利要求1中所述的特征提取变换方法，其特征在于，自定义或选取一目标函数(主要指类别可分性判据)，以其最优化作为变换准则，这里的目标函数主要指能反映样本类别可分性的各种判据，也可以包括其他判据，如对验证样本集(Validation Set)的分类精度等；目标函数可以选取一现成的可分性判据，也可以自定义一新的判据函数；目标函数的最优化指最大化或者是最小化，如果样本可分性最好或分类精度最高对应目标函数最大则取最大化，相反，则取最小化。

3、根据权利要求1中所述的特征提取变换方法，其特征在于，根据原始特征向量的维数，给出带未知参数的三角变换矩阵及其约束，设原始特征向量数据维数为D，则带未知参数的三角变换矩阵及其约束如下：

其中，C_i＞0，  0≤α_i，i≤π/2， $0\&le;{\mathrm{\&alpha;}}_{\underset{j<i}{i,j}}\&le;\mathrm{\&pi;}$ $\underset{i=1}{\overset{i}{\mathrm{\&Sigma;}}}{\cos }^2{\mathrm{\&alpha;}}_{i,j}=1,$ i＝2，…，D，共有变量(D²+3D-4)/2个，约束4组；W_DxD也可给成它的变种形式——W_DxD乘以一个不为零的常数，不会影响变换结果的可分性。

4、根据权利要求1中所述的特征提取变换方法，其特征在于，在所给准则下，优化三角变换矩阵之未知参数，具体描述为：以确定的目标判据函数为函数，以变换矩阵W_DxD的未知参数为变量，求解一个带约束的非线性规划问题；可采用各种最优化方法，包括各种梯度方法、进化算法等。

5、根据权利要求1中所述的特征提取变换方法，其特征在于，依据确定的变换矩阵变换为Y_DxN＝W_DxDX_DxN，其中N为样本数据个数。

6、根据权利要求1中所述的特征提取变换方法，其特征在于，根据变换后特征向量各维的大小或对可分性的贡献做降维处理，即根据各特征量的能量或者对可分性的贡献的大小，选取能量或贡献最大的d个特征量(d＜D)，使Y_DxN变成Y_dxN，实现降维。

7、根据权利要求1中所述的特征提取变换方法，其特征在于，步骤(4)和(5)也可以合并，即将步骤(3)中确定的W_DxD中主要的d个行向量取出，构成W_dxD，让Y_dxN＝W_dxDX_DxN，实现降维。

Images