CN101833667A - 一种基于分组稀疏表示的模式识别分类方法 - Google Patents

Abstract

本发明公开了一种基于分组稀疏表示的模式识别分类方法，该方法包括：通过求解线性方程的最小二乘解获得待识别样本的初始表示；在线性方程的解空间内补偿较小的分组系数，逐步增强解向量在分组稀疏模型意义下的稀疏性，反复迭代直到收敛，获得样本的分组稀疏表示；根据所获得的稀疏解判定待识别样本的类别为对应系数最大的分组，置信度用稀疏解的系数在各分组分布的集中程度来衡量。本发明采用的分组模型更适应分类问题的需要，提高了识别能力，结合解空间内系数补偿的方法，增强了解的稀疏性，减小了计算量。本方法不仅适用于模式识别的分类问题，还可用于压缩感知等领域，具有广阔的应用前景。

Description

一种基于分组稀疏表示的模式识别分类方法

技术领域

本发明涉及模式识别技术领域以及稀疏表示理论，特指一种基于分组稀疏模型的分类方法。

背景技术

稀疏性在模式识别方法中发挥着重要作用。支持向量机(SupportVector Machine，SVM)通过选择只占整个训练样本集很小比例的支撑向量并据此构建最佳分类边界，取得了比传统神经网络方法更强的泛化能力，克服了过学习的问题。相关向量机(Relevance Vector Machine，RVM)通过在SVM中引入概率模型，使得支持向量对应的系数更稀疏，获得了优于支持向量机的性能。近年来，随着稀疏表示理论的快速发展，出现了一种新的模式识别方法，直接利用样本在训练集上的稀疏表示来对样本分类。

稀疏表示理论主要解决如何求线性方程的稀疏解问题。给定一组向量a₁，a₂，...，a_n，b是它们所张成的空间中的向量，可表示为a₁，a₂，...，a_n的线性组合，即b＝x₁a₁+x₂a₂+...+x_na_n，问题是如何用最少的a₁，a₂，...，a_n来线性表示b，也就是使x₁，x₂，...，x_n中的非零元素尽可能少，可以表示为如下优化问题：

min||x||₀   s.t.   Ax＝b

其中A＝[a₁，a₂，...，a_n]，x＝[x₁，x₂，...，x_n]^T，||x||₀为向量x的l⁰范数，即x₁，x₂，...，x_n中非零元素的个数。

考虑到实际问题中噪声的影响，上述问题可以改为如下的稳定形式：

min||x||₀  s.t.||Ax-b||≤ε

上述优化问题是一个NP-难的组合规划问题，还没有算法能在多项式时间内找到该问题的解。只要问题的维数稍高，运用穷举的算法找到最优解就变得不可行。解决这个问题有两类算法，一类是贪婪算法，如早期的匹配追踪(Matching Pursuit，MP)方法，正交匹配追踪(Orthogonal MatchingPursuit，OMP)，以及Stable Orthogonal Matching Pursuit(StOMP)等，它们虽然无法保证得到最优解，但是通过启发式的搜索在大部分情况下工作得很好；另一类办法则是将原问题转化为一个凸规划问题，如基追踪(BasisPursuit，BP)，具体做法是用l¹范数取代l⁰范数，将问题转化为

min||x||₁s.t.Ax＝b

或

min||x||₁ s.t.||Ax-b||≤ε

可以证明，在一定的条件下(Restrict Isometric Property，RIP)，l¹范数最小化问题的解也是原l⁰范数最小化问题的解。由于l¹范数是一个凸函数，l⁰范数换成l¹范数后问题就转化为一个凸规划问题，从而能够在多项式时间内求解。这个优化问题的求解方法近年来得到了深入研究，代表性算法如同伦算法(Homotopy)等。

稀疏表示理论的快速发展催生了许多新的应用，如压缩感知等.稀疏表示理论也被用于解决模式识别领域的分类问题，通过求解样本在训练集所有样本上的最稀疏的表示，得到该样本在所有训练样本上的系数，根据这些系数分别用每一类别的训练样本重建原样本并取其重构误差，误差最小的一类即为输入样本所属类别，同时可以根据稀疏表示系数在各类别的分布集中程度来衡量这一判断的可信度.这一方法的优点在于，它利用了全部训练样本而不只是某一类样本来判断，增强了识别能力，同时，与传统基于距离或基于概率的传统模式识别方法识别机理不同，基于稀疏表示的识别机理使得它能够处理传统方法难以应对的大幅度局部噪声，如人脸识别问题中常见的遮挡问题，稳定形式的优化问题也能处理小幅度的全局噪声。这一方法的不足之处在于，它依赖样本在训练集样本上的表示系数在各类别的分布情况来识别样本，然而获得这些稀疏表示系数所依据的模型却趋向于减少表示所需的样本个体数目而不是类别的数目。

发明内容

(一)要解决的技术问题

本发明的目的在于，针对现有的稀疏表示分类方法存在的问题，提出一种新的基于分组稀疏系数补偿的模式识别分类方法，识别效果优秀，能够处理样本有局部噪声或小幅噪声干扰的情形，适于分布式处理。

(二)技术方案

为达到上述目的，本发明提供了一种基于分组稀疏表示的模式识别分类方法，该方法根据系数补偿算法计算待识别样本在训练集样本上的分组稀疏表示，将系数向量的l^p范数最大的一组对应的类别判定为该样本的所属类别，用分组稀疏表示系数的集中度来衡量判定的可信度，具体包括：

步骤1：通过求解线性方程的最小二乘解获得待识别样本的初始表示；

步骤2：在线性方程的解空间内补偿较小的分组系数，逐步增强解向量在分组稀疏模型意义下的稀疏性，反复迭代直到收敛，获得样本的分组稀疏表示；

步骤3：根据所获得的稀疏解判定待识别样本的类别为对应系数最大的分组，置信度用稀疏解的系数在各分组分布的集中程度来衡量。

上述方案中，所述系数补偿算法，是依据如下线性方程的通解形式在方程的解空间内逐步迭代补偿表示系数，以增强解的稀疏性；线性方程Ax＝b的通解形式为其中x₀为方程的任意解，

为任意与x₀同维的向量，H＝I-A^T(AA^T)^-1A是向解空间的投影算子。

上述方案中，所述在方程的解空间内逐步迭代补偿表示系数，具体包括：

步骤11：求出线性方程的最小二乘解作为迭代的初始值；

步骤12：根据适当的比例在解的所有系数不为零的分组中选出系数较小的待补偿分组，若只有一个分组系数不为零，迭代结束，该解向量即为分组稀疏解；否则，继续迭代；

步骤13：以使得待补偿分组系数为零为目标确定补偿目标向量，并将其向解空间内投影得到系数补偿向量；

步骤14：更新解向量，将其加上系数补偿向量，转向步骤2。

上述方案中，所述待识别样本在训练集样本上的分组稀疏表示，是根据如下分组稀疏模型求出优化问题的稀疏解：

s.t.Ax＝b

其中A＝[A₁，A₂，…，A_J]，i＝1，2，…，J，

是训练集中属于第i类的第j个样本的特征向量，b为待识别样本的特征向量，

为线性方程Ax＝b的解向量，x_i为待识别样本在训练集中所有属于第i类样本上的表示系数向量，

为这些系数向量的l^p范数||x₁||_p，||x₂||_p，…，||x_J||_p中非零元素的个数。

上述方案中，所述用分组稀疏表示系数的集中度来衡量判定的可信度中，对所求的分组稀疏解

采用如下集中度指标来衡量判定的可信度：

$(J\max \left(\right\{{\left|\right|x_i\left|\right|}_p,i=1,\·\·\·,J\left\}\right)-{\mathrm{\Σ}}_{i=1}^J{\left|\right|x_i\left|\right|}_p)/(J-1)$

当集中度大于预先指定的阈值时，认为判定是可信的，输出待识别样本的所属类别为系数向量范数最大的分组对应的类别；当集中度小于预先指定的阈值时，认为待识别样本不属于任何已知的一类，拒识该样本。

(三)有益效果

从上述技术方案可以看出，本发明具有以下有益效果：

1、本发明提供的基于分组稀疏表示的模式识别分类方法，采用的分组模型更适应分类问题的需要，提高了识别能力，结合解空间内系数补偿的方法，增强了解的稀疏性，减小了计算量。

2、本发明提供的分组稀疏模型的系数补偿求解算法，不仅适用于模式识别的分类问题，还可用于压缩感知等领域，具有广阔的应用前景。

附图说明

图1是本发明提供的基于分组稀疏表示的模式识别分类方法流程图；

图2是待识别样本在训练集样本上的稀疏表示系数；

图3是该稀疏表示在各分组上的系数向量的l²范数。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明研究了稀疏表示在模式识别领域的应用，通过构建用于分类的分组稀疏模型，提出了一种分组稀疏系数补偿的稀疏求解算法并将其应用到模式识别的分类问题。

如图1所示，图1是本发明提供的基于分组稀疏表示的模式识别分类方法流程图，该方法根据系数补偿算法计算待识别样本在训练集样本上的分组稀疏表示，将系数向量的l^p范数最大的一组对应的类别判定为该样本的所属类别，用分组稀疏表示系数的集中度来衡量判定的可信度，具体包括以下步骤：

步骤1：通过求解线性方程的最小二乘解获得待识别样本的初始表示；

步骤2：在线性方程的解空间内补偿较小的分组系数，逐步增强解向量在分组稀疏模型意义下的稀疏性，反复迭代直到收敛，获得样本的分组稀疏表示；

步骤3：根据所获得的稀疏解判定待识别样本的类别为对应系数最大的分组，置信度用稀疏解的系数在各分组分布的集中程度来衡量。

其中，所述系数补偿算法，是依据如下线性方程的通解形式在方程的解空间内逐步迭代补偿表示系数，以增强解的稀疏性；线性方程Ax＝b的通解形式为

其中x₀为方程的任意解，

为任意与x₀同维的向量，H＝I-A^T(AA^T)^-1A是向解空间的投影算子。

所述在方程的解空间内逐步迭代补偿表示系数，具体包括：

步骤11：求出线性方程的最小二乘解作为迭代的初始值；

步骤12：根据适当的比例在解的所有系数不为零的分组中选出系数较小的待补偿分组，若只有一个分组系数不为零，迭代结束，该解向量即为分组稀疏解；否则，继续迭代；

步骤13：以使得待补偿分组系数为零为目标确定补偿目标向量，并将其向解空间内投影得到系数补偿向量；

步骤14：更新解向量，将其加上系数补偿向量，转向步骤2。

所述待识别样本在训练集样本上的分组稀疏表示，是根据如下分组稀疏模型求出优化问题的稀疏解：

s.t.Ax＝b

其中A＝[A₁，A₂，…，A_J]，i＝1，2，…，J，

是训练集中属于第i类的第j个样本的特征向量，b为待识别样本的特征向量，

为线性方程Ax＝b的解向量，x_i为待识别样本在训练集中所有属于第i类样本上的表示系数向量，

为这些系数向量的l^p范数||x₁||_p，||x₂||_p，…，||x_J||_p中非零元素的个数。

所述用分组稀疏表示系数的集中度来衡量判定的可信度中，对所求的分组稀疏解

采用如下集中度指标来衡量判定的可信度：

$(J\max \left(\right\{{\left|\right|x_i\left|\right|}_p,i=1,\·\·\·,J\left\}\right)-{\mathrm{\Σ}}_{i=1}^J{\left|\right|x_i\left|\right|}_p)/(J-1)$

当集中度大于预先指定的阈值时，认为判定是可信的，输出待识别样本的所属类别为系数向量范数最大的分组对应的类别；当集中度小于预先指定的阈值时，认为待识别样本不属于任何已知的一类，拒识该样本。

基于图1所示的基于分组稀疏表示的模式识别分类方法，本发明提出的这种基于分组稀疏系数补偿算法的模式识别分类方法，实施的步骤如下：

1、提取样本特征，用特征向量表示所有训练集样本及待识别样本。将所有训练集样本按其所属类别分组，第i类训练集样本向量排列成矩阵

全部训练集样本排成的矩阵为A＝[A₁，A₂，…，A_J]，待识别样本记为b

2、计算向解空间投影的算子矩阵H＝I-A^T(AA^T)^-1A

3、求出线性方程Ax＝b的最小二乘解x＝x₀作为迭代的初始值

4、计算解向量x在各分组上的系数分量的l^p范数||x₁|_p，||x₂||_p，…，||x_J||_p，统计其中大于预先指定的误差限ε的元素个数，记个数为N。若N＝1，转向7，否则继续迭代

5、在所有N个不为零的分组系数向量的l^p范数中选取适当比例的分组进行补偿，设预先指定的比例为α，则阈值为N个数中从小到大顺序的第max(αN，1)个数T，补偿目标是使得所有||x_i||_p≤T对应的分组的系数为零，因此补偿目标向量为

其中

实际补偿向量为t在解空间内的投影x_c＝Ht。

6、更新解向量，x^new＝x^old+x_c，转向4

7、计算||x₁||_p，||x₂||_p，…，||x_J||_p的集中度，若集中度大于预先指定的阈值，输出最大的元素对应的类别为待识别样本的所属类别；否则，拒识该样本。

8、重复步骤3-7直至所有待识别样本全部识别完毕。

实施例

本发明应用的一个实例是人脸识别问题。样本集为Yale B扩展数据库中38个人的2414张人脸图像，大小为192×168像素。将每幅图像降采样为24×21大小，按顺序排列成一个504维的向量。将所有人脸图像向量随机分为两组，一组加入训练集，一组加入测试集。从测试集中随机选出一个向量，用上述算法求出其在训练集所有样本上的分组稀疏表示，所求得得稀疏解如图2所示，各分组对应的系数向量的l²范数如图3所示。从图上可以看出，第6分组的系数向量范数最大，该样本被判定为第6个人。对整个数据集交叉验证得到的识别率为94.2％。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于分组稀疏表示的模式识别分类方法，其特征在于，该方法根据系数补偿算法计算待识别样本在训练集样本上的分组稀疏表示，将系数向量的l^p范数最大的一组对应的类别判定为该样本的所属类别，用分组稀疏表示系数的集中度来衡量判定的可信度，具体包括：

步骤1：通过求解线性方程的最小二乘解获得待识别样本的初始表示；

步骤2：在线性方程的解空间内补偿较小的分组系数，逐步增强解向量在分组稀疏模型意义下的稀疏性，反复迭代直到收敛，获得样本的分组稀疏表示；

步骤3：根据所获得的稀疏解判定待识别样本的类别为对应系数最大的分组，置信度用稀疏解的系数在各分组分布的集中程度来衡量。

2.根据权利1所述的基于分组稀疏表示的模式识别分类方法，其特征在于，所述系数补偿算法，是依据如下线性方程的通解形式在方程的解空间内逐步迭代补偿表示系数，以增强解的稀疏性；线性方程Ax＝b的通解形式为其中x₀为方程的任意解，

为任意与x₀同维的向量，H＝I-A^T(AA^T)^-1A是向解空间的投影算子。

3.根据权利2所述的基于分组稀疏表示的模式识别分类方法，其特征在于，所述在方程的解空间内逐步迭代补偿表示系数，具体包括：

步骤11：求出线性方程的最小二乘解作为迭代的初始值；

步骤12：根据适当的比例在解的所有系数不为零的分组中选出系数较小的待补偿分组，若只有一个分组系数不为零，迭代结束，该解向量即为分组稀疏解；否则，继续迭代；

步骤13：以使得待补偿分组系数为零为目标确定补偿目标向量，并将其向解空间内投影得到系数补偿向量；

步骤14：更新解向量，将其加上系数补偿向量，转向步骤2。

4.根据权利1所述的基于分组稀疏表示的模式识别分类方法，其特征在于，所述待识别样本在训练集样本上的分组稀疏表示，是根据如下分组稀疏模型求出优化问题的稀疏解：

s.t.Ax＝b

其中A＝[A₁，A₂，…，A_J]，

i＝1，2，…，J，

是训练集中属于第i类的第j个样本的特征向量，b为待识别样本的特征向量，

为线性方程Ax＝b的解向量，x_i为待识别样本在训练集中所有属于第i类样本上的表示系数向量，为这些系数向量的l^p范数‖x₁‖_p，‖x₂‖_p，…，‖x_J‖_p中非零元素的个数。

5.根据权利1所述的基于分组稀疏表示的模式识别分类方法，其特征在于，所述用分组稀疏表示系数的集中度来衡量判定的可信度中，对所求的分组稀疏解采用如下集中度指标来衡量判定的可信度：

$(J\max \left(\right\{\left|\right|{x_i\left|\right|}_p,i=1,\·\·\·,J\left\}\right)-{\mathrm{\Σ}}_{i=1}^J|\left|{x_i\left|\right|}_p\right)/(J-1)$

当集中度大于预先指定的阈值时，认为判定是可信的，输出待识别样本的所属类别为系数向量范数最大的分组对应的类别；当集中度小于预先指定的阈值时，认为待识别样本不属于任何已知的一类，拒识该样本。

Images