CN101826161B - 一种基于局部近邻稀疏表示的目标识别方法 - Google Patents

Abstract

本发明为一种基于局部近邻稀疏表示的目标识别方法，其输入样本模块从数据库中输出并且由本单位化模块c类训练样本集和测试样本集进行单位化，获得单位化后的训练样本集A和测试样本集Y；局部近邻计算模块对于单位化后的测试样本集Y中的每个测试样本y，分别计算测试样本y在训练集A每个类别中的局部近邻；线性重构权值向量计算模块用每个类别的局部近邻线性重构测试样本y，并得到每个类别的线性重构权值向量，同时线性重构权值向量需要满足范数约束条件；局部近邻稀疏表示残差计算模块根据每个类别的线性重构权值向量，计算测试样本y在每个类别的局部近邻稀疏表示残差；分类模块根据每个类别的局部近邻稀疏表示残差，对测试样本y进行分类。

Description

一种基于局部近邻稀疏表示的目标识别方法

技术领域

本发明属于基于计算机的模式识别技术领域，具体地是指一种基于局部近邻稀疏表示的目标识别方法。

背景技术

传统的信号表示理论大多是基于非冗余的正交基函数的变换，如傅立叶变换、Gabor变换、小波变换等等。它们的特点是给定信号的表示形式唯一，对于给定信号，一旦其特性与基函数不完全匹配，所得的分解结果将不再是信号的稀疏表示。因而，寻求新的信号稀疏表示方法成为必要。1993年，Mallat等人首先提出了基于过完备的Gabor词典的信号稀疏表示方法，并提出了匹配追踪(Matching Pursuit，MP)算法，从而开创了信号稀疏分解的新方向。随后，Neff等人提出了基于Gabor字典和匹配追踪算法的视频编码算法。这种方法的基本思想是基函数由一组过完备完备的冗余函数(称作字典)取代，字典中的每个元素则被称作原子，信号通过原子线性重构。其中原子的数目比信号的维数要大的多，由此产生了冗余。正是由于这种过完备性，就会产生多种信号表示形式，其中含有最少非零系数(最稀疏)的表示是最简单的，也是稀疏表示最优的一种表示方法。对于任意信号y∈R^D，其稀疏表示等价于求解如下的优化问题：

min||w||₀，满足y＝Aw                                   (1)

或者，

min||Aw-y||₂+λ||w||₀                                  (2)

其中，A是过完备字典，||w||₀表示线性重构权值向量w中非零分量的个数。近年来，该领域的研究方向主要集中在，设计一组针对具体对象的过完备字典，有效的求解稀疏编码的算法，以及在信号和图像处理还有模式识别领域的应用。

由于稀疏表示最初的提出是为了对信号进行稀疏分解，其目标是尽可能用最少的原子来最好的线性重构原始信号。另一方面，在稀疏表示的分类方法这个研究方向，有利于解决分类问题的一类判别方法受到了显著的关注。例如，一种通过学习多个字典的分类方法，其中每个字典在具有重构性的同时，还具有判别性。该方法通过这些学习得到的字典，对每个图像块进行稀疏表示，最后用重构误差实现对象素的分类。与上述方法不同的是，一种基于信号稀疏分解的分类方法通过在等式(1)的基础上增加一个判别项，使得该方法在具有稀疏性的同时还具有鲁棒性很强的重构性，进而有效的实现了对有损信号数据的分类。

与上述基于信号稀疏分解的分类方法预先指定字典相似，稀疏表示分类方法是一种通用的基于图像的目标识别方法。该方法把模式识别问题看作一个针对多个线性重构模型的分类问题。同时，信号稀疏表示理论为该方法解决模式识别问题提供了强有力的依据。稀疏表示分类方法的主要思想是：对于一个测试样本y，从一个过完备的字典(由整个训练集组成)寻找能够稀疏表示y的一组基元素(整个这组基元素称作基)。具体而言，如果训练集中包含的样本数量足够多，那么对于测试样本y来说，其将可以由与其属于同一类别的部分训练样本线性重构。同时，其线性重构权值向量满足一定的稀疏性，即，线性重构权值向量中只有少数几个分量是非零的。从目前已公布的结果来看，如果恰当的应用稀疏表示分类方法，其可以达到目前最好的分类性能。

虽然上述方法也强调拥有适用于分类的判别性，但是整个过程并没有体现出明显的判别性，同时，对实验对象有一定的限制条件，以及时间复杂度比较高。

发明内容

本发明的目的是提供一种通用的基于局部近邻稀疏表示的目标识别方法，对于任意的测试样本，根据该测试样本与训练集每类样本中局部近邻的关系，得到一组线性重构权值向量，由于该权值向量具有一定的稀疏性和判别性，因此可以快捷、准确、有效的对测试样本进行分类，而且对分类对象没有限制，具有很强的通用性。

为达到上述目的，本发明提供利用基于局部近邻稀疏表示的目标识别系统实现一种基于局部近邻稀疏表示的目标识别方法，该方法的包括如下步骤：

步骤1：输入样本模块从数据库中接收并输出c类训练样本集和测试样本集；

步骤2：样本单位化模块对c类训练样本集和测试样本集进行单位化，获得单位化后的训练样本集A和测试样本集Y；

步骤3：局部近邻计算模块对于单位化后的测试样本集Y中的每个测试样本y，分别计算测试样本y在训练集A每个类别中的局部近邻；

步骤4：线性重构权值向量计算模块用每个类别的局部近邻线性重构测试样本y，并得到每个类别的线性重构权值向量，同时线性重构权值向量需要满足范数约束条件；

步骤5：局部近邻稀疏表示残差计算模块根据每个类别的线性重构权值向量，计算测试样本y在每个类别的局部近邻稀疏表示残差；

步骤6：分类模块根据每个类别的局部近邻稀疏表示残差，对测试样本y进行分类。

本发明的有益效果：本发明对于任意的测试样本，根据该测试样本与训练集每类样本中局部近邻的关系，得到一组线性重构权值向量。由于测试样本的局部近邻所对应的线性重构权值向量可以稀疏线性重构该测试样本，从而可以实现对该测试样本的正确分类。同时，本发明方法的计算过程简单，有效，不需要对训练样本训练分类器，时间复杂度很低，并且对分类对象没有限制，对各种形式的数据集都具有很强的通用性。

附图说明

图1是本发明一种基于局部近邻稀疏表示的目标识别方法的实施例流程图。

图2是MNIST手写体数字数据集中部分样本的原始图像以及单位化后的图像。

图3是Extended Yale B正面人脸数据集中部分样本的原始图像以及单位化后的图像。

图4显示了稀疏近邻表示权值向量的范数约束示意图。

图5显示了本发明方法中参数α对线性重构权值向量中的负分量进行约束的示意图。

图6显示了本发明方法中参数β对线性重构权值向量中的正分量进行约束的示意图。

图7是本发明的一种基于局部近邻稀疏表示的目标识别系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

我们将此方法运用到MNIST手写体数字以及Extend Yale B正面人脸的识别中。本发明研制开发的基于局部近邻稀疏表示的目标识别系统是在微机Windows XP环境下，采用面向对象的设计方法和软件工程规范，用C++语言实现的、面向模式识别领域的一种目标识别系统。

参照图7为本发明的一种基于局部近邻稀疏表示的目标识别系统结构示意图，输入样本模块1从数据库中接收并输出c类训练样本集和测试样本集；样本单位化模块2与输入样本模块1连接，样本单位化模块2对输入样本模块1输出的样本集进行单位化，并输出单位化后的训练样本集和测试样本集；局部近邻计算模块3与样本单位化模块2连接，局部近邻计算模块3对于样本单位化模块输出的任意一个测试样本，分别计算并输出该测试样本在训练集每个类别中的局部近邻；线性重构权值向量计算模块4与局部近邻计算模块3连接，线性重构权值向量计算模块4在范数约束条件下，用局部近邻计算模块3输出的每个类别的局部近邻来线性重构该测试样本，并输出线性重构权值向量；局部近邻稀疏表示残差计算模块5与线性重构权值向量计算模块4连接，局部近邻稀疏表示残差计算模块5根据线性重构权值向量计算模块4输出的线性重构权值向量，计算并输出该测试样本在每个类别的局部近邻稀疏表示残差；分类模块6与局部近邻稀疏表示残差计算模块5连接，分类模块6根据局部近邻稀疏表示残差计算模块5输出的每个类别的局部近邻稀疏表示残差，对该测试样本进行分类并输出类别。

图1是本发明所述方法的实施例流程图。下面以图1为例来说明本发明中一些具体的实现流程。本发明的方法是利用一种基于局部近邻稀疏表示的目标识别系统其具体步骤为：

(a)首先，在步骤1，输入样本模块从选定的数据库中读入c类训练集和测试样本集。然后，在步骤2样本单位化模块对c类训练样本集和测试样本集进行单位化，获得单位化后的训练样本集A和测试样本集Y；其中单位化方法是：将每个L×M像素的二维目标图像(a_l，m)_L×M按照像素列的顺序转化成为一维列向量的形式：

a_l，m表示上述二维图像第l行第m列像素值，n＝L×M，l＝1，2，…，L，m＝1，2，…，M，(a_1，1，a_2，1，…，a_L，M)^T表示行向量(a_1，1，a_2，1，…，a_L，M)的转置，Rⁿ表示n维实向量空间。其次，对一维列向量

进行单位化，得到单位化后训练样本集A和测试样本集Y中的任意一个训练样本或任意一个测试样本

其中， ${\left|\right|\tilde{x}\left|\right|}_2={\left(\underset{l,m=1}{\overset{L,M}{\mathrm{\Σ}}}{a}_{l,m}^2\right)}^{\frac{1}{2}}.$

最后，得到单位化后的训练样本集A：A＝{X₁，X₂，…，X_c}和测试样本集Y，其中X_i表示训练集A的第i个类别的样本集合，i＝1，2，…，c，c为训练集A的类别数。

图2是MNIST手写体数字数据集中部分样本的原始图像以及单位化后的图像。第一行：原始的手写体数字图像；第二行：单位化后的手写体数字图像。MNIST手写体数字数据集(其为NIST数据集的一个子集)包含0-9共十类手写体数字样本，其中训练样本60000个，测试样本10000个。每个样本为28×28像素的灰度图像。

图3是Extended Yale B正面人脸数据集中部分样本的原始图像以及单位化后的图像。第一行：原始的正面人脸图像；第二行：单位化后的正面人脸图像。Extended Yale B数据集包含28个人以9种姿态以及在64种光照条件下，采集得到的16128幅人脸图像。其采集方式与Yale B数据相同(10个人，5760张人脸图像)。本发明选用38个人共计2414幅正面人脸图像作为数据集。此外，这2414幅正面人脸图像被分成两个子集：训练集和测试集。其中，训练集和测试集均包含1207幅图像。

(b)样本单位化完成后，在步骤3，局部近邻计算模块对于单位化后的测试样本集Y中的每个测试样本y，分别计算测试样本y在训练集A每个类别中的局部近邻；对于任意一个测试样本y，计算测试样本y在训练集A每个类别中的局部近邻：对于任意一个测试样本y∈Y，在训练集A的每类样本集合X_i中计算y的局部近邻所述局部近邻计算采用如下的任意一种方式：

①第i类训练样本集合Xi中距离测试样本y最近的k个训练样本{x_i ¹，x_i ²，…，x_i ^k}即为测试样本y在第i个类训练样本中的局部近邻。此时局部近邻，且满足其中，d(y，x_i ^k)表示测试样本y和x_i ^k之间的距离即

表示第i类样本集合X_i中不是测试样本y局部近邻的那部分样本如下表示：

c_i表示第i类样本集合X_i中包含的训练样本个数。

②第i类样本集合X_i中满足到测试样本y的距离小于参数ε的那些训练样本即为测试样本y在第i个类别中的局部近邻。此时满足

其中，d(y，x_i ^k)表示测试样本y和x_i ^k之间的距离即

此时，

表示第i类样本集合X_i中距离测试样本y大于ε的那部分样本即

本实施例中选用第一种局部近邻定义方式，其中，MNIST手写体数字数据集的近邻参数k分别设为1，3，5，10，20，50，100，如表1所示；Extended Yale B正面人脸数据集的近邻参数k分别设为1，5，10，15，20，25，30，如表2所示。

(c)在步骤4中，线性重构权值向量计算模块用每个类别的局部近邻Ψ_i来线性重构测试样本y：

min||Ψ_iw-y||₂                           (6)

并得到每个类别的线性重构权值向量，同时，线性重构权值向量需要满足范数约束条件：对于任意的测试样本y，y在第i类的线性重构权值向量w_i，满足，

min_wα|||w|-w||₁+β|||w|+w||₁           (7)

其中，|w|表示稀疏近邻表示权值向量w的每个分量都取绝对值，α，β为参数分别表示线性重构权值向量中负分量范数和正分量范数的惩罚系数，i＝1，2，…，c并且α|||w|-w||₁+β|||w|-w||₁为线性重构权值向量w的范数约束条件。

如图4示出线性重构权值向量对本发明方法进行范数约束的示意图，显示了稀疏近邻表示权值向量的范数约束，其中，测试样本y属于第i类，[y_i ¹，y_i ²]为y在第i类的局部近邻，[y_j ¹，y_j ²]为y在第j类的局部近邻，粗实线的长度表示第i类样本的线性重构权值向量的范数，粗虚线的长度表示第j类样本的线性重构权值向量的范数。通过对线性重构权值向量的范数约束，使得本发明方法不仅适用于非线性数据集，而且适用线性数据集。

如图5示出参数α对线性重构权值向量中的负分量进行约束的示意图。如图6示出参数β对线性重构权值向量中的正分量进行约束的示意图。本实施例中，MNIST手写体数字数据集中参数α和β分别设为0.1和0.05；Extended Yale B正面人脸数据集中参数α和β分别设为0.05和0.02。

(d)在步骤5中，局部近邻稀疏表示残差计算模块根据每个类别的线性重构权值向量，计算测试样本y在每个类别的局部近邻稀疏表示残差；线性重构权值向量w_i需要同时满足等式(6)和等式(7)，即，

w_i＝arg min_w||Ψ_iw-y||₂+α|||w|-w||₁+β|||w|+w||₁             (8)

此外，由于，α|||w|-w||₁+β|||w|-w||₁＝(α+β)||w||₁-(α-β)·1^T·w。因此，等式(8)等价于，w_i＝arg min_w||Ψ_iw-y||₂+(α+β)||w||₁-(α-β)·1^T·w      (9)

其中，1^T是一个各个分量都等于1的列向量，即，1^T＝(1，1，…，1)^T。

为了方便起见，令λ＝α+β，γ＝α-β，则等式(8)或者等式(9)等价于，

w_i＝arg min_w||Ψ_iw-y||₂+λ||w||₁-γ·1^T·w                    (10)

(e)根据步骤5计算得到的测试样本y在每类的线性重构权值向量w_i，在步骤6，分类模块根据每个类别的局部近邻稀疏表示残差，对测试样本y进行分类。计算测试样本y在每个类别的局部近邻稀疏表示残差：对于任意的第i类，线性重构权值向量w_i对y的局部近邻稀疏表示残差r_i(y)0为

r_i(y)＝||Ψ_iw_i-y||₂                                          (11)

根据步骤6计算得到的每个类别的局部近邻稀疏表示残差r_i(y)，按照下面等式对测试样本进行分类：测试样本y的类别Label(y)满足，

Label(y)＝arg min_ir_i(y)                                      (12)

并输出测试样本y的类别。针对测试样本y的识别过程结束。

表1，表2分别列出了本发明方法在MNIST手写体数字数据集，以及Extended Yale B正面人脸数据集上的识别结果。

表1显示了本发明方法对MNIST手写体数字数据集进行分类的实验结果：

表2显示了本发明方法对Extended Yale B正面人脸数据集进行分类的实验结果：

总之，本发明对于任意的测试样本，根据该测试样本与训练集每类样本中局部近邻的关系，得到一组线性重构权值向量。由于测试样本的局部近邻所对应的线性重构权值向量可以稀疏的线性重构该测试样本，从而可以实现对该测试样本的正确分类。同时，本方法的时间复杂度很低，并且对分类对象没有限制，具有很强的通用性。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于局部近邻稀疏表示的目标识别方法，其特征在于，利用基于局部近邻稀疏表示的目标识别系统，实现该方法的步骤如下：

步骤1：输入样本模块从数据库中接收并输出c类训练样本集和测试样本集；

步骤2：样本单位化模块对c类训练样本集和测试样本集进行单位化，获得单位化后的训练样本集A和测试样本集Y；

步骤3：局部近邻计算模块对于单位化后的测试样本集Y中的每个测试样本y，分别计算测试样本y在训练样本集A每个类别中的局部近邻，所述局部近邻是对于任意一个测试样本y∈Y，在训练样本集A的每类样本集合X_i中计算测试样本y的局部近邻为：

步骤4：线性重构权值向量计算模块用每个类别的局部近邻线性重构测试样本y，并得到每个类别的线性重构权值向量，同时线性重构权值向量需要满足范数约束条件，其中，所述线性重构权值向量需要满足范数约束条件是：对于任意的测试样本y在第i个类的线性重构权值向量w_i，满足

w_i＝arg min_w||Ψ_iw-y||₂+α|||w|-w||₁+β|||w|+w||₁，

其中，|w|表示线性重构权值向量w的每个分量都取绝对值，

${\left|\right|w\left|\right|}_1=\underset{s=1}{\overset{k}{\mathrm{\Σ}}}\left|w\left(s\right)\right|,$

α，β分别表示线性重构权值向量中的负分量范数和正分量范数的惩罚系数，i＝1，2，…，c；

步骤5：局部近邻稀疏表示残差计算模块根据每个类别的线性重构权值向量，计算测试样本y在每个类别的局部近邻稀疏表示残差；

步骤6：分类模块根据每个类别的局部近邻稀疏表示残差，对测试样本y进行分类；

所述单位化是将每个L×M像素的二维目标图像(a_l，m)_L×M按照像素列的顺序转化成为一维列向量的形式：

$\tilde{x}={(a_{1,1},a_{\mathrm{2,1}},...,a_{L,M})}^T\∈R^n,$

其中，a_l，m表示二维图像第l行第m列像素值，n＝L×M，l＝1，2，…，L，m＝1，2，…，M，(a_1，1，a_2，1，…，a_L，M)^T表示行向量(a_1，1，a_2，1，…，a_L，M)的转置，Rⁿ表示n维实向量空间；其次，对一维列向量

进行单位化，得到单位化后训练样本集A和测试样本集Y中的任意一个训练样本或任意一个测试样本

其中， ${\left|\right|\tilde{x}\left|\right|}_2={\left(\underset{l,m=1}{\overset{L,M}{\mathrm{\Σ}}}{a}_{l,m}^2\right)}^{\frac{1}{2}};$

最后，得到单位化后的训练样本集A：A＝{X₁，X₂，…，X_c}和测试样本集Y，其中X_i表示训练样本集A的第i个类别的样本集合，i＝1，2，…，c，c为训练样本集A的类别数。

2.根据权利要求1所述的基于局部近邻稀疏表示的目标识别方法，其特征在于：所述局部近邻的计算采用如下的两种方式中的一种方式：

1)第i类训练样本集合X_i中距离测试样本y最近的k个训练样本

即为测试样本y在第i个类训练样本中的局部近邻；此时局部近邻 ${\mathrm{\Ψ}}_i=\{x_i^1,x_i^2,...,x_i^k\},$ 且满足 $d(y,x_i^1)\≤d(y,x_i^2)\≤...\≤d(y,x_i^k)\≤...\≤d(y,x_i^{c_i}),$ 其中，

表示测试样本y和

之间的距离即 $d(y,x_i^k)={\left|\right|y-x_i^k\left|\right|}_2,$ 在第i类样本集合X_i中不是测试样本y局部近邻的那部分样本如下表示：

$\{x_i^{k+1},x_i^{k+2},...,x_i^{c_i}\}$ 即 $\{x_i^{k+1},x_i^{k+2},...,x_i^{c_i}\}=X_i-\{x_i^1,x_i^2,...,x_i^k\},$ c_i表示第i类样本集合X_i中包含的训练样本个数；

2)第i类样本集合X_i中满足到测试样本y的距离小于参数ε的那些训练样本为测试样本y在第i个类别中的局部近邻，此时

满足 $d(y,x_i^1),$ $d(y,x_i^2),$ $d(y,x_i^k)<\mathrm{\&epsiv;}<d(y,x_i^{k+1}),$ $d(y,x_i^{k+2}),$ $d(y,x_i^{c_i}),$ $d(y,x_i^k)$ 表示测试样本y和

之间的距离即 $d(y,x_i^k)={\left|\right|y-x_i^k\left|\right|}_2,$ 此时， $\{x_k^{k+1},x_i^{k+2},...,x_i^{c_i}\}$ 表示第i类样本集合X_i中距离测试样本y大于ε的那部分样本，即，

$\{x_i^{k+1},x_i^{k+2},...,x_i^{c_i}\}=X_i-\{x_i^1,x_i^2,...,x_i^k\}.$

3.根据权利要求1所述的基于局部近邻稀疏表示的目标识别方法，其特征在于：所述计算测试样本y在每个类别的局部近邻稀疏表示残差是：对于第i类训练样本集样本，按照测试样本y在第i个类的线性重构权值向量w_i，对测试样本y的局部近邻稀疏表示残差r_i(y)为：

r_i(y)＝||Ψ_iw_i-y||₂。

4.根据权利要求1所述的基于局部近邻稀疏表示的目标识别方法，其特征在于：所述分类是依据每个类别的局部近邻稀疏表示残差r_i(y)，对测试样本y进行分类，测试样本y的类别Label(y)满足，

Label(y)＝arg min_ir_i(y)。

Images