CN111832391A - 基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法 - Google Patents

Abstract

本发明公开了一种基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法，目的在于，发掘出隐藏在高维图像信息中的低维几何描述，本发明以张量判别嵌入法(TLRDE)为基础，首先使用截断核范数(Truncated Nuclear Norm)来代替常用的核范数(Nuclear Norm)去更好地逼近矩阵的秩，使得提取出来的图像低维特征更为精确，然后通过对正则项的变形，利用人脸自带的标签信息使得该方法能够在有监督学习的情况下学习出具有判别能力的图像低维特征。本发明在图像特征提取方面性能具有明显的优势，在使用相同的图像分类方法下，通过本发明进行特征提取后的图像，具有更高的识别率。

Description

基于截断核范数的低秩判别嵌入法的图像降维方法及图像识 别方法

技术领域

本发明涉及图像识别领域，具体涉及一种基于截断核范数的低秩判别嵌入法的图像降维方法及图像识别方法。

背景技术

随着社会的进步和科学技术的迅猛发展，图像识别技术越来越成为当今社会上非常有意义的研究方向和热点，其是指计算机对图像进行分析、处理、来模拟和实现人的认知、理解过程以及识别各种不同类别的标签和对象的技术。而在图像识别的过程中，特征提取又作为其核心部分，受到研究者广泛地关注和探索，这是因为原始图像的数据量相当之大，且样本常处于一个高维空间中，直接对原始图像进行分类，无论是从计算量还是计算复杂度来说，都是不可取的，而且提取到的特征直接影响到分类决策算法的性能，提取到不恰当的，冗余的，甚至是错误的特征就不能够精确地分类，甚至无法分类，从而影响整个图像识别系统的性能。为了有效地进行分类，正确地进行特征提取，一般都是寻找到一个最优的投影矩阵，能够将原始数据映射到低维子空间中，同时还要保证映射后的低维子空间能够反映数据集的本质特征。所以说，特征提取本质上就是一种图像数据的降维方法。

总而言之，特征提取是图像识别中的一个重要的组成方法，能够从高维数据中发掘出有效特征，使得数据能够在低维空间中进行准确的几何描述，已经越来越成为许多领域的研究热点。

发明内容

本发明目的：为克服现有的张量低秩判别法(TLRDE)存在的不足，本发明对高维图像进行降维处理，通过建立一种新的图像降维模型，实现图像能够在不丢失有用信息的前提下降低图像的维数。

技术方案：一种基于截断核范数的低秩判别嵌入法的图像降维方法，包括以下步骤：

步骤1：根据目标函数及约束条件，建立基于截断核范数的线性判别嵌入法的模型，表示为：

||Z||_r＝||Z||_*-Tr(FZG^T) (3)

式中，训练集X，P为投影矩阵，Z为重构矩阵，F和G表示对Z进行SVD奇异值分解后得到的奇异值向量进行截断后的向量形式，λ是平衡参数，γ是正则项系数；

步骤2：采用交替迭代算法对模型中的P和Z进行优化，得到优化后的投影矩阵P；

步骤3：基于投影矩阵P，将待降维的高维图像投影到低维子空间中得到对应的低维图像。

进一步的，所述步骤2具体包括以下子步骤：

S210：将公式(2)中不含有Z的项略去，用下式来求解Z：

S220：计算

和

S230：根据求解得到的Z，更新S_z＝(X-XZ)(X-XZ)^T；

S240：将公式(2)中不含有P的项略去，用下式来求解P：

P^*＝arg min_P Tr(P^T(λS_z-γ(S_b-S_w))P),s.t.P^TP＝I. (23)

S250：将公式(23)转化成式(24)的特征值分解问题，得到特征值α的d个最小的特征向量，特征值α的d个最小的特征向量构成投影矩阵P；

(λS_z-γ(S_b-S_w))u＝αu (24)

S260：判断是否满足t＝T，其中，t为当前迭代次数，T为最大迭代次数，若满足则输出投影矩阵P；若不满足，则t＝t+1，转入S210。

进一步的，所述训练集表示为：X＝[X₁,X₂,…,X_c]＝[x₁,x₂,…,x_n]∈R^m×n，

表示第i类样本数据集，数据集共分为c类，每类有N_i个样本，且

是每张图片展开成的向量形式，m表示展开后的样本维度，n表示训练样本的个数。

本发明还公开了一种人脸图像识别方法，包括以下步骤：

采用一种基于截断核范数的低秩判别嵌入法的图像降维方法计算得到投影矩阵P；

采用投影矩阵P将待降维的高维图像投影到低维子空间中得到对应的具有判别能力的图像低维特征；

基于图像低维特征进行人脸识别。

进一步的，采用稀疏表示分类器对图像低维特征进行识别分类，得到识别分类结果。

有益效果：本发明具有以下优点：

1、本发明利用截断核范数代替传统的核范数来逼近矩阵的秩，有效地减少较大奇异值对近似矩阵秩时产生的不良影响，使得提取出的图像低维特征更为精确。

2、本发明使用变形后的LDA判别式，并结合Frobenius范数来作为模型的正则项，成功地将图像自带的标签信息运用到模型中，使模型变为一个有监督学习的模型。

3、本发明是以张量判别嵌入法(TLRDE)为基础进行改进的，相比于张量判别嵌入法只能使用在高光谱图像中，本发明能够将模型运用到日常生活中常见的二维图像中，扩展了本发明的应用场景。

4、本发明采用一种交替方向乘子法算法对模型进行求解，增强了算法的性能。

附图说明

图1为本发明的总体流程图；

图2为本发明所提供特征提取方法与主流算法之间的性能比较，其中：

图2-1本发明所提供特征提取方法与主流算法之间在ORL数据库上的性能比较；

图2-2本发明所提供特征提取方法与主流算法之间在CMU数据库上的性能比较；

图2-3本发明所提供特征提取方法与主流算法之间在YALE数据库上的性能比较；

图3为实施例中使用到的人脸数据库；

图4为实例2-2中本发明所提供特征提取方法与主流算法之间的性能比较；

图5为实例2-2中使用到的受污染的人脸数据库；

图6为本发明的整体算法流程图。

具体实施方式

现结合附图和实施例进一步阐述本发明的技术方案。

本发明为克服现有的张量低秩判别法(TLRDE)存在的不足，通过使用截断核范数(Truncated Nuclear Norm)来代替原方法中的核范数(Nuclear Norm)，以达到对矩阵的秩更好地逼近，从而能够更好地捕获图像的关键特征，然后通过对正则项的变形，利用人脸自带的标签信息使得该方法能够在有监督学习的情况下学习出具有判别能力的图像低维特征。

本发明提供了一种基于截断核范数的低秩判别嵌入法(TNN-LRDE)，通过求解出的投影矩阵P将高维图像数据集映射到低维子空间中，从而来获取图像的低维特征，如图1和图6所示，具体包括以下步骤：

步骤1：给定常用人脸图像库构建数据集X＝[X₁,X₂,…,X_c]＝[x₁,x₂,…,x_n]∈R^m×n，其中

表示第i类样本数据集，数据集共分为c类，每类有N_i个样本，且

是每一个训练样本也即每一张图片展开成的向量形式，m表示展开后的样本维度，n表示训练样本的个数。特征提取的目标就是找到一个最优的投影矩阵P∈R^m×d，把测试集投影到低维子空间中得到Y＝[Y₁,Y₂,…,Y_c]＝[y₁,y₂,…,y_n]∈R^d×n(d＜＜n)，使得测试样本从原始的高维空间中变换到低维空间中，且能够很好地保持图像的本质特征；

步骤2：根据目标函数及约束条件，建立基于截断核范数的低秩判别嵌入法(TNN-LRDE)的模型，该模型表示为：

式中，X为训练集，P为投影矩阵，Z为重构矩阵，

为类间散度，

为类内散度。

但是关于秩最小化问题一直以来都是NP难问题，通常都会采用核范数来替代求解，而本实施例采用了截断核范数来逼近矩阵的秩，因为已经有研究表明，截断核范数相比于核范数能够更好地近似矩阵的秩，所以基于截断核范数的低秩判别嵌入法的模型又可以被写成：

||Z||_r＝||Z||_*-Tr(FZG^T) (3)

其中，F和G表示对Z进行SVD奇异值分解后得到的奇异值向量进行截断后的向量形式，λ是平衡参数，γ是正则项系数。

步骤3：对步骤2建立的模型进行优化并求解得到投影矩阵P；

步骤4：基于投影矩阵P，将步骤1的测试集投影到低维子空间中得到低维测试集Y＝[Y₁,Y₂,…,Y_c]＝[y₁,y₂,…,y_n]∈R^d×n(d＜＜n)，其中

表示第i类低维样本数据集，

表示低维样本。

步骤5：利用稀疏表示分类器(SRC)对低维测试集进行识别并观测识别率和标准偏差，通过对实验获取到的识别率和标准偏差等实验结果来判定降维后得到的图像特征的性能的优劣。

步骤3中，本实施例对所构建的基于截断核范数的低秩判别嵌入法(TNN-LRDE)的模型优化求解过程可以按照如下步骤进行。

步骤2中模型要优化两个变量Z和P，但是同时获得两个变量的最优解是不可能做到的，本实施例采用一种交替的迭代算法来解决这个优化问题，主要分为两步：

第一步，固定变量P去优化变量Z；

第二步，固定变量Z去优化变量P。

关于第一步可以按照以下思路去做：因为是固定变量P去优化变量Z，所以将模型中不含有Z变量的项略去，故求解Z可用下式来求解：

因为||*||_r表示的是截断核范数，故上式又可以写成：

对上述模型可以使用交替方向乘子法来进行求解，具体求解方法如下：

首先写出上述模型的增广拉格朗日函数表达式，然后根据变量分离法又可以将Z分别用H，K来替代；

s.t.Z＝H,Z＝K. (9)

其中，H,K为变量分离法的中间变量。

再把上式有约束的表达式利用增广拉格朗日函数去掉约束项：

其中，u>0为惩罚项参数。

下面开始求解变量参数：

首先计算变量H^*，固定其他变量，故H^*化简为：

上式可以通过奇异值阈值法来计算。

再计算Z^*，同样固定其他变量，故Z^*化简为：

通过局部微分法可求得其最小值：

Z^*＝(2λX^TPP^TX+2uI)^-1×(2λX^TPP^TX+uH+uK-Y₁-Y₂). (13)

同理可以求得：

最后求解拉格朗日乘子Y_i：

Y₁＝Y₁+u(Z-H), (15)

Y₂＝Y₂+u(Z-K), (16)

其中，u为惩罚项的参数，u＝min(ρu,u_max)，ρ表示u的增长倍数，u_max表示u的上限。

关于第二步，按照求解第一步的思路来做，将不含有变量P的项略去，故求解P可用下式来求解：

在将

和

展开后，我们可以得到下式：

且根据

我们可知

其中，S_Z＝(X-XZ)(X-XZ)^T。

相似地，可知：

因此，将求解P的式子转化成如下求解迹最小的式子：

P^*＝arg min_P Tr(P^T(λS_Z-γ(S_b-S_w))P),s.t.P^TP＝I. (23)

同样，将上述问题转化成如下的特征值分解问题：

(λS_z-γ(S_b-S_w))u＝αu (24)

其中投影矩阵P是由上述特征分解所求出的特征值α的d个最小的特征向量组成。

本实施例对现有的张量低秩判别嵌入法(TLRDE)进行改进，通过使用截断核范数来逼近矩阵秩从而避免了由于使用核范数近似矩阵秩导致提取出的低维特征不准确的缺点，并且通过对正则项进行变形从而弥补了张量低秩判别嵌入法(TLRDE)无法在二维图像中使用的缺憾且增强了图像低维特征的判别能力，从而提高了图像识别的准确性。

本实施例可应用于高维图像的降维工作。

采用实施例的方法，分别进行实例2-1和实例2-2。

实例2-1为将图3中所提供的数据库在选择不同训练样本数L后分别使用实施例1提供特征提取方法与主流的特征提取法之间的性能比较，性能包括识别精度、标准偏差和维数。观察图2和表1到表3，可以发现实施例1所提出的基于截断核范数的低秩判别嵌入法性能最佳，相比于其他的方法能够在图像维度较低的情况下获取较高的图像识别率和较低的标准差。

表1：本实施例提供特征提取方法与主流算法在ORL数据库上的性能比较

表2：本实施例提供特征提取方法与主流算法在CMU数据库上的性能比较

表3：本实施例提供特征提取方法与主流算法在YALE数据库上的性能比较

实例2-2为将图5中所提供的受污染的数据库(将图3提供的数据库进行随机黑条噪声污染处理)在选择训练样本数L＝5后分别使用本实施例所提供特征提取方法与主流的特征提取法之间的性能比较。观察图4和表4，可以发现本实施例所提出的基于截断核范数的低秩判别嵌入法性能最佳，相比于其他的方法能够在图像维度较低的情况下获取较高的图像识别率和较低的标准差。

表4本实施例提供特征提取方法与主流算法在受污染数据库上的性能比较

Claims (5)

1.一种基于截断核范数的低秩判别嵌入法的图像降维方法，其特征在于：包括以下步骤：

步骤1：根据目标函数及约束条件，建立基于截断核范数的线性判别嵌入法的模型，表示为：

||Z||_r＝||Z||_*-Tr(FZG^T) (3)

式中，训练集X，P为投影矩阵，Z为重构矩阵，F和G表示对Z进行SVD奇异值分解后得到的奇异值向量进行截断后的向量形式，λ是平衡参数，γ是正则项系数；

步骤2：采用交替迭代算法对模型中的P和Z进行优化，得到优化后的投影矩阵P；

步骤3：基于投影矩阵P，将待降维的高维图像投影到低维子空间中得到对应的低维图像。

2.根据权利要求1所述的一种基于截断核范数的低秩判别嵌入法的图像降维方法，其特征在于：所述步骤2具体包括以下子步骤：

S210：将公式(2)中不含有Z的项略去，用下式来求解Z：

S220：计算

和

S230：根据求解得到的Z，更新S_Z＝(X-XZ)(X-XZ)^T；

S240：将公式(2)中不含有P的项略去，用下式来求解P：

P^*＝arg min_P Tr(P^T(λS_Z-γ(S_b-S_w))P)，s.t.P^TP＝I. (23)

S250：将公式(23)转化成式(24)的特征值分解问题，得到特征值α的d个最小的特征向量，特征值α的d个最小的特征向量构成投影矩阵P；

(λS_Z-γ(S_b-S_w))u＝αu (24)

S260：判断是否满足t＝T，其中，t为当前迭代次数，T为最大迭代次数，若满足则输出投影矩阵P；若不满足，则t＝t+1，转入S210。

3.根据权利要求1所述的一种基于截断核范数的低秩判别嵌入法的图像降维方法，其特征在于：所述训练集表示为：X＝[X₁，X₂，...，X_c]＝[x₁，x₂，...，x_n]∈R^m×n，

表示第i类样本数据集，数据集共分为c类，每类有N_i个样本，且

是每张图片展开成的向量形式，m表示展开后的样本维度，n表示训练样本的个数。

4.基于权利要求1至3任意一项所述的一种基于截断核范数的低秩判别嵌入法的图像降维方法的一种人脸图像识别方法，其特征在于：包括以下步骤：

计算得到投影矩阵P；

采用投影矩阵P将待降维的高维图像投影到低维子空间中得到对应的具有判别能力的图像低维特征；

基于图像低维特征进行人脸识别。

5.根据权利要求4所述的一种人脸图像识别方法，其特征在于：采用稀疏表示分类器对图像低维特征进行识别分类，得到识别分类结果。

Images