CN109754018B - 一种基于f范数的低秩局部保持投影的图像识别方法 - Google Patents

Abstract

本发明涉及一种基于F范数的低秩局部保持投影的图像识别方法，对高维数据进行降维，特别针对图像中存在异常值的情况。具体采用鲁棒性主成分分析(RPCA)和基于F范数的局部保持投影对输入的原始图像数据建立分析模型；采用交替迭代法求解模型，得到图像的投影矩阵；根据得到的投影矩阵，对未知的图像进行分类。本方法使用低秩数据矩阵作为输入，使用F范数作为样本间距离测量标准，使得高维空间中距离较近的数据在投影到低维空间后仍保持距离较近，从而保持数据的局部结构。

Description

一种基于F范数的低秩局部保持投影的图像识别方法

技术领域

本发明是一种机器学习的特征提取方法，尤其涉及一种基于F范数的低秩局部保持投影的图像识别方法，特别是适用于图像中带有异常值的分类。

背景技术

在现代计算机视觉和图像处理研究中，高维数据随处可见。然而高维数据不仅会增加存储开销和计算复杂度，而且会在实际应用中减少算法的有效性。高维数据往往分布在低维子空间或者流形的低维结构当中。所以，寻找高维数据到低维空间中的映射关系已成为对图像分类的一个重要问题。近几十年，数据降维的算法已经取得广泛的进展。

局部保持投影(LPP)是一种非线性的降维方法。相比于线性降维方法，LPP更注重于保持数据的局部结构，使得嵌入在高维数据中的真实信息得以保存。LPP首先构建高维数据的邻域信息图来保存局部邻域信息，通过学习一个投影矩阵将高维数据投影到低维子空间的同时保持原有的流形结构，使得样本在投影到低维空间后，得到比较好的局部近邻关系。

虽然LPP有较好的图像分类效果，但在实际处理图像时，图像往往会带有一些异常值。如果继续用LPP对图像进行分类，正确率就会受到影响。在LPP的目标函数中，距离的度量是基于L2-范数的，它的一个缺陷就是：异常值在二次项的作用下会被夸大。在这种情况下，我们学习到的投影矩阵就会偏向异常值而偏离正确的主方向。传统LPP方法对于噪声十分敏感，因为平方F范数放大了噪声对算法的影响。相比于平方F范数，基于F范数的方法对于噪声具有更强的鲁棒性，可以削弱噪声的负面影响，达到提升算法表现并增强算法鲁棒性的目的。

发明内容

为解决上述技术问题，本发明的目的在于：克服现有技术的不足，提供一种对异常值鲁棒的一种基于F范数的低秩局部保持投影的图像识别方法，具体实施过程包括以下步骤：

A.采用鲁棒性主成分分析(RPCA)和基于F范数的局部保持投影对输入的原始图像数据X＝[x₁，x₂，...，x_N]建立分析模型，其中每个图像X_i是一个列向量，大小为

B.采用交替迭代法求解模型，得到图像的投影矩阵。

C.根据得到的投影矩阵，对未知的图像进行分类。

进一步，所述步骤A具体为：

A1.确定输入图像矩阵满足的鲁棒性主成分分析(RPCA)最小值方程，即求解图像矩阵的低秩成分，所述输入图像低秩成分满足的最小方程为：

其中，X为输入的原始图像矩阵，A和E分别为从X中分解出的干净数据矩阵和稀疏噪声矩阵。||·||₁是l₁范数，通常作为稀疏噪声的约束，||·||_*是核范数，通常作为低秩数据的约束，λ是模型参数，通常取值范围为：[0.0001,0.001,0.01,0.1,1,10]。

A2.使用A1所述求解得到的图像矩阵的低秩成分A确定图像投影矩阵满足基于F范数的局部保持投影的最小值方程，所述求解投影矩阵的最小值方程为：

其中

为要求解的投影矩阵，要将输入图像矩阵A从H维降到h维，a_i是输入的图像数据的低秩成分,即干净数据矩阵A的列向量，“||·||_F”是F范数，

||V^Ta_i-V^Ta_j||_F表示数据a_i与a_j的距离，w′_ij是自适应权重调整系数；

令

w_ij为权重调整系数，w_ij的值可以由以下高斯函数计算：

其中，t为广度参数，取值通常是一个比较大的整数，比如10^7。w_ij组成一个权重矩阵

由w′_ij构成新的权重矩阵W′；

为了求解这个最小方程式，给目标函数(2)加上一个约束(3)

V^TADA^TV＝I (3)

其中，D是对角矩阵，对角线上的每一个元素等于矩阵W′每列(或每行)元素之和，即d′_ii＝∑_jω′_ij；

则可以得到如下形式：

A3.确定图像投影矩阵满足的求解模型，结合鲁棒性主成分分析(RPCA)模型公式(1)和基于F范数的局部保持投影模型公式(4)，所述投影矩阵满足的最终目标模型为：

其中

为要求解的投影矩阵，A和E分别为从X中分解出的干净数据矩阵和稀疏噪声矩阵，w′_ij为权重调整系数，α和β为模型参数，通常取值范围为：

[0.0001,0.001,0.01,0.1,1,10]，因此在上述方程式中有四个变量，分别是低秩矩阵

A，稀疏噪声矩阵E，投影矩阵V，还有权重矩阵W′，此时投影矩阵V不能由目标函数直接求导得到。

所述步骤B包括：根据目标方程式求解投影矩阵V，利用交替迭代法求解目标函数，在对其中一个变量进行更新时，需要固定其他变量，交替求解直至收敛。

所述步骤C图像分类包括：

学习完矩阵V后，利用最近邻方法(KNN)对测试图像集分类：

e_ij＝||A^Tx_i-A^Tx_j||²

x_i是测试集中的未知类别的图像，x_j是训练集中已知类别的图像，e_ij是两个图像之间的误差，x_i的类别即为使误差最小的已知类别图像对应的类别。

本发明的基于F范数的低秩局部保持投影的图像识别方法对高维数据进行降维，特别针对图像中存在异常值的情况，记为LR-FLPP。利用交替迭代法对目标函数求解，得到投影矩阵；利用投影矩阵对图像进行分类。本方法使用低秩数据矩阵作为输入，使用F范数作为样本间距离测量标准，使得高维空间中距离较近的数据在投影到低维空间后仍保持距离较近，从而保持数据的局部结构。此外，使用低秩数据作为输入可以减少异常值和噪声的影响。本发明可广泛应用于图像识别领域。

附图说明

图1为基于F范数的低秩局部保持投影的图像识别方法的流程图；

图2为求解投影矩阵的流程图。

具体实施方式

下面结合附图与实验对该发明的技术方法进行进一步的说明。

基于本发明提出了一种基于F范数的低秩局部保持投影的图像识别方法，参照图1，具体实施包括：

A.采用鲁棒性主成分分析(RPCA)和基于F范数的局部保持投影对输入的原始图像数据X＝[x₁，x₂，...，x_N]建立分析模型，其中每个图像x_i是一个列向量，大小为

B.采用交替迭代法求解模型，得到图像的投影矩阵。

C.根据得到的投影矩阵，对未知的图像进行分类。

进一步，所述步骤A具体为：

A1.确定输入图像矩阵满足的鲁棒性主成分分析(RPCA)最小值方程，即求解图像矩阵的低秩成分，所述输入图像低秩成分满足的最小方程为：

其中，X为输入的原始图像矩阵，A和E分别为从X中分解出的干净数据矩阵和稀疏噪声矩阵。||·||₁是l₁范数，通常作为稀疏噪声的约束，||·||_*是核范数，通常作为低秩数据的约束，λ是模型参数，通常取值范围为：[0.0001,0.001,0.01,0.1,1,10]。

A2.使用A1所述求解得到的图像矩阵的低秩成分A确定图像投影矩阵满足基于F范数的局部保持投影的最小值方程，所述求解投影矩阵的最小值方程为：

其中

为要求解的投影矩阵，要将输入图像矩阵A从H维降到h维，a_i是输入的图像数据的低秩成分,即干净数据矩阵A的列向量，“||·||_F”是F范数，||V^Ta_i-V^Ta_j||_F表示数据a_i与a_j的距离，w′_ij是自适应权重调整系数；

令

w_ij为权重调整系数，w_ij的值可以由以下高斯函数计算：

其中，t为广度参数，取值通常是一个比较大的整数，比如10^7。w_ij组成一个权重矩阵

由ω′_ij构成新的权重矩阵W′；

为了求解这个最小方程式，给目标函数(2)加上一个约束(3)

V^TADA^TV＝I (3)

其中，D是对角矩阵，对角线上的每一个元素等于矩阵W′每列(或每行)元素之和，即d′_ii＝∑_jω′_ij；

则可以得到如下形式：

A3.确定图像投影矩阵满足的求解模型，结合鲁棒性主成分分析(RPCA)模型公式(1)和基于F范数的局部保持投影模型公式(4)，所述投影矩阵满足的最终目标模型为：

其中

为要求解的投影矩阵，A和E分别为从X中分解出的干净数据矩阵和稀疏噪声矩阵，ω′_ij为权重调整系数，α和β为模型参数，通常取值范围为：

[0.0001,0.001,0.01,0.1,1,10]，因此在上述方程式中有四个变量，分别是低秩矩阵A，稀疏噪声矩阵E，投影矩阵V，还有权重矩阵W′，此时投影矩阵V不能由目标函数直接求导得到。

参照图2，步骤B中的交替迭代法具体为：

根据目标方程式(5)求解投影矩阵A，利用交替迭代法求解目标函数，在对一个变量进行更新时，需要固定其他的变量，当算法达到终止条件后则停止迭代。

B1.根据目标方程式(5)得出增广拉格朗日函数。

B2.固定其他变量，利用收缩算子更新稀疏噪声矩阵E。

B3.固定其他变量，使用奇异值阈值算子更新冗余数据矩阵B。

B4.固定其他变量，更新投影矩阵V和权重矩阵W′。

B5.固定其他变量，求解Sylvester方程更新低秩矩阵A。

利用交替迭代法求解目标函数。

进一步，所述步骤B具体为：

B1.根据目标方程式(5)得出增广拉格朗日函数，所述增广拉格朗日函数为：

其中，μ是惩罚值，M₁和M₂分别是对应于约束X＝A+E和A＝B的拉格朗日乘子。为了求解投影矩阵V，利用交替迭代法求解目标函数(6)，在对其中一个变量进行更新时，需要固定其他变量。

B2.更新稀疏噪声矩阵E，固定定除了E之外的其他变量的值，优化目标为：

使用收缩算子来直接求解这个目标函数，软阈值算子是

S_ε[x]＝sign(x)·max(|x|-ε，0)

E的最优解是：

B3.更新冗余数据矩阵B，给定除了B之外的其他变量的值，优化目标可写为：

用奇异值阈值算子求解上述问题，假设存在一个矩阵

则

的SVD分解为O＝U_p×r∑V_r×q，∑＝diag(σ₁，…，σ_r)，r是矩阵O的秩，σ₁，…，σ_r是对应的奇异值，U_p×r和V_r×q是对应正交矩阵。

对于任意的

和ζ＞0，奇异值阈值算子为

根据公式(7)，可以得到变量B的解

其中，A+[(M₂)/(μ)]＝U_p×r∑V_r×q，∑＝diag(σ₁，…，σ_r).。

B4.更新投影矩阵V和权重矩阵W′，固定其他变量，优化目标为：

两步交替迭代直至收敛停止迭代，输出矩阵V。

B5.更新低秩矩阵A，固定除了A之外的其他向量，优化目标为：

为了计算方便起见，重写(8)式

其中，Q₁＝X-E+(M₁/μ)，and Q₁＝B-(M₂/μ)。

根据拉格朗日乘子法，(9)推导如下

公式(10)形如AX+XB＝C，称为Sylvester方程。在(10)中，变量

等价于A，变量(L+λD)等价于B，变量

等价于C，变量A等价于X。

几步迭代之后直至收敛停止迭代，得到最终的投影矩阵V。

进一步，所述步骤B4包括：

B41.更新投影矩阵V，我们把W′看作常数矩阵，优化问题为：

其中，D′是在W′下的对角矩阵，L′是在W′下的拉普拉斯图矩阵，L′＝D′-W′。矩阵V由以下奇异值分解得到：

AL′A^TV＝ΛADAV

其中，Λ是由特征值组成的对角矩阵

B42.更新权重矩阵W′：在得到矩阵V后，固定V，此时更新W′，W′的每个元素由以下公式计算：

进一步，所述步骤C图像分类包括：

学习完矩阵V后，利用最近邻方法(KNN)对测试图像集分类：

e_ij＝||A^Tx_i-A^Tx_j||²

其中，x_i是测试集中的未知的图像，x_j是训练集中已知的图像，e_ij是两个图像之间的误差，比较e_ij每列的值，找到最小的值，就可以将x_i分类。本发明的有益效果是：采用RPCA和F范数学习图像数据的投影矩阵，在存在异常值的情况下，能更准确的对图像进行分类。

本发明在三个数据库上进行了实验，CMU-PIE数据库，AR数据库，the ExtendedYale B数据库。这些实验是为了证明本发明提出的方法可以损失更小地对样本进行降维，并且降维后得到的投影矩阵可以有效地对图像进行分类。涉及到的算法有：PCA(PrincipalComponent Analysis)，PCA_L1(Robust PCA)，LDA(Linear Discriminant Analysis)，LDA_L1(Robust LDA)，LPP(Locality Preserving Projection)，FLPP(LPP based on F-norm)。

实验中应用了以下三个数据库：

·CMU-PIE face database：

http://www.cs.cmu.edu/afs/cs/project/PIE/MultiPie/Multi-Pie/Home.html；

·The Extended Yale B database：

http://vision.ucsd.edu/～leekc/ExtYaleDatabase/ExtYaleB.html；

·AR face dataset：

http://www2.ece.ohio-state.edu/\textasciitilde aleix/ARdatabase.html；

Extend Yale B数据库总共包含38个人，每个人拍摄了64张正脸图像，包括了不同的姿态，光照和表情变化。在我们实验中随机31人参与实验，每人选择其中40张作为训练集，其余作为测试集。所有的图片裁剪为32*32像素。

CMU-PIE数据集包含68个人的1632张照片，所有的照片展示出了极大的姿态，表情和光照条件的变化。在实验中，我们随机选择每人的21张照片，具体地说，其中15张作为训练集，剩余6张作为测试集，训练集共1020张照片，而测试集共408张照片。所有的图片裁剪为32*32像素。

AR数据集包含126个人的超过4000张面部照片，这些图片被分为了两个部分，每个部分包括13张照片，其中6张是有围巾或者太阳镜遮挡，7张包含不同的面部表情和光照条件。在我们实验中在每个部分中随机选择了100个人的1300张照片分别作为训练集和测试集。所有的图片裁剪为32*32。

表1是添加场景图片outlier的情况下在CMU-PIE，AR和the Extended Yale B上的识别率。LR-FLPP在outlier的数量占总体图片数量5％，10％，15％，20％的情况下表现均是最好的。在outlier数量增加的情况下，所有对比方法的精确度都在下降，但是LR-FLPP的下降速度是最慢的，这说明了本发明LR-FLPP可以削弱outlier的影响，对outlier有较强的鲁棒性。

表1.(a)

表1.(b)

表1.(c)

表1.LR-FLPP对outlier的鲁棒性实验(a)Extend Yale B数据集(b)CMU-PIE数据集(c)AR数据集

表2是给定维度情况下在CMU-PIE，AR和the Extended Yale B上的识别率。可看出，LR-FLPP的识别率是所有对比方法中最高

表2.在给定特征维度的Extend Yale B、CMU-PIE、AR数据集上的对比试验从以上结果可看出，本发明提出的方法提取的特征在实际中的识别有明显的优势。

以上所述，仅是本发明的较佳实施案例，并非对本发明作任何形式上的限制，凡是依照本发明的技术实质对以上实施案例所作的简单修改，等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (3)

1.一种基于F范数的低秩局部保持投影的图像识别方法，其特征在于包括以下步骤：

A.采用鲁棒性主成分分析RPCA和基于F范数的局部保持投影对输入的原始图像数据X＝[x₁，x₂，...，x_N]建立分析模型，其中每个图像x_i是一个列向量，大小为

所述鲁棒性主成分分析RPCA用于得到原始输入图像矩阵的低秩成分，所述基于F范数的低秩局部保持投影用于求得原始输入图像矩阵的投影矩阵；

B.采用交替迭代法求解模型，得到图像的投影矩阵；

C.根据得到的投影矩阵，对未知的图像进行分类；

所述步骤A包括

A1.确定输入图像矩阵满足的鲁棒性主成分分析RPCA最小值方程，即求解图像矩阵的低秩成分，所述输入图像低秩成分满足的最小方程为：

其中，X为输入的原始图像矩阵，A和E分别为从X中分解出的干净数据矩阵和稀疏噪声矩阵，即A为图像矩阵的低秩成分，||·||₁是l₁范数，作为稀疏噪声的约束，||·||_*是核范数，作为低秩数据的约束，λ是模型参数；

A2.使用A1求解得到的图像矩阵的低秩成分A确定图像投影矩阵满足基于F范数的局部保持投影的最小值方程，求解投影矩阵的最小值方程为：

其中

为要求解的投影矩阵，要将输入图像矩阵A从H维降到h维，a_i是输入的图像数据的低秩成分，即干净数据矩阵A的列向量，“||·||_F”是F范数，||V^Ta_i-V^Ta_j||_F表示数据a_i与a_j的距离，w′_ij是自适应权重调整系数；

令

w_ij为权重调整系数，w_ij的值可以由以下高斯函数计算：

其中，t为广度参数，w_ij组成一个权重矩阵

由w′_ij构成新的权重矩阵W′；

为了求解这个A2所述的投影矩阵的最小值方程(2)，给目标函数(2)加上一个约束(3)

V^TADA^TV＝I (3)

其中，D是对角矩阵，对角线上的每一个元素等于矩阵W′每列或每行元素之和，即d′_ii＝∑_jw′_ij；

则可以得到如下形式：

s.t.V^TADA^TV＝I (4)

A3.确定图像投影矩阵满足的求解模型，结合鲁棒性主成分分析RPCA模型公式(1)和基于F范数的局部保持投影模型公式(4)，所述投影矩阵满足的最终目标模型为：

s.t.X＝A+E，V^TADA^TV＝I

其中

为要求解的投影矩阵，A和E分别为从X中分解出的干净数据矩阵和稀疏噪声矩阵，w′_ij为权重调整系数，α和β为模型参数，因此在上述方程式中有四个变量，分别是低秩矩阵A，稀疏噪声矩阵E，投影矩阵V，还有权重矩阵W′，此时投影矩阵V不能由目标函数直接求导得到。

2.根据权利要求1所述的一种基于F范数的低秩局部保持投影的图像识别方法，其特征在于，所述步骤B包括：

根据目标方程式求解投影矩阵V，利用交替迭代法求解目标函数，在对其中一个变量进行更新时，需要固定其他变量，交替求解直至收敛。

3.根据权利要求2所述的一种基于F范数的低秩局部保持投影的图像识别方法，其特征在于：所述步骤C图像分类包括：

学习完矩阵V后，利用最近邻方法KNN对测试图像集分类：

e_ij＝||A^Tx_i-A^Tx_j||²

x_i是测试集中的未知类别的图像，x_j是训练集中已知类别的图像，e_ij是两个图像之间的误差，x_i的类别即为使误差最小的已知类别图像对应的类别。

Images