CN111340120B - 一种基于实用鲁棒pca的图像表示方法 - Google Patents

Abstract

本发明公开了一种基于实用鲁棒PCA的图像表示方法，属于模式识别领域。方法包括以下步骤：读取图像数据集，根据像素值建立样本矩阵；将样本矩阵输入预先构建的目标模型，所述目标模型为基于鲁棒重建误差最小化和鲁棒数据差最大化的联合学习模型，其依据转换矩阵W将数据投影到低维子空间，并利用恢复矩阵W来恢复数据，并以L2,p范数作为距离度量；通过基于PCA技术的迭代算法对目标模型进行求解，得到转换矩阵W；根据转换矩阵W完成图像重建。本发明建立了原空间和转换空间特征的联系，且利用L2,p范数距离度量削弱对异常值的敏感性，很好地提高了PCA的鲁棒性。此外本发明设计了新的迭代算法去优化基于L2,p范数的极小化问题，算法具有较好的收敛性。

Description

一种基于实用鲁棒PCA的图像表示方法

技术领域

本发明属于模式识别领域，具体涉及一种基于PCA的图像表示方法。

背景技术

实际情况中经常会遇到各种高维数据，例如图像和文本，如何有效地表示这类数据 一直是模式分类中最重要的问题之一。特征提取(或降维)作为一种有用的数据分析工具，已被广泛用于解决这一问题。主成分分析(Principal Component Analysis，PCA)是 最具代表性的技术之一，PCA通过寻找最优投影向量，使其方差最大化或者重构误差最 小化，进行特征提取和图像重建。

在计算机读取图像得到数据矩阵时，由于很多原因(比如原始图像存在光照、遮挡等因素或者硬件原因)导致野值或噪声的存在非常普遍，那么对于图像的特征提取或重 建就会造成影响。传统PCA技术在建模的过程中，由于在目标函数中使用平方L2范数 距离度量，对异常值具有很强的敏感性，因此很容易放大离群点的影响，这可能使投影 向量从期望的方向偏移，从而不能得到准确的低维图像表示。为了解决这一问题，研究 者们已经开发了越来越多的用于提取特征的鲁棒PCA技术，如低秩PCA和L1-范数距 离度量的相关PCA方法。低秩PCA用低秩结构重建图像数据，但是其面对高维图像处 理的缺点是不能获得数据的低维表示，因此不适用于高维数据维数的缩减。而之前的研 究工作显示，L1范数距离度量能够抑制异常值的影响，因此L1-范数距离度量比平方 L2-范数距离度量更稳健。最近，有许多关于鲁棒特征提取技术的研究，它们以L1-范数 作为技术模型中的距离度量，而L1-PCA、PCA-L1和R1-PCA则是最具代表性的三种。 其中，L1-PCA通过最小化以L1范数为度量的图像像素矩阵的重构误差模型，得到鲁棒 的投影向量。与L1-PCA不同的是，PCA-L1通过最大化图像像素投影矩阵方差来解决 问题。在此基础上，Kawk等人引入基于Lp范数(p>0)的投影方差最大化，从而将PCA-L1 推广到PCA-Lp。显然，传统的PCA和PCA-L1都是PCA-Lp的特殊情况。此外，PCA-L2,p 也是最近提出的基于重构误差最小化的特征提取方法。

针对图像或者文本等高维数据，传统PCA的模型优化目标是数据方差最大化或重构误差最小化问题，理论上显示，这两种形式在平方L2范数距离度量下是等价的，但 是缺点是面对图像数据集中普遍存在的野值点或噪声，特征提取效果不好。虽然在鲁棒 范数度量下，如L1范数提升了模型在处理野值点时的鲁棒性，但是其数据方差最小化 和重构误差却无法保证等价，然而两者对特征有效提取都起着至关重要的作用。

发明内容

发明目的：为了克服现存方法的不足，本发明提出了一种新的、更有效的基于鲁棒PCA(PRPCA-Practical RobustPrincipal Component Analysis，实用鲁棒PCA)特征提取的图像表示方法，协同考虑了优化目标中的两种优化原则。

技术方案：本发明提供一种图像表示方法，包括以下步骤：

S1、读取图像数据集，根据像素值建立样本矩阵；

S2、将样本矩阵输入预先构建的目标模型，所述目标模型为基于鲁棒重建误差最小 化和鲁棒数据差最大化的联合学习模型，其依据转换矩阵W将数据投影到低维子空间，并利用恢复矩阵W来恢复数据，并以L2,p范数作为距离度量；

S3、通过基于改进PCA技术的迭代算法对目标模型进行求解，得到转换矩阵W；

S4、根据转换矩阵W完成图像重建。

进一步地，所述目标模型如下：

其中x_i表示样本数据，W表示转换矩阵，U表示恢复矩阵，n为样本数目。

有益效果：

1、不同于现有的鲁棒PCA方法，本发明的方法同时考虑到重构误差的最小化和数据方差的最大化，在统一的框架中充分利用它们在投影学习中的作用，得到更好的特征 提取效果。

2、本发明的方法建立了原空间和转换空间特征的联系，即考虑投影后的重构误差， 使之最小化，对于找到一个合适的投影空间具有重要的意义。

3、本发明利用L2,p范数距离度量，具有比L1范数更强的鲁棒性和灵活性。

4、针对构建的非凸问题，本发明设计了一种新的有效的迭代算法来求解该模型，算法具有良好的收敛性。

附图说明

图1是本发明的基于实用鲁棒PCA的图像表示方法流程图；

图2是本发明方法与其他方法在四个图像数据集上的识别率随维度尺寸的变化而变 化的趋势图；

图3是本发明方法与其他方法的最小重建误差比较示意图；

图4是本发明方法在四个图像数据集上的收敛速度示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明提出的图像表示方法，基于实用鲁棒PCA(PRPCA)进行特征提取从而重 建图像，在建立PRPCA模型时，主要目标是建立一个鲁棒重建误差最小化和鲁棒数据 差最大化的联合学习模型，其寻找两个转换矩阵，一种是将数据投影到低维子空间，另 一种是恢复数据，从而能够构造转换后的特征与原始特征之间的关系。此外，本发明以 L2,p范数作为距离度量，因为L2,p范数距离度量削弱了对异常值的敏感性，可以很好 地提高PCA的鲁棒性。正是因为引入了L2,p范数，使得目标函数非凸，求解变得具有 挑战性。为了解决这个难题，本发明设计了一种新的迭代算法去优化基于L2,p范数的 极小化问题。理论分析和试验均表明该算法具有较好的收敛性。

如图1所示，基于实用鲁棒PCA的图像表示方法包括以下步骤：

步骤S1，读取图像数据集，建立样本矩阵。

概括而言，本步骤首先读取一幅图像得到其初始像素值矩阵，然后转换成d×1的向 量，记为x_i，d是初始像素值矩阵中的元素个数，转换后表示维度；通过读取图像数据 集中的多个图像则得到样本矩阵X＝[x₁,x₂,...,x_n]∈R^d×n，R代表实空间。

具体地，本发明用matlab读取一张图像，则会得到图像的像素矩阵，其中矩阵元素值为0到255。以20×20的图像为例，为了计算方便，将20×20的矩阵从第二行开始 每一行的元素都放在前一行的后面，这样就会得到一个400×1的向量，以此代表这幅 图片。如一个数据集有500张图片，依次读取经过处理就会得到一个400×500的矩阵。

步骤S2，构建鲁棒重建误差最小化和鲁棒数据差最大化的联合学习模型，其目标函数如下：

该模型分子部分体现了最小化重构误差的思想，即原始样本x_i与其转换到低维并恢 复后的新样本的差，涉及两个转换矩阵W和U，转换矩阵W的作用是将数据投影到低 维空间中，转换矩阵U的作用是恢复数据到原始维度，下文也称为恢复矩阵。分母部分 体现了投影向量方差最大化思想。L2,p范数的引入旨在提升模型的鲁棒性。

步骤S3，将样本矩阵输入所构建的学习模型，通过以下迭代步骤进行求解。

S31、初始化：为U和W赋初值，设置初始迭代次数t＝1；

本发明通过原始PCA方法求解得到初始的U和W。这样选择的目的是考虑到其可 能和最终得到的解比较接近，可以加快迭代速度。在原始PCA计算时，转换矩阵W的 维度是可选的，可以设置不同的维度跨度以进行性能分析。如针对400×500的样本矩 阵，W的维度应低于400，假设为120，根据目标模型的分子部分可知UW^TX和X的维 度是一致的，因为它们能作差，则W的维度为400×120，此时U的维度为400×120。

S32、重复执行以下步骤不断更新U和W，直到收敛。

步骤a：计算第t次迭代的目标函数值

这一步的目的是因为求解该模型的第一步是将商的形式转化为差的形式，即

步骤b：计算矩阵

及其对角线元素

步骤c：计算矩阵

及其对角线元素

步骤b和c的目的是为了分别将分子和分母的L2,p范数转换成L2范数，方便计算；

步骤d：计算矩阵

这一步求解K，因为此时目标模型经过前两步的转换可以写为

步骤e：求解W^(t+1)＝(2XD^(t)X^T)^-1(2XD^(t)X^TU^(t)+α^(t)K^(t))；

步骤e为求解W，通过对上式对W求导所得；求得W之后通过步骤f和g求得U。

步骤f：进行奇异值分解SΛP^T＝XD^(t)X^TW^(t+1)，S和P分别表示左奇异矩阵和右奇异矩 阵；

步骤g：求解U^(t+1)＝SP^T；

步骤h：设置t＝t+1，返回步骤a；

当满足收敛条件时，输出：W＝W^(t+1)。

其中参数p的取值范围为0到2，(t)表示第t次迭代。当迭代过程收敛时，得到最 终的W即是所求的解。本发明收敛条件为：当两次迭代的目标值的差小于指定阈值的 时候就判断收敛；或者达到指定的迭代次数时停止迭代，输出W。以上的求解过程是基 于训练样本的，用测试样本计算则可得到识别精度等实验结果。

步骤S4，根据求解得到的转换矩阵W进行图像重建。

得到W实际上图像的特征提取过程已经完成了，降维后的样本是Y＝W^TX，在matlab中，对Y加上去中心化的样本均值，并进行reshape操作得到图像，此时的图像是重建 后的图像。

下面通过对四个图像数据库进行不同的实验，来评估本发明所提方法的有效性。四 个图像数据库为人脸数据库CMUPIE和ORL、对象数据库ALOI和交通标志数据库 GTSDB。采用四种方法与本方法进行比较，即PCA、RIPCA、PCA-Lp和PCA-L2p。随 机选择每个数据库的每个类的K个图像作为训练集，其余的作为测试集。根据样本的大 小，为每个数据集设置不同的K值，对于四个图像数据集则分别设为为K＝{5,7}， K＝{9,12}，K＝{3,5}，K＝{15,20}。此外，为了方便实验，将p值分别设为0.5和1。在 做不同维度的相关分析时，设置范围为5到120，步长为5的维度变化区间。

表1显示了五种方法分别在四个图像数据集上的识别精度，图2显示了识别率随维度尺寸的变化而变化的趋势。从表1和图2中可以看出，本发明方法PRPCA的识别精 度要明显优于其他方法。其次，PRPCA和PCA-L2p采用L2,p范数距离度量，比传统的 PCA具有更好的识别率，这证明了L2,p范数距离度量在抑制异常值负效应方面的有效 性。

表1：五种方法在四个图像数据集上的识别精度

为了评价PRPCA的有效性，本发明将其重建误差与其他方法的重建误差进行了比较。图3给出了PCA、RIPCA、PCA-Lp、PCA-L2p和PRPCA的最小重建误差。表2 显示了在数据集ALOI(5)上每种方法的最小重建误差与维数的关系。如图3所示， PRPCA在重建误差方面明显优于PCA、RIPCA、PCA-Lp和PCA-L2p。此外，它的优 越性在每个维度都是非常明显的。并且与p＝1相比，在大多数情况下，当p＝0.5时，每 种方法的重建误差都较低，说明当p取较小的值时有利于提高鲁棒性。

表2：五种方法在数据集ALOI(5)上的最小重建误差与维数

最后图4示出了本发明方法在四个图像数据集上的收敛速度示意图，从图中可以看 出，不管在哪一类图像上，本发明的方法均只需10次左右的迭代就能达到收敛，速度 表现优异。本发明在精度和速度上所展现的优势，对于高维数据的高效特征提取具有重 要指导意义。

Claims (3)

1.一种基于实用鲁棒PCA的图像表示方法，其特征在于：包括如下步骤：

S1、读取图像数据集，根据像素值建立样本矩阵；

S2、将样本矩阵输入预先构建的目标模型，所述目标模型为基于鲁棒重建误差最小化和鲁棒数据差最大化的联合学习模型，其依据转换矩阵W将数据投影到低维子空间，利用恢复矩阵U来恢复数据，并以L2,p范数作为距离度量，形式如下：

其中x_i表示样本数据，W表示转换矩阵，U表示恢复矩阵，n为样本数目；

S3、通过基于改进PCA技术的迭代算法对目标模型进行求解，得到转换矩阵W，具体包括以下步骤：

步骤a：计算第t次迭代的目标函数值

步骤b：计算矩阵

及其对角线元素

步骤c：计算矩阵

及其对角线元素

步骤d：计算矩阵

步骤e：求解W^(t+1)＝(2XD^(t)X^T)^-1(2XD^(t)X^TU^(t)+α^(t)K^(t))；

步骤f：进行奇异值分解SΛP^T＝XD^(t)X^TW^(t+1)，S和P分别表示左奇异矩阵和右奇异矩阵；

步骤g：求解U^(t+1)＝SP^T；

步骤h：设置t＝t+1，返回步骤a；

当满足收敛条件时，输出：W＝W^(t+1)；

S4、根据转换矩阵W完成图像重建。

2.根据权利要求1所述的基于实用鲁棒PCA的图像表示方法，其特征在于，所述步骤S1包括：

读取一幅图像得到其初始像素值矩阵，然后转换成d×1的向量，记为x_i，d是初始像素值矩阵中的元素个数，转换后表示维度；

通过读取图像数据集中的多个图像并转换，得到样本矩阵X＝[x₁,x₂,...,x_n]∈R^d×n，R代表实空间。

3.根据权利要求1所述的基于实用鲁棒PCA的图像表示方法，其特征在于，所述步骤S4中根据Y＝W^TX再加上去中心化的样本均值重构图像。

Images