CN103955706A - 一种基于直接双侧二维主成分分析的图像识别和图像重建方法 - Google Patents

Abstract

本发明公开了一种基于直接双侧二维主成分分析的图像识别和图像重建方法，包括以下步骤：步骤一、对图像进行二维主成分分析；步骤二、对图像进行替代的二维主成分分析；步骤三、将测试样本投影到步骤一和步骤二得到的主成分方向上，分别得到二维主成分分析和替代的二维主成分分析对应的投影结果，然后将这两个结果分别进行列向量操作，再合并成一个列向量，作为直接双侧二维主成分分析的投影结果；步骤四、将二维主成分分析和替代的二维主成分分析的重建结果取平均作为重建结果。本发明方法增强了两种单侧结果中共同的成分，抵消了两种单侧结果的误差，从而使得重建结果更接近原始图像。本发明有效地提高了图像识别准确率，降低了图像重建误差。

Description

一种基于直接双侧二维主成分分析的图像识别和图像重建方法

技术领域

本发明涉及图像识别和图像重建技术，具体地说，给出了一种基于直接双侧二维主成分分析的图像识别和图像重建方法。

背景技术

主成分分析(Principal Component Analysis,PCA)是模式识别领域中一种被广泛用来降低信号维度和重建信号的方法。将主成分分析用于图像数据时，必须先将二维的图像数据转化为一维的向量，这会产生规模很大的协方差矩阵，从而带来计算上的困难。二维主成分分析(Two Dimensional PCA,2DPCA)直接对矩阵形式的图像数据进行计算，使得得到的协方差矩阵的维度大幅降低，从而极大地提高了计算效率。

然而2DPCA存在如下问题：没有对等地考虑图像的行和列，从而缺乏理论上的对称性；不能充分地从图像中提取有用信息。在2DPCA的基础上，为了考察图像的另一侧，有研究提出替代的二维主成分分析(Alternative2DPCA,A2DPCA)。两种二维主成分分析方法分别考虑到了图像的两侧，因此很有必要将它们结合起来，以得到双侧二维主成分分析。已有的双侧二维主成分分析方法包括(2D)²PCA(也被称作Complete2DPCA,Bi-directionPCA)和G2DPCA(Generalized2DPCA)等。(2D)²PCA是直接将2DPCA和A2DPCA提取出的主成分作为双侧主成分，而G2DPCA通过迭代地求解一个优化问题来计算双侧主成分。然而，两种方法都将测试样本同时投影到双侧的主成分上，从而，双侧的信息被混杂在一起。因此，有必要发明新的方法以提升二维主成分分析在图像识别和图像重建上的性能。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，而提供一种直接双侧二维主成分分析(Direct Bilateral 2DPCA,DB2DPCA)的方法，该方法能够有效地提高图像的识别效率，降低图像的重建误差。

为解决上述技术问题，本发明采用的技术方案是：

一种基于直接双侧二维主成分分析的图像识别和图像重建方法，其特征在于：包括以下步骤：

步骤一、对图像进行二维主成分分析；

步骤二、对图像进行替代的二维主成分分析；

步骤三、将测试样本投影到步骤一和步骤二得到的主成分方向上，分别得到二维主成分分析和替代的二维主成分分析对应的投影结果，然后将这两个结果分别进行列向量操作，再合并成一个列向量，作为直接双侧二维主成分分析的投影结果；

步骤四、将二维主成分分析和替代的二维主成分分析的重建结果取平均作为重建结果。

所述步骤一的具体方法是：计算训练样本的协方差矩阵，进行特征值分解并选择对应特征值最大的前一部分特征向量作为主成分。

所述步骤二的具体方法是：计算训练样本另一侧对应的协方差矩阵，进行特征值分解并选择对应特征值最大的前一部分特征向量作为主成分。

所述步骤四的具体方法是：将测试样本用步骤一和步骤二得到的主成分进行重建，将得到的重建结果取平均，作为直接双侧二维主成分分析的重建结果。

所述取平均的计算方法可利用算术平均、几何平均或者其他形式的平均。

所述的图像为人脸、手写字符、掌纹或虹膜。

本发明方法将两种单侧二维主成分分析的投影结果分别拉成列向量，然后合并成一个列向量，这样便直接地将两种单侧算法的投影结果有效联合起来，从而充分地利用了双侧的信息。与现有技术相比，本发明中提出的方法有如下优势：

(1)对等地考虑图像的行和列，因此算法理论上具有对称性；

(2)对于投影，将两种单侧信息结合起来而不是进行耦合，这样可以提取出更多的有用信息；

(3)对于重建，将两种单侧的重建结果取平均，这样得到的重建结果易于解释，并且也增强了与原始图像接近的成分，抵消了两种单侧结果的误差，从而得到了更接近原始图像的重建结果，有效地提高了图像识别准确率，降低了图像重建误差；

(4)该方法基于2DPCA和A2DPCA，因此当被用来提取特征时，其计算量不会超过已有的双侧二维主成分分析算法。

附图说明

图1为本发明的流程图。

图2为将一个矩阵按列重排为列向量的示意图。

图3为AR人脸库中第一个被试的前13幅图像。

图4为使用的分类器为NN时五种算法在选取不同数目的特征时得到的分类准确率结果图。

图5为使用的分类器为SVM时五种算法在选取不同数目的特征时得到的分类准确率结果图。

图6为使用的分类器为CRC时五种算法在选取不同数目的特征时得到的分类准确率结果图。

图7为图像重建效果的示意图。第一列为原始图像，后五列分别为五种图像重建算法，即PCA，2DPCA，A2DPCA，(2D)²PCA和DB2DPCA对应的重建结果，其中前10个投影向量被用来进行图像重建。

图8为五种算法在选取不同数目的特征时得到的平均重建误差结果图。

具体实施方式

下面结合附图和实施例来对本发明进行详细阐述。

图1为本发明的流程图。由图1可见，该方法构建于2DPCA和A2DPCA的基础之上，所以下面先介绍2DPCA和A2DPCA，然后再介绍本发明提出的DB2DPCA。

本发明中的公式中，小写字母表示标量，加粗的小写字母表示列向量，加粗的大写字母表示矩阵。

(1)2DPCA

设有n个高度为h，宽度为w的训练样本(图像)X₁,X₂,...,X_n，i＝1,2,...,n，则2DPCA要寻找的投影矩阵可以通过求解如下优化问题得到

$\underset{U^{T}U=I_k}{\max }\mathrm{tr}{U}^T\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(X_i-\stackrel{\‾}{X})}^T(X_i-\stackrel{\‾}{X})U,---\left(1\right)$

其中k为提取的特征数目，为训练样本的平均值，I_k表示k×k的单位阵。对图像协方差矩阵进行特征值分解可以求出投影矩阵U。求出了投影矩阵后，对某个测试样本进行如下投影，从而得到特征矩阵

对样本Y进行重建得到的重建结果为

$(Y-\stackrel{\‾}{X}){\mathrm{UU}}^T+\stackrel{-}{X.}---\left(3\right)$ 在不至于混淆的前提下，本发明中所提及的投影矩阵等同于主成分，特征数目等同于投影向量的数目。

(2)A2DPCA

A2DPCA通过求解如下优化问题来得到投影矩阵

$\underset{U^{T}U=I_l}{\max }\mathrm{tr}{V}^T\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^V,---\left(4\right)$

其中l为提取的特征数目，Il表示l×l的单位阵。对样本Y进行投影得到

对样本Y进行重建得到

${\mathrm{VV}}^T(Y-\stackrel{\‾}{X})+\stackrel{\‾}{X}.---\left(6\right)$

(3)DB2DPCA

本发明中提出的方法DB2DPCA使用到的投影矩阵和分别为2DPCA和A2DPCA的投影矩阵。对样本Y进行投影得到

其中vec(·)是将一个矩阵按列重排为一个列向量的操作。图2是将矩阵A按列重排为一个列向量B的示意图。该投影方法也就是将两种单侧二维主成分分析的投影结果分别拉成列向量，然后合并成一个列向量，这样便直接地将两种单侧算法的投影结果有效联合起来，从而充分地利用了双侧的信息。

对样本Y进行重建得到

$\frac{1}{2}[(Y-\stackrel{\‾}{X}){\mathrm{UU}}^T+\stackrel{\‾}{X}]+\frac{1}{2}[{\mathrm{VV}}^T(Y-\stackrel{\‾}{X})+\stackrel{\‾}{X}].---\left(8\right)$

该重建方式是将两种单侧二维主成分分析得到的结果按元素取代数平均。实际上取几何平均或者其他种类的平均数都是可以的。对于两个正实数a和b，广义平均数的定义为

${\left(\frac{a^r+b^r}{2}\right)}^{\frac{1}{r}},---\left(9\right)$

其中r为任意实数。广义平均数的两个常见特例为：r＝1对应代数平均，r＝0对应几何平均。具体对r的选取应该综合考虑计算复杂度和重建效果等因素。本发明中默认针对代数平均进行讨论。

使用DB2DPCA进行投影和重建时，在不作特殊说明的情况下，对两个投影矩阵所选取的投影向量的数目始终保持一致，即k＝l。

本发明方法在训练样本上分别通过2DPCA和A2DPCA的优化问题训练出投影矩阵U和V，然后对训练和测试样本按照DB2DPCA的投影和重建方法进行投影和重建，之后对投影的结果用分类器进行分类并计算分类准确率，对重建的结果计算平均重建误差。为了突出本发明中的方法，本实施例中对比了PCA，2DPCA，A2DPCA，(2D)²PCA和DB2DPCA五种算法在识别和重建上的效果。

本实施例中采用AR人脸数据库。AR数据库中包括来自120个被试的3120张人脸图像，每个被试26张图像。这些图像是在不同的面部表情和光照的条件下获得的。部分图像中有太阳镜或者围巾的遮挡。所有图像经过裁剪和缩放，最终的分辨率为50×40。本数据库可以网上下载得到，见http://www2.ece.ohio-state.edu/～aleix/ARdatabase.html。其中第一个被试的前13幅图像如图3所示。

(1)图像识别

下面从图像识别的角度对比以上五种算法。十重交叉验证被用来进行图像识别效果的评价，也就是将所有图像随机等分为10等分，每次选取其中9重作为训练，剩下的1重作为测试，循环至每一重都被测试过。将整个过程重复10次，计算平均分类准确率。由于将样本随机划分为训练样本集和测试样本集，所以得到的结果不依赖于特定的样本划分，因而更为可靠。

在每重交叉验证中，用训练样本来训练投影矩阵U和V，然后对训练样本和测试样本都用这两个投影矩阵进行投影，得到训练样本的投影结果和测试样本的投影结果。然后对投影结果使用不同的分类器进行分类，计算分类准确率。式(2)，(5)和(7)给出了2DPCA，A2DPCA和DB2DPCA的投影方法。PCA和(2D)²PCA的投影方法可以类似地定义。

由于分类器本身对分类结果有较大的影响，所以本实施例中使用了三种常见分类器，以便更好地对比以上五种特征提取算法对分类结果的影响。本实施例中选用的三种分类器分别是最近邻分类器(Neareast Neighbor Classifier，NN)，线性支持向量机(linear Support Vector Machine，SVM)和协同表征分类器(Collaborative Representation Classifier，CRC)。对于线性SVM，本实施例中使用的是LibSVM工具包，参数默认。在使用SVM进行分类前，训练样本和测试样本的每个特征都被进行了线性伸缩，具体地说是，将训练样本中的每个特征线性伸缩到[0,1]之间，将同样的线性伸缩参数用在测试样本对应的特征上。对于CRC，本实施例中将其调节参数λ设置为0.001*n/700，其中n为训练样本的数目。

图4，5和6分别对应NN，SVM和CRC三种分类器的分类结果。从图可以看出，大部分情况下，DB2DPCA对应的分类准确率高于另外四种特征提取方法对应的分类准确率。仅有的异常的情况出现在当选取NN作为分类器并且特征数目小于4时，此时2DPCA得到的分类准确率高于DB2DPCA。而NN作为分类器时得到的分类准确率明显低于SVM和CRC作为分类器时得到的分类准确率，这说明NN不足以充分利用以上算法提取出来的特征信息。当特征信息能够被充分利用时，DB2DPCA对应的分类准确率高于另外四种特征提取算法，这证明了DB2DPCA在图像识别上的优越性。

DB2DPCA与两种单侧的二维算法2DPCA和A2DPCA不同的是它同时提取出了双侧的信息，与(2D)2PCA不同的是它没有将双侧信息耦合起来而是直接联合起来，从而提取出了更丰富的特征信息，因此使用DB2DPCA提取出的特征能够取得较好的分类准确率。

(2)图像重建

下面从图像重建的角度对比以上五种算法。用AR库中的所有图像来训练投影矩阵U和V，然后对该库中的所有图像进行重建，计算平均重建误差。设是样本X_i由上面五种重建算法中的一种计算得到重建图像，i＝1,2,...,n，则平均重建误差被定义为

$\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|X_i-Z_i\left|\right|}_F,---\left(10\right)$

其中||·||_F表示Frobenius范数。三种二维算法2DPCA,A2DPCA和DB2DPCA对于Zi的定义分别见式(3)，(6)和(8)。PCA和(2D)²PCA对应的重建图像可以类似地进行定义。

图7显示五种算法，即PCA，2DPCA，A2DPCA，(2D)²PCA和DB2DPCA的前10个特征对应的重建结果。对于两种双侧算法(2D)²PCA和DB2DPCA，两侧均选取前10个特征。从该图中可以看出，PCA和(2D)²PCA的重建图像都很模糊，2DPCA和A2DPCA的重建图像中分别有竖向和横向的纹理，而本发明中提出的方法DB2DPCA得到了最好的重建结果。这说明DB2DPCA在图像重建上优于另外四种算法。

图8显示当特征数目的变化时五种算法的平均重建误差结果图。同样的，对于两个双侧算法，在两侧上选取同样数目的特征。从该图可以看出，PCA的重建误差最大，本发明提出的方法DB2DPCA的重建误差最小。这进一步证明了DB2DPCA的图像重建效果优于另外四种算法。

DB2DPCA之所有得到较好的重建结果，是因为它将两种单侧的重建结果取平均，这样便增强了与原始图像接近的成分，抵消了两种单侧的重建结果的误差，从而使得得到的重建图像更接近原始图像。

综上所述，本发明公布的方法DB2DPCA直接地将两种单侧二维主成分分析算法2DPCA和A2DPCA结合起来，使得新算法具有理论上的对称性，也在图像识别和图像重建上展现出更好的效果，比已有的双侧二维主成分分析算法如(2D)²PCA有优势。

Claims (6)

1.一种基于直接双侧二维主成分分析的图像识别和图像重建方法，其特征在于：包括以下步骤：

步骤一、对图像进行二维主成分分析；

步骤二、对图像进行替代的二维主成分分析；

步骤三、将测试样本投影到步骤一和步骤二得到的主成分方向上，分别得到二维主成分分析和替代的二维主成分分析对应的投影结果，然后将这两个结果分别进行列向量操作，再合并成一个列向量，作为直接双侧二维主成分分析的投影结果；

步骤四、将二维主成分分析和替代的二维主成分分析的重建结果取平均作为重建结果。

2.根据权利要求1所述的基于直接双侧二维主成分分析的图像识别和图像重建方法，其特征在于：所述步骤一的具体方法是：计算训练样本的协方差矩阵，进行特征值分解并选择对应特征值最大的前一部分特征向量作为主成分。

3.根据权利要求1所述的基于直接双侧二维主成分分析的图像识别和图像重建方法，其特征在于：所述步骤二的具体方法是：计算训练样本另一侧对应的协方差矩阵，进行特征值分解并选择对应特征值最大的前一部分特征向量作为主成分。

4.根据权利要求1，2或3所述的基于直接双侧二维主成分分析的图像识别和图像重建方法，其特征在于：所述步骤四的具体方法是：将测试样本用步骤一和步骤二得到的主成分进行重建，将得到的重建结果取平均，作为直接双侧二维主成分分析的重建结果。

5.根据权利要求4所述的基于直接双侧二维主成分分析的图像识别和图像重建方法，其特征在于：所述取平均的计算方法利用算术平均或几何平均。

6.根据权利要求1所述的基于直接双侧二维主成分分析的图像识别和图像重建方法，其特征在于：所述的图像为人脸、手写字符、掌纹或虹膜。