CN104239859A - 基于结构化因子分析的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于结构化因子分析的人脸识别方法，主要解决现有技术由于不能保持人脸图像数据的局部聚类特性和全局分布结构而导致的人脸识别准确率较低的问题。其实现步骤为：(1)划分人脸图像数据集；(2)对所有的训练样本数据进行聚类分析；(3)通过吉布斯采样计算最优特征投影矩阵；(4)提取所有测试样本数据和训练样本数据的低维特征；(5)识别人脸图像。本发明综合了人脸图像数据的局部聚类特性和全局分布结构，提高了人脸识别的准确率。

Description

基于结构化因子分析的人脸识别方法

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别和机器学习技术领域中的一种基于结构化因子分析的人脸识别方法。本发明可应用于身份辨识和信息安全，通过提取维数较少的人脸特征，提高人脸识别的精度。

背景技术

人脸识别技术是一种利用计算机分析人脸图像，从中提取有效视觉特征信息来进行身份鉴别的计算机技术。在现有的生物特征识别技术中，人脸识别技术具有操作简便和易于实现等优势而得到广泛采用。人脸图像的维数通常较高，不同人脸图像之间也具有较强的相似性，如果单纯利用原始人脸图像进行身份鉴别，会使人脸识别系统计算量较大而且影响识别效果。为解决上述问题，人们通常对高维的人脸图像进行降维处理，提取人脸图像的具有判别性的低维特征，提高人脸识别的准确率，降低人脸识别的计算量。

华南师范大学提出的专利申请“基于非负矩阵分解和多种距离函数的人脸识别方法”(申请号：201110454407.8，公开号：CN102592148A)公开了一种基于非负矩阵分解的人脸识别方法，首先对训练数据进行非负矩阵分解，得到特征投影矩阵和每幅训练图像的低维特征，然后利用特征投影矩阵对测试数据进行的投影降维，得到每幅测试的低维特征，最后通过不同的距离度量方式比较测试图像的低维特征与各类训练图像的平均低维特征之间的相似度，并将测试图像划归为相似度最大的一类。该方法的不足是：在特征提取过程中，只对特征投影矩阵和训练图像的低维特征做非负性约束，忽略了人脸图像在高维特征空间中的局部聚类特性和全局分布结构，从而导致人脸识别的精度相对较低。

浙江工业大学提出的专利申请“一种基于局部保持非负矩阵分解的增量学习人脸识别方法”(申请号：201310301539.6，公开号：CN103336960A)公开了一种基于局部保持非负矩阵分解的人脸识别方法，首先将每一张人脸图像规范化为同一规格的样本，然后运用局部保持非负矩阵分解方法计算初始样本的基矩阵和系数矩阵，对新来的样本运用增量的局部保持非负矩阵分解方法更新基矩阵和系数矩阵，最后通过最近邻分类器对降维后的人脸图像数据进行识别。该方法的不足是：在特征提取过程中，局部保持非负矩阵分解方法只考虑人脸图像在高维特征空间中的局部分布结构，忽略了其全局分布结构。

Bo Jiang等人在文章“Graph-Laplacian PCA:Closed-form Solution and Robustness”(IEEE Conference on Computer Vision and Pattern Recognition,2013,pp.3493-3498)中提出一种结构化主成分分析方法，该方法在原始主成分分析方法的基础上，加入了拉普拉斯特征映射约束项，既能保证人脸图像的重构误差最小，又能保持人脸图像的局部相似性结构，增强了该方法的低维数据表示能力。该方法存在的不足是：新样本数据的加入会破坏原有的局部近邻结构，从而导致对新样本数据提取的特征稳定性较差，限制了该方法的实际应用。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于结构化因子分析的人脸方法。本发明可以保持人脸图像数据的局部聚类特性和全局分布结构，提取稳定性较好的低维人脸特征，在低维特征空间中对人脸图形进行识别，减少人脸识别的计算量，提高人脸识别率。

实现本发明的技术思路是，首先对训练样本数据进行聚类分析，获取相似人脸图像数据的局部聚类信息；然后提取聚类中心的低维特征，保持聚类中心在低维特征空间中的全局分布结构，使聚类中心所代表的不相似人脸图像数据在低维特征空间中相互分离；采用吉布斯采样方法计算最优特征投影矩阵，使提取的低维特征相对稳定，提高人脸识别的准确率。

本发明实现的具体步骤如下：

(1)划分人脸图像数据集

(1a)从人脸图像数据库中提取待识别的人脸图像，将每一幅待识别的人脸图像的所有像素组成一个向量，得到每一幅待识别的人脸图像的特征向量；

(1b)用每一幅待识别的人脸图像的特征向量除以该特征向量的模，得到归一化的样本数据；

(1c)从所有的归一化样本数据中任意选取50％作为训练样本，将剩余的50％归一化样本数据作为测试样本。

(2)进行聚类分析

(2a)采用主成分分析方法，对所有的训练样本进行初始降维，得到初始特征投影矩阵和初始降维后的训练样本；

(2b)采用K均值聚类方法，将初始降维后的训练样本划分到200个聚类中，得到每一个聚类的聚类中心。

(3)提取聚类中心的低维特征

采用拉普拉斯特征映射方法，提取每一个聚类的聚类中心的低维特征。

(4)计算最优特征投影矩阵

采用吉布斯采样方法，得到最优特征投影矩阵。

(5)提取低维特征

用最优特征投影矩阵分别与每一个测试样本和训练样本相乘，得到每一个测试样本和训练样本的低维特征。

(6)识别人脸图像

(6a)用任意一个测试样本的低维特征与任意一个训练样本的低维特征相减，得到低维特征差值，将低维特征差值的平方作为该测试样本与该训练样本之间的低维特征距离；

(6b)将任意一个测试样本对应的人脸图像，标记为与其低维特征距离最小的训练样本对应的人脸图像的身份。

本发明与现有方法相比具有如下优点：

第一，由于本发明采用了K均值聚类方法对训练样本进行聚类分析，克服了现有技术无法保持人脸图像数据的局部聚类特性的缺点，使得本发明能够保持相似人脸图像数据的局部聚类特性，提高了人脸识别率。

第二，由于本发明采用了拉普拉斯特征映射方法提取聚类中心的低维特征，克服了现有技术无法保持人脸图像数据的全局分布结构的缺点，使得本发明能够保持不相似人脸图像数据的全局分布结构，提高了人脸识别的准确率。

第三，由于本发明采用了吉布斯采样方法计算最优的特征投影矩阵，克服了现有技术提取的低维特征稳定性较差的缺点，使的本发明能够提取稳定的人脸图像低维特征，利用维数较少的低维特征获得较高的人脸识别率。

附图说明

图1为本发明的流程图；

图2为本发明仿真1的实验结果图；

图3为本发明仿真2的实验结果图。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

结合附图1对本发明实现的步骤的详细描述如下。

步骤1，划分人脸图像数据集。

从人脸图像数据库中提取待识别的人脸图像，将每一幅待识别的人脸图像的所有像素组成一个向量，得到每一幅待识别的人脸图像的特征向量。

用每一幅待识别的人脸图像的特征向量除以该特征向量的模，得到归一化的样本数据。

从所有的归一化样本数据中任意选取50％作为训练样本，将剩余的50％归一化样本数据作为测试样本。

步骤2，进行聚类分析。

采用主成分分析方法，对所有的训练样本数据进行初始降维，得到初始特征投影矩阵和初始降维后的训练样本数据，主成分分析方法如下：

按照下式，计算所有训练样本的平均值：

$\stackrel{\‾}{a}=\frac{1}{n}\underset{t=1}{\overset{n}{\mathrm{\Σ}}}{a}_t$

其中，表示所有训练样本的平均值，a_t表示第t个训练样本，t＝1,2,…,n，n表示训练样本的个数。

用每一个训练样本减去所有训练样本的平均值，得到每一个训练样本的偏差值。

按照下式，构造所有训练样本的偏差矩阵：

B＝[b₁,b₂,…,b_t,…,b_n]

其中，B表示所有训练样本的偏差矩阵，b_t表示第t个训练样本的偏差值，t＝1,2,…,n，n表示所有训练样本的个数。

按照下式，计算所有训练样本的协方差矩阵：

$Z=\frac{1}{n}{\mathrm{BB}}^T$

其中，Z表示所有训练样本的协方差矩阵，n表示所有训练样本的个数，B表示所有训练样本的偏差矩阵，T表示矩阵转置操作。

采用特征值分解方法，计算所有训练样本的协方差矩阵的特征值和与特征值相对应的特征向量，将前m个最大特征值对应的特征向量组成初始特征投影矩阵，m表示初始降维的维数，在不同的人脸数据库下，其取值范围为100～200之间的整数，在本发明的仿真1中，前m个最大特征值之和与所有特征值之和的比值须大于0.95，得到仿真1的初始降维维数为115，在本发明的仿真2中，前m个最大特征值之和与所有特征值之和的比值须大于0.97，得到仿真2的初始降维维数为153。

用初始特征投影矩阵与任意一个训练样本相乘，得到初始降维后的训练样本，初始降维后的训练样本包含较少的冗余信息和特征维数，能够提高步骤(2b)中的K均值聚类方法的聚类准确性和计算速度。

采用K均值聚类方法，将初始降维后的训练样本划分到200个聚类中，得到每一个聚类的聚类中心，当初始降维后的训练样本的个数少于200时，将聚类的个数取值为初始降维后的训练样本的个数。

步骤3，提取聚类中心的低维特征。

采用拉普拉斯特征映射方法，提取每一个聚类的聚类中心的低维特征，拉普拉斯特征映射方法如下：

将与任意一个聚类中心距离最近的q个聚类中心，组成该聚类中心的近邻集合，在不同的人脸数据库下，q的取值范围为3～7之间的整数，在本发明的仿真实验中取值为3。

按照下式，计算所有聚类中心中每两个聚类中心之间的相似度：

W_ij＝r_ijexp(-2||c_i-c_j||²)

其中，W_ij表示第i个聚类中心与第j个聚类中心之间的相似度，r_ij表示标识第i个聚类中心与第j个聚类中心之间的近邻关系的参数，该参数须满足两个条件：当第j个聚类中心属于第i个聚类中心的近邻集合时，r_ij＝1，否则，r_ij＝0；exp表示指数函数，c_i表示第i个聚类中心，c_j表示第j个聚类中心，i＝1,2,…,200，j＝1,2,…,200。

采用下列归一化相似度公式，生成聚类中心的归一化相似度矩阵D：

$D_{\mathrm{ij}}=\frac{W_{\mathrm{ij}}}{\underset{s=1}{\overset{200}{\mathrm{\Σ}}}{W}_{\mathrm{is}}}$

其中，D_ij表示第i个聚类中心与第j个聚类中心之间的归一化相似度，W_ij表示第i个聚类中心与第j个聚类中心之间的相似度，W_is表示第i个聚类中心与第s个聚类中心之间的相似度，i＝1,2,…,200，j＝1,2,…,200，s＝1,2,…,200。

按照下式，计算聚类中心的归一化拉普拉斯矩阵：

L＝I-D

其中，L表示聚类中心的归一化拉普拉斯矩阵，I表示单位矩阵，D表示聚类中心的归一化相似度矩阵。

采用特征值分解方法，计算聚类中心的归一化拉普拉斯矩阵的特征值和与特征值相对应的特征向量，将前k个最小特征值对应的特征向量组成聚类中心的低维特征矩阵，k表示降维的维数，其取值范围为10～100之间的整数。

对聚类中心的低维特征矩阵进行转置操作，得到转置后的聚类中心的低维特征矩阵。

将转置后的聚类中心的低维特征矩阵的每一个列向量，作为与其对应的每一个聚类的聚类中心的低维特征。

采用局部线性嵌入方法提取每一个聚类的聚类中心的低维特征，同样能获得较好高的人脸识别率。

步骤4，计算最优特征投影矩阵。

利用吉布斯采样方法，得到最优特征投影矩阵，吉布斯采样方法如下：

将每一个聚类的聚类中心的低维特征，作为被划分到该聚类中的初始降维后的训练样本的低维特征，被划分到同一聚类中的初始降维后的训练样本所对应的人脸图像为相似人脸图像，其低维特征相同。

采用极大似然估计方法，计算使下列初始降维后的所有训练样本的联合条件概率最大的最优因子载荷矩阵：

$p\left(A\right)={\left(2\mathrm{\π}\right)}^{-\frac{n}{2}}\exp [-\frac{1}{2}\underset{p=1}{\overset{n}{\mathrm{\Σ}}}{(x_p-\stackrel{\‾}{x}-A{v}_p)}^T(x_p-\stackrel{\‾}{x}-A{v}_p)$

其中，p(A)表示初始降维后的所有训练样本的联合条件概率，A表示因子载荷矩阵，π表示圆周率，exp表示指数函数，x_p表示第p个初始降维后的训练样本，表示初始降维后的所有训练样本的平均值，v_p表示第p个初始降维后的训练样本的低维特征，p＝1,2,…,n，n表示初始降维后的训练样本的个数，T表示矩阵转置操作。

按照下式，计算每一个初始降维后的训练样本的因子残差值：

$d_p=x_p-\stackrel{\‾}{x}-A{v}_p$

其中，d_p表示第p个初始降维后的训练样本的因子残差值，x_p表示第p个初始降维后的训练样本，v_p表示第p个初始降维后的训练样本的低维特征，x表示初始降维后的所有训练样本的平均值，p＝1,2,…,n，n表示初始降维后的训练样本的个数。

按照下列，计算因子协方差矩阵的后验概率：

$p\left(H\right)=\det {\left(H\right)}^{\frac{n}{2}}\exp \{-\frac{1}{2}\mathrm{Trace}\left((0.01I+\underset{p=1}{\overset{n}{\mathrm{\Σ}}}{d}_p{d}_p^T)H\right)\}$

其中，p(H)表示因子协方差矩阵的后验概率，H表示因子协方差矩阵，det表示矩阵行列式操作，exp表示指数函数，Trace表示矩阵对角元素求和操作，I表示单位矩阵，d_p表示第p个初始降维后的训练样本的因子残差值，p＝1,2,…,n，n表示初始降维后的训练样本的个数。

将因子协方差矩阵的后验概率的最大值所对应的因子协方差矩阵，作为最优因子协方差矩阵。

按照公式M＝UHA，计算最优特征投影矩阵，其中，M表示最优特征投影矩阵，U表示初始特征投影矩阵，H表示最优因子协方差矩阵，A表示最优因子载荷矩阵。

步骤5，提取低维特征。

用最优特征投影矩阵分别与每一个测试样本和训练样本相乘，得到每一个测试样本和训练样本的低维特征。

步骤6，识别人脸图像。

选择任意一个测试样本的低维特征与任意一个训练样本的低维特征相减，得到低维特征差值，将低维特征差值的平方作为该测试样本与该训练样本之间的低维特征距离。

将任意一个测试样本对应的人脸图像，标记为与其低维特征距离最小的训练样本对应的人脸图像的身份。

本发明的效果可以通过以下仿真实验进一步的说明。

1.仿真条件：

本发明的仿真实验中计算机配置环境为Intel(R)Core(i5-3470)3.20GHZ中央处理器、内存8G、WINDOWS 7操作系统，计算机仿真软件采用MATLAB R2010a软件。

2.仿真内容：

本发明在两个公开人脸数据库下做了仿真实验。第一个公开数据库是ExtendedYale-B人脸数据库，包括38名志愿者的16128幅人脸图像，提取2432幅人脸图像作为待识别的人脸图像。第二个公开数据库是PIE人脸数据库，包括68名志愿者的41368幅人脸图像，提取11560幅人脸图像作为待识别的人脸图像。两个公开人脸数据库中的人脸图像的大小都是32×32，人脸图像的特征向量的维数为1024。

本发明的方法与两种现有的人脸识别方法进行了对比，作为对比的方法有主成分分析(Principal Component Analysis,PCA)方法和局部保持投影(Locally PreservingProjection,LPP)方法。本发明采用人脸识别率对不同人脸识别方法的性能进行评测，将正确识别的人脸图像的个数与所有待识别的人脸图像的个数的比值，作为人脸识别率，其取值范围为[0,1]，重复10次实验，获得人脸识别率的平均值。仿真实验结果如下：

本发明的仿真实验1是在Extended Yale-B人脸数据库下，分别采用本发明的方法和现有的两种方法进行实验，实验结果如图2所示。

图2为Extended Yale-B人脸数据库下的人脸识别率-低维特征维数曲线图，图2中的横坐标轴表示低维特征的维数，纵坐标轴表示人脸识别率。在图中的三条曲线中，用三角形标注的曲线代表本发明的方法，用正方形标注的曲线代表局部保持投影方法，用圆形标注的曲线代表主成分分析方法，每条曲线上有10个标注点，标注点的横坐标表示低维特征的维数，从左到右的取值分别为10、20、30、40、50、60、70、80、90、100，标注点的纵坐标表示相应低维特征维数下，相应人脸识别方法的人脸识别率。

本发明的仿真实验2，在PIE人脸数据库下，分别采用本发明的方法和现有的两种方法进行实验，实验结果如图3所示。

图3为PIE人脸数据库下的人脸识别率-低维特征维数曲线图，横坐标轴表示低维特征的维数，纵坐标轴表示人脸识别率。在图3中的三条曲线中，用三角形标注的曲线代表本发明的方法，用正方形标注的曲线代表局部保持投影方法，用圆形标注的曲线代表主成分分析方法，每条曲线上有10个标注点，标注点的横坐标表示低维特征的维数，从左到右的取值分别为15、20、30、40、50、60、70、80、90、100，标注点的纵坐标表示相应低维特征维数下，相应人脸识别方法的人脸识别率。

3.仿真实验结果分析：

由图2和图3的仿真实验结果可见，在提取的低维特征维数相同的情况下，采用本发明的方法进行人脸识别，人脸识别率显著优于现有的两种人脸识别方法，这是因为本发明的方法提取的人脸图像数据的低维特征能够有效地保持人脸图像数据的局部聚类特性和全局分布结构局，使得相似的人脸图像数据的低维特征距离尽可能小，不相似的人脸图像数据的低维特征距离尽可能大，提取稳定性较好的低维特征，提高人脸识别率。

Claims (4)

1.一种基于结构化因子分析的人脸识别方法，包括如下步骤：

(1)划分人脸图像数据集：

(1a)从人脸图像数据库中提取待识别的人脸图像，将每一幅待识别的人脸图像的所有像素组成一个向量，得到每一幅待识别的人脸图像的特征向量；

(1b)用每一幅待识别的人脸图像的特征向量除以该特征向量的模，得到归一化的样本数据；

(1c)从所有的归一化样本数据中任意选取50％作为训练样本，将剩余的50％归一化样本数据作为测试样本；

(2)进行聚类分析：

(2a)采用主成分分析方法，对所有的训练样本进行初始降维，得到初始特征投影矩阵和初始降维后的训练样本；

(2b)采用K均值聚类方法，将初始降维后的训练样本划分到200个聚类中，得到每一个聚类的聚类中心；

(3)提取聚类中心的低维特征：

采用拉普拉斯特征映射方法，提取每一个聚类的聚类中心的低维特征；

(4)计算最优特征投影矩阵：

采用吉布斯采样方法，得到最优特征投影矩阵；

(5)提取低维特征：

用最优特征投影矩阵分别与每一个测试样本和训练样本相乘，得到每一个测试样本和训练样本的低维特征；

(6)识别人脸图像：

(6a)用任意一个测试样本的低维特征与任意一个训练样本的低维特征相减，得到低维特征差值，将低维特征差值的平方作为该测试样本与该训练样本之间的低维特征距离；

(6b)将任意一个测试样本对应的人脸图像，标记为与其低维特征距离最小的训练样本对应的人脸图像的身份。

2.根据权利要求1所述的基于结构化因子分析的人脸识别方法，其特征在于，步骤(2a)所述主成分分析方法的步骤如下：

第一步，按照下式，计算所有训练样本的平均值：

$\stackrel{\‾}{a}=\frac{1}{n}\underset{t=1}{\overset{n}{\mathrm{\Σ}}}{a}_t$

其中，表示所有训练样本的平均值，a_t表示第t个训练样本，t＝1,2,…,n，n表示训练样本的个数；

第二步，用每一个训练样本减去所有训练样本的平均值，得到每一个训练样本的偏差值；

第三步，按照下式，构造所有训练样本的偏差矩阵：

B＝[b₁,b₂,…,b_t,…,b_n]

其中，B表示所有训练样本的偏差矩阵，b_t表示第t个训练样本的偏差值，t＝1,2,…,n，n表示所有训练样本的个数；

第四步，按照下式，计算所有训练样本的协方差矩阵：

$Z=\frac{1}{n}{\mathrm{BB}}^T$

其中，Z表示所有训练样本的协方差矩阵，n表示所有训练样本的个数，B表示所有训练样本的偏差矩阵，T表示矩阵转置操作；

第四步，采用特征值分解方法，计算所有训练样本的协方差矩阵的特征值和与特征值相对应的特征向量，将前m个最大特征值对应的特征向量组成初始特征投影矩阵，m表示初始降维的维数，其取值范围为100～200之间的整数；

第五步，用初始特征投影矩阵与任意一个训练样本相乘，得到初始降维后的训练样本。

3.根据权利要求1所述的基于结构化因子分析的人脸识别方法，其特征在于，步骤(3)所述拉普拉斯特征映射方法的步骤如下：

第一步，将与任意一个聚类中心距离最近的q个聚类中心，组成该聚类中心的近邻集合，q的取值范围为3～7之间的整数，；

第二步，按照下式，计算所有聚类中心中每两个聚类中心之间的相似度：

W_ij＝r_ijexp(-2||c_i-c_j||²)

其中，W_ij表示第i个聚类中心与第j个聚类中心之间的相似度，r_ij表示标识第i个聚类中心与第j个聚类中心之间的近邻关系的参数，该参数须满足两个条件：当第j个聚类中心属于第i个聚类中心的近邻集合时，r_ij＝1，否则，r_ij＝0；exp表示指数函数，c_i表示第i个聚类中心，c_j表示第j个聚类中心，i＝1,2,…,200，j＝1,2,…,200；

第三步，采用下列归一化相似度公式，生成聚类中心的归一化相似度矩阵D：

$D_{\mathrm{ij}}=\frac{W_{\mathrm{ij}}}{\underset{s=1}{\overset{200}{\mathrm{\Σ}}}{W}_{\mathrm{is}}}$

其中，D_ij表示第i个聚类中心与第j个聚类中心之间的归一化相似度，W_ij表示第i个聚类中心与第j个聚类中心之间的相似度，W_is表示第i个聚类中心与第s个聚类中心之间的相似度，i＝1,2,…,200，j＝1,2,…,200，s＝1,2,…,200；

第四步，按照下式，计算聚类中心的归一化拉普拉斯矩阵：

L＝I-D

其中，L表示聚类中心的归一化拉普拉斯矩阵，I表示单位矩阵，D表示聚类中心的归一化相似度矩阵；

第五步，采用特征值分解方法，计算聚类中心的归一化拉普拉斯矩阵的特征值和与特征值相对应的特征向量，将前k个最小特征值对应的特征向量组成聚类中心的低维特征矩阵，k表示降维的维数，其取值范围为10～100之间的整数；

第六步，对聚类中心的低维特征矩阵进行转置操作，得到转置后的聚类中心的低维特征矩阵；

第七步，将转置后的聚类中心的低维特征矩阵的每一个列向量，作为与其对应的每一个聚类的聚类中心的低维特征。

4.根据权利要求1所述的基于结构化因子分析的人脸识别方法，其特征在于，步骤(4)所述吉布斯采样方法的步骤如下：

第一步，将每一个聚类的聚类中心的低维特征，作为被划分到该聚类中的初始降维后的训练样本的低维特征；

第二步，采用极大似然估计方法，计算使下列初始降维后的所有训练样本的联合条件概率最大的最优因子载荷矩阵：

$p\left(A\right)={\left(2\mathrm{\π}\right)}^{-\frac{n}{2}}\exp [-\frac{1}{2}\underset{p=1}{\overset{n}{\mathrm{\Σ}}}{(x_p-\stackrel{\‾}{x}-A{v}_p)}^T(x_p-\stackrel{\‾}{x}-A{v}_p)$

其中，p(A)表示初始降维后的所有训练样本的联合条件概率，A表示因子载荷矩阵，π表示圆周率，exp表示指数函数，x_p表示第p个初始降维后的训练样本，x表示初始降维后的所有训练样本的平均值，v_p表示第p个初始降维后的训练样本的低维特征，p＝1,2,…,n，n表示初始降维后的训练样本的个数，T表示矩阵转置操作；

第三步，按照下式，计算每一个初始降维后的训练样本的因子残差值：

$d_p=x_p-\stackrel{\‾}{x}-A{v}_p$

其中，d_p表示第p个初始降维后的训练样本的因子残差值，x_p表示第p个初始降维后的训练样本，v_p表示第p个初始降维后的训练样本的低维特征，x表示初始降维后的所有训练样本的平均值，p＝1,2,…,n，n表示初始降维后的训练样本的个数；

第四步，按照下列，计算因子协方差矩阵的后验概率：

$p\left(H\right)=\det {\left(H\right)}^{\frac{n}{2}}\exp \{-\frac{1}{2}\mathrm{Trace}\left((0.01I+\underset{p=1}{\overset{n}{\mathrm{\Σ}}}{d}_p{d}_p^T)H\right)\}$

其中，p(H)表示因子协方差矩阵的后验概率，H表示因子协方差矩阵，det表示矩阵行列式操作，exp表示指数函数，Trace表示矩阵对角元素求和操作，I表示单位矩阵，d_p表示第p个初始降维后的训练样本的因子残差值，p＝1,2,…,n，n表示初始降维后的训练样本的个数；

第五步，将因子协方差矩阵的后验概率的最大值所对应的因子协方差矩阵，作为最优因子协方差矩阵；

第六步，按照公式M＝UHA，计算最优特征投影矩阵，其中，M表示最优特征投影矩阵，U表示初始特征投影矩阵，H表示最优因子协方差矩阵，A表示最优因子载荷矩阵。