CN109815990A - 基于中心化权重的主成分分析系统 - Google Patents

Abstract

本发明属于人工智能领域，为提出一个新型的基于中心化权重的二维主成分分析技术，能从原始数据空间中提取更多有代表性的信息。通过提取原始数据中最有代表性的信息，完成数据的降维，从而简化数据描述。通过降维，可以对数据进行可视化。为此，本发明采取的技术方案是，基于中心化权重的主成分分析系统，由三个部分组成，图像预处理模块，中心化权重主成分分析C‑PCA执行模块或泛化的中心二维主成分分析GC‑2DPCA执行模块，识别匹配模块。本发明主要应用于人工智能分析场合。

Description

基于中心化权重的主成分分析系统

技术领域

本发明属于人工智能领域，涉及特征提取方向，通过设计一种基于中心化权重的二维主成分分析技术，实现对高维数据向低维空间转化的需求。具体讲,涉及基于中心化权重的二维主成分分析方法。

背景技术

由于维度的灾难，降低维度的方法通常用于从原始数据中提取最具代表的特征，然后将特征用于后续的可视化和分类任务。在这些方法中，两种代表性的线性降低维度的方法是PCA(主成分分析)和LDA(线性判别分析)，而典型的非线性降低维度的方法是LPP(局部保持投影)和KPCA(基于核的主成分分析)。PCA和LDA保持全局几何结构线性，而LPP可以保留局部邻域结构。KPCA是PCA的非线性形式，可以更好地利用复杂的高维数据空间结构。

与传统的PCA/2DPCA(二维主成分分析)相比，基于L1范数的PCA/2DPCA技术是稳健的，但它缺乏旋转不变性。大多数现有的稳健PCA/2DPCA仅考虑两个因素之一：协方差矩阵和重建误差。

Angle-PCA(角度主成分分析)和F-2DPCA(基于F范数的二维主成分分析)综合以上两个因素在某些方面减轻了对异常值的敏感性。基于F范数的模型可以获得鲁棒投影矩阵而不是平方F范数，并且已成为降低维度和数据挖掘中的活跃主题。此外，基于L2范数的模型可以保留PCA的期望属性(旋转不变性和与协方差矩阵和重建误差相关的加权矩阵)。然而，Angle-PCA/F-2DPCA无法从图像矩阵中提取内部信息和更复杂的结构。它们也缺乏广义性能的稳健性。

发明内容

为克服现有技术的不足，本发明旨在提出一个新型的基于中心化权重的二维主成分分析技术，能从原始数据空间中提取更多有代表性的信息。通过提取原始数据中最有代表性的信息，完成数据的降维，从而简化数据描述。通过降维，可以对数据进行可视化。为此，本发明采取的技术方案是，基于中心化权重的主成分分析系统，由三个部分组成，图像预处理模块，中心化权重主成分分析C-PCA执行模块或泛化的中心二维主成分分析GC-2DPCA执行模块，识别匹配模块，其中：

图像预处理模块根据用户的需要自行选择包括图像转换成矩阵、去均值、去噪、颜色空间变换、图像滤波、图像增强、边缘检测、图像二值化、在内的配置的策略，并且考虑设有默认选择，并能实时得到处理后的一个可视化的反馈；

C-PCA执行模块具体地：在图像预处理模块进行的预处理之后，计算样本对象的重构协方差，通过对协方差奇异值分解SVD矩阵分解技术，按从大到小排序得到选定数量的特征向量，由这些特征向量构成一个投影矩阵，先保留这一投影矩阵，并计算中心化矩阵同这一投影矩阵的乘积，得到C-PCA最优识别的投影矩阵；

GC-2DPCA执行模块具体地：在图像预处理模块之后，系统在默认情况下自动分配好需要的包括低空间的维度、指数次数的参数，初始化一个投影的矩阵，循环反复的计算以下策略直至收敛：对于所有的数据集，本次迭代中计算它的局部重构错误，继续计算重构错误、协方差、当前的投影矩阵的一个组合乘积，继续计算这个组合的一个SVD分解，就得到相应的一个新的投影矩阵，并作为下一次迭代的权值；此次循环结束后，将之前的重构任务中学习的权重进行中心化处理，将其与中心化矩阵乘积，得到GC-2DPCA最优识别的投影矩阵；

识别匹配模块，将识别结果标记出来，与人脸库中提取的特征进行比对，符合一定阈值的则认为属于该人脸，即在原始图像或者标准输出中输出识别的结果。

进一步具体地：

通过CSV库中文件读取到内存中后，进行模型的训练，C-PCA模型具体训练过程为把已知的大数据样本图像输入到预处理模块得到x⁰，即图像转化为1维像素向量，然后把x⁰放进C-PCA模块得到最优重构的投影矩阵w₁和最优识别的投影矩阵w₂＝Hw₁，接着将训练后的结果w₂x⁰即图像的有效特征保存在内存中；GC-2DPCA模型具体训练过程为把已知的大数据样本图像输入到预处理模块得到X⁰，即图像转化为2维像素矩阵，然后把X⁰放进GC-2DPCA模块得到最优重构的投影矩阵W₁和最优识别的投影矩阵W₂＝HW₁，接着将训练后的结果X⁰W₂即图像的有效特征保存在内存中；

接下来对大量待识别图像进行同样的模型训练，得到大量待识别图像的有效特征，将最优识别的投影矩阵同大规模的待识别图像数据进行运算w₂x¹或X¹W₂达到降维，这样将有效提高计算速率，将计算后的结果即待识别图像的有效特征w₂x¹或X¹W₂保存在内存中，这时需要使用最近邻分类器KNN，n为近邻的参数，即计算待识别图像的有效特征同训练后图像的有效特征之间的欧式距离，需要设定一个阈值作为最近距离的界限，当未知图像与已标签过图像的最近距离大于阈值时，则系统返回无匹配图像或者返回人脸库中的相似图像，当未知图像与已标签过图像的最近距离小于阈值时，则系统返回最近标签的图像作为识别结果，最终使用该内存中的结果对该人脸进行识别。

本发明的特点及有益效果是：

人脸识别作为生物特征识别的一种，虽然较现有其他生物识别技术(虹膜识别，指纹识别等)，特征的唯一性较差，但是由于现今的智能手机的流行，街道上摄像头的密集部署，网络技术的发展等因素，使得获得人脸图像变得非常简单，故其在商业(人脸支付)，海关和银行安全，公安罪犯识别等方面得到了很大的应用，特别是百度最近提出的通过人脸识别技术的寻子公益活动，已经成功的帮助几十位被拐卖的婴儿重新回归了自己的家庭。然而随着人脸识别应用的场景的深入及场景的随意性，同一个人在不同的场景下表情，姿势，光照条件，装饰品(眼镜，化妆)都会发生变化；同时同一个人的脸部特征也会随着年龄的变化而发生变化，这些影响就给人脸识别提出一个问题：如何对含有噪声的人脸完成人脸识别的任务。

该技术能有效识别含有噪声的人脸，比现有的一些相似技术更有效地提取图像的特征，并且在人脸图像重构方面更加稳健。

附图说明：

附图1中心化权重PCA在人工合成数据上的效果图。

附图2 C-PCA执行模块。

附图3 GC-2DPCA执行模块。

具体实施方式

本发明首先提出了两种新的基于中心权重的模型，称为C-PCA(中心化权重主成分分析)和GC-2DPCA(泛化的中心二维主成分分析)。中心含义是中心化矩阵即其中I代表单位矩阵，1代表n*1全1列向量，n为图片总数。在这两个模型中，我们考虑数据相似性以实现更好的数据结构保留。它们与Linear Kernel PCA(基于线性核的主成分分析)有类似的想法，Linear Kernel PCA由L-KPCA简化表示，但L-KPCA明确地忽略了重建误差。利用这种洞察力，我们提出的模型可以学习用于识别和重建任务的连接投影矩阵。尽管这些想法很简单，但将它们结合使用对于识别任务来说非常有用。

C-PCA仅采用中心加权概念来解决结构信息的丢失。因此，我们的方法具有很高的可扩展性，并且可以适应其他PCA模型。除此之外，GC-2DPCA具有广泛性能的稳健性。GC-2DPCA可以通过利用投影矩阵的每一行之间的变化，并使用L2,1范式的p次方来学习有效且稳健的投影矩阵，从而进一步来抑制异常值。

我们提出了基于PCA和2DPCA方法的降维模型，即C-PCA和GC-2DPCA，用于数据分类和表示。我们考虑将PCA和L-KPCA结合起来，各自的稳健性和效率；我们使用中心化矩阵并提出一个C-PCA。C-PCA可以很好地表征几何结构。

我们的C-PCA模型应用于AnglePCA(角度主成分分析)，形成C-AnglePCA(基于中心化权重的角度主成分分析)以验证我们的方法的可扩展性。因此C-PCA可以获得两个不同但有关联的投影加权矩阵。具体地，识别准确权重矩阵等于L-KPCA中的矩阵，虽然重建误差权重与传统PCA中的权重相同。

之前提到的C-PCA仅考虑优化识别矩阵。在本发明的后面GC-2DPCA中，第一阶段，我们设计出更稳健的重构投影矩阵，针对传统2DPCA的优化目标，我们提出了具有L2,1范式的p次方最小化的新优化目标。第二阶段，将提出的C-PCA思想扩展到其2D稳健版本，并开发出具有特殊L2,1-norm最小化的广义中心2DPCA，这个阶段计算混合项(协方差和局部重构错误的混合)的一个SVD分解,其中代表局部重构错误，分解得到Z＝PΛQ^T,可以学习到最优重构的投影矩阵W₁＝PIQ。其中一个矩阵X的L2,1范式的定义是这样我们实现了一个转换：

GC-2DPCA先把图像转化为2维像素矩阵。算法2在收敛的条件下快速达到全局最优解。以获得最优的特征提取效果，运行速度也非常的高效。

下面是描述GC-2DPCA算法的具体步骤：

第一步，中心化(均值化)，目的是为了方便后面求解。这步和传统的2DPCA一样，属于初始化步骤。

第二步，求局部重构错误E，进而求出上述协方差和局部重构错误的混合项Z。

第三步，对Z进行SVD分解后的左奇异矩阵P和右奇异矩阵Q。

第四步，学习到最优重构的投影矩阵W₁＝PIQ，重复第二、三、四步骤，直到收敛。收敛条件为前后迭代的W₁值小于一个设定的阈值。

第五步，将样本点投影到选取的W₁的列向量即特征向量上，实现降维。

世界上很多科研机构都有其公开的人脸数据库供下载，这些人脸库包含人物众多、人脸图像标准、人脸表情丰富、光照强度多样，非常具有实用价值和科研价值。常见的人脸库有Yale人脸数据库、AT&T的人脸库、ORL人脸数据库、MIT人脸数据库、CMU PIE人脸数据库等。可从上述数据库中选取人脸图像数据建立所需的人脸库，从中选取图像作为图像预处理模块的输入数据，用于对系统进行训练。

基于中心化权重的二维主成分分析系统，由四个部分组成，图像预处理模块，C-PCA执行模块，GC-2DPCA执行模块，图像指标可视化模块，其中：

图像预处理模块可根据用户的需要自行选择配置的策略，并且考虑设有默认选择，并能实时得到处理后的一个可视化的反馈。本发明只研究简单加线性噪声模型。它包含了一维图像预处理模块和二维预处理模块。一维图像预处理子模块包括图像转换成向量形式、向量图像去均值，此在子模块之中这些策略按顺序进行。二维图像预处理子模块包括图像转换成矩阵形式、矩阵图像去均值，在此子模块之中这些策略按顺序进行。两个子模块处于并列关系。

C-PCA执行模块具体地：在上一模块的预处理之后，计算样本对象的重构协方差矩阵，通过对协方差SVD矩阵分解技术，按特征值从大到小排序，从而提取特征值对应顺序的特征向量，由这些特征向量组合成一个最优重构的投影矩阵，这样我们只实现了传统上的主成分分析技术，接着我们先保留这一最优重构的投影矩阵，并计算中心化矩阵同上述重构的投影矩阵的乘积，得到新的投影权重矩阵(最优识别的投影矩阵)。该投影克服之前所有相关技术的一个缺陷，该缺陷反映在没有充分利用图像数据之间的相似性。具体流程如图2所示。清单1给出了一个C-PAC具体代码实现例子。

清单1：C-PAC具体代码实现。

GC-2DPCA执行模块具体地：在第一个图像预处理模块之后，系统在默认情况下自动分配好需要的参数(低空间的维度，指数次数)，初始化一个投影的矩阵，循环反复的计算以下策略直至收敛，对于所有的数据集，本次迭代中计算它的局部重构错误，继续计算重构错误、协方差、当前的投影矩阵的一个组合乘积，继续计算这个组合的一个SVD分解，就得到相应的一个新的投影矩阵，并作为下一次迭代的权值。此次循环结束后，得到的权重投影矩阵可以作为稳健的图像重构任务需要，这时矩阵称为最优重构的投影矩阵。考虑到识别的任务，我们将之前的重构任务中学习的最优重构的投影矩阵进行中心化处理，将最优重构的投影矩阵与中心化矩阵进行乘积，结果得到了最优识别的投影矩阵。这样同上一个模块原理一样，充分利用了图像数据之间的相似性。具体流程如图3所示。清单2给出了一个GC-2DPAC具体代码实现例子。

清单2：GC-2DPAC具体代码实现

图像指标可视化模块自带包含了两个指标：图像重构错误和识别准确率。此外，系统还考虑用户的自定义指标功能，大大延伸系统的扩展性。它包含了一维图像指标可视化子模块和二维图像指标可视化子模块。子模块一维图像指标可视化具体包含了向量式的图像重构错误和识别准确率；子模块二维图像指标可视化具体包含了矩阵式的图像重构错误和识别准确率；其中它们所有的重构错误以直方图形式展示，而所有的识别率以曲线图形式展示。

四个模块的关系说明：GC-2DPCA执行模块同C-PCA执行模块处于并列关系，它们针对不同的重构图像任务而提出，但是它们有着一样的创新核心思想的关系。分别紧跟着实现各自的图像指标可视化的模块。所以系统总共有两个运行流程：一是一维图像预处理模块，C-PCA执行模块，一维图像指标可视化的模块；二是二维图像预处理模块，GC-2DPCA执行模块，二维图像指标可视化的模块。两个子模块处于并列关系。

识别匹配模块：人脸识别模块对图像做最后的处理工作，主要负责人脸的识别。在对含有人脸图像进行识别之前，首先需要对人脸库中的目标人物的人脸进行标记和训练。训练的过程就是提取人脸库中相应人物的人脸特征，并优化参数，建立相应人物的人脸模型的过程。对训练后的结果可以存储在内存某个特定的数据结构中，也可以以文件的形式保存在磁盘中。如果人物的基数不大，可以选择存储在内存中，并不会带来显的性能和时间上的损耗，且编程过程较为简单。但是这样每次在运行系统的时候都需要重新训练一次人脸的模型。当人物基数比较大的时候，则在训练人脸库的过程将会消耗较长的时间。在这种情况下，每次运行系统都对人脸库中图像进行一次训练的话，将会造成较大的性能损耗和时间上的浪费。在视频中人脸识别这样性能要求比较高的系统中，这显然是不合适的。将训练的模型存储在磁盘中，在以后的系统运行的时候只需将模型文件加载到内存中即可。但是这种策略在人脸库有化时候，要及时重新训练模型文件。在后端处理，在数据库中查找，返回前端的是识别图像的信息。

通过CSV库中文件读取到内存中后，进行模型的训练，C-PCA模型具体训练过程为把已知的大数据样本图像输入到预处理模块得到x⁰(图像转化为1维像素向量)，然后把x⁰放进C-PCA模块得到最优重构的投影矩阵w₁和最优识别的投影矩阵w₂＝Hw₁。接着将训练后的结果w₂x⁰即图像的有效特征保存在内存中。GC-2DPCA模型具体训练过程为把已知的大数据样本图像输入到预处理模块得到X⁰(图像转化为2维像素矩阵)，然后把X⁰放进GC-2DPCA模块得到最优重构的投影矩阵W₁和最优识别的投影矩阵W₂＝HW₁。接着将训练后的结果X⁰W₂即图像的有效特征保存在内存中。

上一步已知的标签图像得到了有效特征的保存，接下来对大量待识别图像进行同样的模型训练，得到大量待识别图像的有效特征，将最优识别的投影矩阵同大规模的待识别图像数据进行运算w₂x¹或X¹W₂达到降维，这样将有效提高计算速率，将计算后的结果即待识别图像的有效特征w₂x¹或X¹W₂保存在内存中，这时需要使用最近邻(KNN)分类器(n＝1)，即计算待识别图像的有效特征同训练后图像的有效特征之间的欧式距离，需要设定一个阈值作为最近距离的界限，当未知图像与已标签过图像的最近距离大于阈值时，则系统返回无匹配图像或者返回人脸库中的相似图像，当未知图像与已标签过图像的最近距离小于阈值时，则系统返回最近标签的图像作为识别结果，最终使用该内存中的结果对该人脸进行识别，最终将识别结果标记出来，则可以认为属于该人脸。清单3给出了一个KNN(n＝1)分类器具体代码实现例子。

清单3：KNN(n＝1)分类器具体代码实现

本发明完成了如下工作：

1、总结抽象问题为普遍的数学问题，提出求解算法框架，并给出了收敛证明。此求解框架不仅可以适用于PCA模型，同时还可以应用到2DPCA,等模型中，并且与现有求解方法相比能够整体求出线性投影矩阵。

2、针对现今基于L1、L2、F范数的鲁棒判别特征提取算法不能有效地最大化目标函数，导致算法性能不好等问题，利用上述求解框架设计一种整体求解基于中心化权重的PCA的算法。

3、对于包含噪声的人脸数据，进一步提高识别准确率，经过数学理论的分析，提出了基于L2,1范数2DPCA，同时利用上述求解框架设计出一种整体求解投影矩阵的算法。

4、对于识别的任务，有以下一些流程。先对具有类标记的训练样本和待测样本进行GC-2DPCA投影处理，得到各自处理后的两种数据。把未具有类标记的数据与具有类标记的数据进行欧式距离的计算，并按照升序排序，根据最小最近邻规则，这里选取1近邻,把未具有类标记的数据完成标记。

5、对于图像重构的任务，根据流程中求出的重构投影矩阵，在根据计算重构的准则，计算出GC-PCA处理人脸图像后的重构误差。尤其将其与中心化矩阵乘积，这样同上一个模块原理一样，充分利用了图像数据之间的相似性。

Claims (2)

1.一种基于中心化权重的主成分分析系统，其特征是，由三个部分组成，图像预处理模块，中心化权重主成分分析C-PCA执行模块或泛化的中心二维主成分分析GC-2DPCA执行模块，识别匹配模块，其中：

图像预处理模块根据用户的需要自行选择包括图像转换成矩阵、去均值、去噪、颜色空间变换、图像滤波、图像增强、边缘检测、图像二值化、在内的配置的策略，并且考虑设有默认选择，并能实时得到处理后的一个可视化的反馈；

C-PCA执行模块具体地：在图像预处理模块进行的预处理之后，计算样本对象的重构协方差，通过对协方差奇异值分解SVD矩阵分解技术，按从大到小排序得到选定数量的特征向量，由这些特征向量构成一个投影矩阵，先保留这一投影矩阵，并计算中心化矩阵同这一投影矩阵的乘积，得到C-PCA最优识别的投影矩阵；

GC-2DPCA执行模块具体地：在图像预处理模块之后，系统在默认情况下自动分配好需要的包括低空间的维度、指数次数的参数，初始化一个投影的矩阵，循环反复的计算以下策略直至收敛：对于所有的数据集，本次迭代中计算它的局部重构错误，继续计算重构错误、协方差、当前的投影矩阵的一个组合乘积，继续计算这个组合的一个SVD分解，就得到相应的一个新的投影矩阵，并作为下一次迭代的权值；此次循环结束后，将之前的重构任务中学习的权重进行中心化处理，将其与中心化矩阵乘积，得到GC-2DPCA最优识别的投影矩阵；

识别匹配模块，将识别结果标记出来，与人脸库中提取的特征进行比对，符合一定阈值的则认为属于该人脸，即在原始图像或者标准输出中输出识别的结果。

2.如权利要求1所述的基于中心化权重的主成分分析系统，其特征是，进一步具体地：

通过CSV库中文件读取到内存中后，进行模型的训练，C-PCA模型具体训练过程为把已知的大数据样本图像输入到预处理模块得到x⁰，即图像转化为1维像素向量，然后把x⁰放进C-PCA模块得到最优重构的投影矩阵w₁和最优识别的投影矩阵w₂＝Hw₁，接着将训练后的结果w₂x⁰即图像的有效特征保存在内存中；GC-2DPCA模型具体训练过程为把已知的大数据样本图像输入到预处理模块得到X⁰，即图像转化为2维像素矩阵，然后把X⁰放进GC-2DPCA模块得到最优重构的投影矩阵W₁和最优识别的投影矩阵W₂＝HW₁，接着将训练后的结果X⁰W₂即图像的有效特征保存在内存中；

接下来对大量待识别图像进行同样的模型训练，得到大量待识别图像的有效特征，将最优识别的投影矩阵同大规模的待识别图像数据进行运算w₂x¹或X¹W₂达到降维，这样将有效提高计算速率，将计算后的结果即待识别图像的有效特征w₂x¹或X¹W₂保存在内存中，这时需要使用最近邻分类器KNN，n为近邻的参数，即计算待识别图像的有效特征同训练后图像的有效特征之间的欧式距离，需要设定一个阈值作为最近距离的界限，当未知图像与已标签过图像的最近距离大于阈值时，则系统返回无匹配图像或者返回人脸库中的相似图像，当未知图像与已标签过图像的最近距离小于阈值时，则系统返回最近标签的图像作为识别结果，最终使用该内存中的结果对该人脸进行识别。