CN112232438B - 面向高维图像表示多核子空间学习框架 - Google Patents

Abstract

本发明提供了一个面向高维图像表示多核子空间学习框架(MKSL)，该框架能从多个核空间学习到一个统一的子空间，从而有效的解决高维数据(如图像数据)难以有效表示的问题。首先，通过将不同的先验知识，如类别信息和邻域关系信息，引入到MKSL的目标函数中，用以处理不同场景下的任务，包括无监督聚类、监督和半监督分类。其次，为了有效地组合多个核，MKSL采用了两步迭代优化策略，使得其在训练过程中自动学习合适的核权重。最后，将学习到的核权重使用线性组合的方式生成最优组合核。相较于传统的子空间学习方法，本发明可以融合来自不同核的不同数据特征表示，不仅能有效的增强了学到子空间的表征能力，而且提升在无监督聚类任务，有监督和半监督分类任务上的性能。

Description

面向高维图像表示多核子空间学习框架

技术领域

本发明涉及模式识别技术领域，尤其涉及针对高维图像数据的子空间学习模型。

背景技术

在图像识别和计算机视觉的许多领域，数据特征空间的维数通常很大。随着维度的增加，学习方法的有效性和效率呈指数级下降，这种现象被称为“维度的诅咒”。因此，寻找一个新的低维空间对于分析数据中的内在结构是非常重要的。为了实现这一目标，人们开发了许多技术，主要包括两种方式：特征选择和子空间学习。特征选择的目的是根据特征的相关统计信息选择原始特征的子集，而子空间学习技术则是将原始的高维特征空间转化为低维子空间。有效子空间不仅可以减轻维度过高而带来的维数灾难和其他不好性质，而且对异常值和噪声具有鲁棒性。因此，子空间学习在许多领域都很重要，例如高维数据的分类和压缩。

子空间学习由于保留了特定的统计特性并提供了适当的数据表示，因此被应用于计算机视觉和多媒体中的各种任务中。最经典的技术是主成分分析(PCA)和线性判别分析(LDA)。 PCA和LDA都是以线性方式寻找低维子空间的线性方法，因此它们不能充分处理复杂的非线性数据。为了揭示潜在的非线性子空间，发展出了一些流形学习技术，如等距特征映射 (Isomap)、拉普拉斯特征映射(LE)和局部线性嵌入(LLE)等方法。这些方法都基于流形假设[48]来产生子空间。然而，流形学习方法存在样本外(out-of-sample)问题，新的测试样本不能给出显式的子空间映射。因此，局部保持投影(LPP)作为LE的线性近似被提出，通过揭示数据流形来解决这个问题。尽管这些技术有不同的动机，但它们可以统一于图嵌入的框架中[50]。此外，为了揭示非线性子空间并取得显著的改进，将某类线性方法核化为非线性方法是可行的，如核PCA(KPCA)、核FDA(KFDA)、核LPP(KLPP)、核局部判别嵌入(KLDE)、核半监督判别分析(KSDA)等。

然而，核化版本的子空间学习方法在很大程度上依赖于核函数的选择。近年来，多核学习被提出用来解决上述核选择的问题。MKL-DR方法将多核学习方法引入到图嵌入中实现了将多个核空间融合在一起进行降维。通过同时学习不同基核的核权重和嵌入的变换矩阵，MKL-DR为多特征表示中的数据提供了统一的低维子空间。实验结果表明，与单核子空间学习方法相比，MKL-DR具有更好的学习性能。然而，由于MKL-DR是基于图嵌入框架的，因此在某些应用中嵌入学习的形式并不平滑。而本发明的内容则是引入一个正则项来构造一个新的目标函数，从而实现多核子空间学习。由于正则项的引入，新构建的多核子空间学习框架学到的子空间比基于图嵌入框架的方法更平滑，因此在该子空间上高维图像数据能够更有效的被表征。

发明内容

针对高维图像数据的难以用低维数据有效表示的问题，本发明利用多核学习的方式来融合不同的图像表征信息，提出了多核子空间学习框架。该方法通过投影矩阵将组合核空间的样本映射到一个可增强样本表达的统一子空间，从而有利于在该子空间上进行聚类和分类任务。

本发明在优化过程中设计了一种两步迭代策略来交替优化核权重和投影矩阵。首先固定核权重，优化问题被转化为广义特征值的问题，从而可以直接求解出最优的特征向量组成投影矩阵；其次，固定投影矩阵，优化问题通过半定规划的方式求解，得到核权重。最后，不断重复上述过程，最终求得该模型的最优参数。通过学习到的核权重和投影矩阵，可将原始空间的样本直接映射到子空间上，为后续的学习提供有效的特征表征。

本发明可采用不同的方法来将原始空间的样本嵌入到不同的子空间中，从而更精准的处理不同场景的任务，具体包括在无监督学习场景上的聚类任务，在监督学习和半监督学习场景上的分类任务。通过在人脸数据和手写数字数据上进行的丰富实验和综合的分析，验证了所提出框架的有效性。实验结果表明，与相关方法相比，该框架在无监督、有监督和半有监督任务上都具有优异的性能。

本发明有益的效果是：通过设计一个多核子空间学习框架，将多核学习方法引入到子空间的学习过程中，充分利用不同的核表征空间来学习样本更有效的子空间表达；使用两步迭代优化策略来学习生成最优组合核的合适核权值，避免了核选择问题的同时有效地提高了子空间学习的性能；引入不同的先验知识如类信息和邻域关系，可处理不同场景的任务，因此所提的框架能够胜任无监督学习、半监督学习和监督学习场景。

附图说明

附图1是本发明整体流程图。

具体实施方式

下面结合附图和实例对本发明作进一步介绍：本发明所设计的系统共分四个模块。

第一部分：数据收集和处理

数据收集是从原始数据中获得有效的数据形式的过程，数据处理是将收集到的数据进行数值化和向量化，从而能够作为模型的输入。在该步骤中，首先，将采集到的样本分为训练样本与测试样本。其次，针对图像数据，原始样本的为二维矩阵的形式，在该过程中将矩阵进行逐行拼接形成一个向量x_i，其中i表示该样本是总训练样本的第i个。向量的维度d为样本的特征个数。为方便后续计算，将所有训练样本合成一个训练矩阵X，该矩阵中，每一行是一个样本。最后，通过不同的核函数，将样本矩阵X从原始输入空间映射到不同的核空间K_m，其中m表示第m个核空间。

第二部分：模型训练

在这个模块中，上一模块生成的核矩阵K将被代入发明的核心算法中进行训练。主要步骤如下：

1)将第一部分生成的多个核矩阵作为基核，并以线性组合的方式形成组合核矩阵 其中α_m为核权重。进一步地，为了揭示组合了多个核空间的潜在统一子空间，我们提出了MKSL框架。MKSL的优化问题定义如下：

其中u∈R^N×l是样本的系数矩阵，新添加的约束条件α_m≥0是为了确保K是基核的非负组合。 L和L′是根据图嵌入框架中的相似性矩阵W和W′来构造的Laplacian矩阵。值得注意的是，由于KL′K可能并不满秩，所以在实践中需要在对角线元素上添加一个很小的常量以保证其满秩。

MKSL的优化问题由样本系数矩阵u∈R^N×l和核权重向量α∈R^M来决定。u的每一列分别代表一维样本系数向量u_i，α的每个元素分别代表核权重α_m。因此，使用u和α，可以将d 维的原始输入样本嵌入到集成了多个核空间的l维(l≤d)统一子空间中。

2)优化求解样本系数矩阵u和核权重向量α。在优化过程中采用两步策略来交替优化 u和α。具体而言，在每次迭代中，首先固定α以优化u，然后固定u以优化α。重复上述的迭代过程，直到达到收敛或达到最大迭代次数为止。优化过程如下：

固定α来优化u：通过固定核权重向量α，可直接获得组合核矩阵K。因此，优化问题(1) 变为：

优化问题(2)同样也是广义特征值问题。最优值u^*＝[u₁，u₂，…，u_n]根据如下的特征方程得来：

(K+λKLK)u＝γKL′Ku (3)

其中u^*的每一列是对应于除了0之外的前l个最小特征值所对应的广义特征向量。

固定u来优化α：通过固定u，优化的目的就是找到最佳核权重向量α。通过将优化问题 (1)中的组合核矩阵K替换为一系列基核的线性加权组合，即优化问题(1)可重写为：

其中：

一旦给定u，p、Q和Q′都可以根据公式(5)计算得来。值得注意的是，附加的约束项α≥0 使得优化问题(4)不再是广义特征值问题。实际上，它是一个非凸二次约束二次规划(QCQP) 问题，难以直接进行优化。因此，通过给优化问题(4)添加一个辅助变量A∈R^M×M，可得到的该优化问题的凸松弛形式，其表示如下：

其中(6)中的最后一个约束表示方阵是一个半正定的矩阵。通过这种方式，将优化问题(6) 放宽到了半定规划(SDP)中。

3)对样本进行子空间嵌入。一旦从MKSL的训练过程中获得u和α，对于给定测试样本z，其嵌入的子空间的形式为：

在完成子空间嵌入过程之后，可采用不同的方法来对嵌入到子空间的样本进行学习，从而处理不同的任务，即：采用k-means聚类来进行聚类任务或采用基于近邻规则的KNN来进行分类任务。

第三部分：测试未知数据

该模块首先将第一模块中随机划分出的另一部分样本作为测试样本构成测试样本矩阵，其中训练集和测试需要满足同概率分布的前提。要特别注意的是，测试数据跟训练数据一样也需要进行相应的核映射处理。最后，在无监督场景下，我们将测试数据嵌入到到子空间后使用k-means方法进行聚类，在半监督和有监督场景下，将测试数据嵌入到到子空间后使用 KNN方法进行分类。

实验设计

1)实验数据集选取：该实验选择了4个图像数据集，其中包括两个人脸识别数据集ORL和Yale，对象识别数据集COIL20和数字识别数据集USPS。对于人脸图像数据集，ORL 包含来自40个人的400张23×28像素的照片，每个人包含了10张表情或姿势都各不相同的照片。Yale数据集包含165张灰度图像，其中每张图片大小为32×32像素，图片格式为GIF 格式；该数据集包含15个人的，每个人有11张面部图像，这11个面部表情或类型主要有：中心光，带眼镜，快乐，左侧光照，不带眼镜，正常，右侧光照，悲伤，困倦，惊讶和眨眼。 COIL20包含了20个人的人脸灰度图像，每个人脸从不同角度提供72个32×32像素的图像。 USPS包含数字0-9的手写数字图像，每张图像的大小为16×16像素，在本次实验中，我们从原始数据的每个数字中随机选择了200张不同的灰度图像。这四个图像数据我们都将其按照行的形式拉平后，作为我们模型的输入。数据集的详细信息如表1所示：

表1数据集的详细描述

核函数选择对于所有数据集，我们首先将数据的特征进行归一化，并选用了具有不同核宽参数σ的7个径向基核函数(Radial Basis Function,RBF)。RBF核的定义如下：

不同的核宽σ表示x_i和x_j两个样本在不同的核空间内的关系。然后，根据经验将k近邻图的参数k设为5。对于我们基于US-ELM的相关方法，控制嵌入到子空间的平滑度的参数λ的取值范围为{10^-2,10^-1,10⁰,10¹,10²}，最优参数的选择通过5轮交叉验证来获得，同时记录下了最优参数下的实验结果。

2)无监督聚类任务上实验设置：为了评估所发明的MKSL在无监督聚类中的性能，我们在UCI和图像数据集上将MKSL与MKL-DR、KLPP、US-KELM、US-ELM和L2Graph 进行了比较。对于所有数据集，所有算法都将数据嵌入到c维空间中，其中c是类别的个数。然后，在嵌入的子空间中执行k-means算法，并将数据集中的簇数设置为c。模型的评价表中采用聚类准确度(ClusterACC)和标准化互信息(NMI)。实验中，将7个RBF核宽参数σ的值分别设置为0.125、0.5、2、8、32、64和128。对于单核方法KLPP和US-KELM，实验结果记录其在7个核宽下的最佳结果。对于MKSL和MKL-DR，迭代的最大次数设置为25。所有的算法在6个UCI和4个图像数据集上进行了实验，计算了每种算法进行20次k-means 后的平均结果，以使得到的结果更加稳定。

3)监督分类任务上的实验设置：为了验证监督分类的性能，将所发明的MKSL算法与 MKL-DR、KLDE、L2Graph和JFSSL进行了比较。这些算法都利用从LDE派生出来的相似性矩阵，来将原始空间的样本嵌入到子空间中。在本节的实验中，我们将核宽参数σ值设置为5、25、45、65、85、105和125，所采用的这些值都分布在所有成对样本的平均距离周围。对于所有算法，我们首先将嵌入维度设置为类别个数c，这与无监督场景中的设置相同。然后，通过k-NN方法在子空间中完成分类任务，在实验中将参数k根据经验设置为5。同时，MKSL和MKL-DR的设置与无监督学习中的设置保持一直。对于KLDE，将选择最佳核并记录相应的结果。此外，我们还将不同的核宽σ用相同的权重进行组合后，使用KLDE来验证其效果，该方法用AvgKLDE来表示。

4)半监督分类任务上的实验设置：在半监督场景的实验中，将所有方法的核宽参数σ的值设置为0.125、0.5、2、8、32、64和128。在对比算法上，我们使用SDA的核化版本KSDA和MKL-DR，以评估所发明的MKSL在半监督学习任务上的性能。此外，还通过组合具有相同权重的基核AvgKSDA来进一步说明，所发明算法融合不同基核的有效性。类似于监督学习的实验设置，将子空间嵌入维度设置为类别个数c，并且将k-NN方法中的近邻参数k设置为5，以在学习到的子空间上完成半监督的分类任务。另外，对于所有数据集，我们随机选择40％的样本作为有标记数据和40％的样本作为未标记数据组成训练数据，其余20％的样本为测试数据。

实验结果

1)无监督聚类任务的实验结果：表2和表3分别记录了不同算法的聚类ACC和NMI结果，每个数据集上的最好结果已使用粗体标出。

表2聚类任务下不同算法的聚类ACC

从表2和表3可以看出，在大多数数据集中MKSL的性能均优于其他算法。与MKL-DR相比，由于对投影矩阵进行了正则化的约束，使得MKSL取得了更好的结果。这种正则化是在子空间的学习过程中进行的，从而提高了将原始空间嵌入到子空间后的平滑度。与KLPP 和US-KELM相比，MKSL的优势在于可以集成来自不同核的多种信息，从而较好的提升了实验结果。同时，在大多数数据集上，MKSL的性能优于非核方法US-ELM和L2Graph，进一步说明了核方法的有效性。

表3聚类任务下不同算法的NMI

2)监督分类任务的实验结果：我们使用5轮交叉验证来进行实验，所有算法平均分类精度列于表4中，每个数据集上的最好结果已使用粗体标出。

表4有监督分类任务下不同算法的Accuracy

表4的结果表明，在大多数数据集上，MKSL优于MKL-DR和AvgKLDE，这说明MKSL 能够有效的组合不同的基核来提高分类精度。与KLDE相比，MKSL在某些数据集上获得了卓越的性能。值得注意的是，KLDE采用单个核，表中所记录的结果是从七个核中选出的最佳结果，因此比较MKSL和KLDE的分类精度可以得出，不同的基核之间似乎相互补充，比仅仅使用单个核的方法性能更好。同时，与都是基于非核方法的L2Graph和JFSSL相比， MKSL可以通过核映射学习到更好的子空间来表示数据形式，因此在该子空间上的分类性能往往较高。

3)半监督分类任务的实验结果：所有实验均进行了5次，平均分类精度列于表5，每个数据集上的最好结果已使用粗体标出。

表5半监督分类任务下不同算法的Accuracy

从表5中可以看出，在大多数数据集上，MKSL的性能均优于MKL-DR和AvgKSDA，这表明MKSL有效地结合了多个基核，并显着提高了半监督学习任务的分类准确性。此外，尽管KSDA的结果与最佳内核相对应，但在大多数数据集上，MKSL的性能仍优于或与KSDA 相当，这表明由MKSL自动学习的最优核通常是有效的，这也避免了单核学习算法中核选择的问题。

Claims (1)

1.面向高位图像表示的多核子空间学习方法，其特征在于：具体步骤是：

1)预处理：将采集的图像样本数据集特征转为适于后续处理的数据矩阵；

2)训练第一步：分别使用不同的核函数，将样本矩阵X从原始输入空间映射到不同的核空间，具体如下：分别使用不同的核函数，将人脸样本矩阵X从原始输入空间映射到不同的核空间；详细描述如下：将样本从原始输入空间X映射到一个特征空间F中，即Φ:X→F，其中映射函数Φ可表示为内积形式ker(x_i,x_j)＝<Φ(x_i),Φ(x_j)>；那么对于原始数据X，核矩阵K表示X中的每个元素的两两之间的内积；由于不同的核矩阵K_m代表不同的核映射方式，因此实现了原始空间的样本到不同的核空间的映射；

3)训练第二步：将第一部分生成的多个核矩阵作为基核，并以线性组合的方式形成组合核矩阵，从而构造目标函数，具体如下：将第一部分生成的多个核矩阵作为基核，并以线性组合的方式形成组合核矩阵，从而构造目标函数；其具体实现为：将第一部分生成的多个核矩阵作为基核，并以线性组合的方式形成组合核矩阵其中α_m为核权重，M表示核矩阵数量，m表示核矩阵索引；进一步地，为了揭示组合了多个核空间的潜在统一子空间，MKSL的优化问题定义如下：

其中u∈R^N×l是样本的系数矩阵，其中N表示样本数量，l表示保留l个最小的非零特征值，新添加的约束条件α_m≥0是为了确保K是基核的非负组合；L和L'是根据图嵌入框架中的相似性矩阵W和W'来构造的Laplacian矩阵；MKSL的优化问题由样本系数矩阵u∈R^N×l和核权重向量α∈R^M来决定；u的每一列分别代表一维样本系数向量u_i，α的每个元素分别代表核权重α_m；

4)训练第三步：采用两步策略来交替迭代优化模型参数，其具体操作为：在每次迭代中，首先固定α以优化u，然后固定u以优化α；重复上述的迭代过程，直到达到收敛或达到最大迭代次数为止；优化过程如下：

固定α来优化u：通过固定核权重向量α，可直接获得组合核矩阵K；因此，优化问题(1)变为：

优化问题(2)同样也是广义特征值问题；最优值u^*＝[u₁,u₂,…,u_n]根据如下的特征方程得来：

(K+λKLK)u＝γKL'Ku (3)

其中u^*的每一列是对应于除了0之外的前l个最小特征值所对应的广义特征向量；

固定u来优化α：通过固定u，优化的目的就是找到最佳核权重向量α；通过将优化问题(1)中的组合核矩阵K替换为一系列基核的线性加权组合，即 优化问题(1)可重写为：

其中：

一旦给定u，p、Q和Q'都可以根据公式(5)计算得来；通过给优化问题(4)添加一个辅助变量A∈R^M×M，可得到的该优化问题的凸松弛形式，其表示如下：

其中(6)中的最后一个约束表示方阵是一个半正定的矩阵；通过这种方式，将优化问题(6)放宽到了半定规划(SDP)中；

5)测试：将测试数据集输入所得的多核子空间学习框架中，得到测试样本在子空间的具体表征形式，再针对不同的应用场景进行相应的后处理，具体为：一旦从MKSL的训练过程中获得u和α，对于给定测试样本z，其嵌入的子空间的形式为：

在完成子空间嵌入过程之后，可采用不同的方法来对嵌入到子空间的样本进行学习，从而处理不同的任务，即：采用k-means聚类来进行聚类任务或采用基于近邻规则的KNN来进行分类任务。