CN111324791A - 一种多视数据子空间聚类方法 - Google Patents

Abstract

公开一种多视数据子空间聚类方法，其能够充分揭示多视数据的结构信息，提高图像的聚类性能。这种多视数据子空间聚类方法，该方法包括以下步骤：(1)在多视数据子空间聚类的方法中加入低秩表示约束；(2)在多视数据子空间聚类的方法中加入稀疏表示约束；(3)通过一个前后级联构建特定形式的聚类相似度矩阵。

Description

一种多视数据子空间聚类方法

技术领域

本发明涉及图像分类的技术领域，尤其涉及一种多视数据子空间聚类方法。

背景技术

随着科技的迅速发展，获取数据的方式更加多样化，海量的文本、图像、音频以及视频数据在人们生活的各个方面都起着重要的作用，对大规模数据的分析与处理日益在科学研究领域占据着举足轻重的地位。数据内容的高复杂度导致数据维度升高，并且很多数据可以通过不同的来源观测或是多种类型的特征描述，比如监控视频可以从不同的角度获得同一位置的信息，图像可以使用不同的特征描述(如局部二值特征、纹理特征、空间包络特征等)。实际上，这些数据可以认为是相同的对象通过不同的途径或是在不同的空间中观测到的信号，称之为多视数据。

作为数据挖掘技术中的一个关键，聚类分析已经得到广泛探讨和研究。数据的聚类分析是指根据选择的标准把一个待聚类数据集中的对象归为若干类或簇，使得同一类的数据尽可能相似，同时不同类数据尽可能地不同。对于数据聚类的问题，子空间聚类方法假设可以找到只使用维度子集定义的有效聚类，从不同子空间的角度考察各个数据簇聚类划分的意义，并为每个数据簇寻找相对应的子空间，获得子空间的个数、维度和各个子空间的基，利用特征子集构建原始数据的特征子空间完成聚类。子空间聚类的核心是构造恰当的表示模型，尽可能接近数据的真实子空间结构，并且使获取到的表示系数及其建立的相似矩阵有助于提升子空间聚类的精确度。

现有的子空间聚类和表示方法，例如基于低秩的稀疏子空间聚类方法(Low RankSparse Subspace Clustering),基于拉普拉斯约束的低秩表示子空间分割方法(Laplacian regularized LRR)，在许多研究方向已经获得非常有效的结果，然而此类方法大多更关注单视数据的聚类，直接对多视数据进行应用往往会忽略许多重要的多视信息。对于多视数据的聚类，通常要针对不同视角间的结构对所得的子空间表示进行约束，例如基于低秩约束的张量多视子空间聚类方法(Low-Rank Tensor Constrained MultiviewSubspace Clustering)对数据的子空间表示进行了低秩约束，而不完整和无标签多视数据的统一子空间学习(Unified subspace learning for incomplete and unlabeledmulti-view data)中则约束投影矩阵是稀疏的用于选择相关特征。

然而，目前的多视数据聚类方法通常对相似矩阵只考虑了低秩或者稀疏一个方面的约束，没有充分利用两种约束对自表示模型的增益。因此，深入研究低秩表示和稀疏表示对相似矩阵的作用关系，设计有效的多视数据聚类方法，具有显著的研究意义和应用价值。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种多视数据子空间聚类方法，其能够充分揭示多视数据的结构信息，提高图像的聚类性能。

本发明的技术方案是：这种多视数据子空间聚类方法，该方法包括以下步骤：

(1)在多视数据子空间聚类的方法中加入低秩表示约束；

(2)在多视数据子空间聚类的方法中加入稀疏表示约束；

(3)通过一个前后级联构建特定形式的聚类相似度矩阵。

本发明通过将低秩约束和稀疏约束结合起来统一到一个优化模型中，并且通过一个前后级联的步骤实现数据整体和局部特性的挖掘，因此能够充分揭示多视数据的结构信息，提高图像的聚类性能。

附图说明

图1示出了根据本发明的多视数据子空间聚类方法的流程图。

图2示出了Pie数据库示例图。

图3示出了Yale数据库示例图。

图4示出了Orl数据库示例图。

具体实施方式

如图1所示，这种多视数据子空间聚类方法，该方法包括以下步骤：

(1)在多视数据子空间聚类的方法中加入低秩表示约束；

(2)在多视数据子空间聚类的方法中加入稀疏表示约束；

(3)通过一个前后级联构建特定形式的聚类相似度矩阵。

本发明通过将低秩约束和稀疏约束结合起来统一到一个优化模型中，并且通过一个前后级联的步骤实现数据整体和局部特性的挖掘，因此能够充分揭示多视数据的结构信息，提高图像的聚类性能。

优选地，所述步骤(1)中，将多视数据子空间聚类方法的低秩表示约束表示为公式(5)：

其中

被称为l_2，1范数，参数λ＞0用来平衡两部分的效果，矩阵

表示多视数据集中从多重独立子空间获取的第v个视角的样本集，其中

代表v视角中的第i个样本点，||·||_*表示矩阵的核范数，样本集通过线性自表示得到样本的表示系数矩阵

优选地，所述步骤(2)中，多视数据子空间聚类的稀疏表示为公式(7)：

其中

是其第i列对应于x_i的稀疏表示的矩阵，

是C的对角元素的向量。

优选地，所述步骤(3)中，低秩表示与稀疏表示共同约束的多视数据子空间聚类方法模型LS-MVSC为公式(8)：

对LS-MVSC模型的求解之前，先对两个误差约束项

进行代换处理，将误差项分别用各自的表示分解代换，那么公式(8)相当于公式(9)：

采用交替迭代的方法对公式(9)进行求解，通过辅助变量J和Q分离模型中低秩表示约束项、稀疏表示约束项与其他约束项，并加入新的约束J＝Z和Q＝C得到公式(9)的增广拉格朗日方程为公式(10)：

其中A^v和B代表拉格朗日乘子，μ代表惩罚参数。

优选地，所述步骤(3)中交替迭代包括以下分步骤：

(3.1)当其他变量固定时，通过公式(11)求解变量J^v：

用奇异值阈值算子方法求解上述问题，假设存在矩阵

则

的SVD分解为O＝C_p×r∑_r×q，∑＝diag(σ₁，…，σ_r)，r表示矩阵O的秩，σ₁，…，σ_r是对应的奇异值，C_p×r和G_r×q代表对应正交矩阵；

对于任意的

和ζ＞0，其奇异值阈值算子为公式(12)：

根据公式(12)，变量J^v的解得出

其中，Z^v+[(A^v)/(μ)]＝C_p×r∑G_r×q，∑＝diag(σ₁，…，σ_r)；

(3.2)当其他变量固定时，通过公式(13)求解变量Z^v：

因为公式(13)中每个Z^v是相互独立的，所以令该式对Z^v的偏导方程为零得到，

(2λ₁X^vTX^v+μ)Z^v+Z^v(2λ₃I-2λ₃C

-2λ₃C^T+2λ₃CC^T)＝2λ₁X^vTX^v-A^v+μJ^v

(3.3)当其他变量固定时，通过公式(14)求解变量Q：

使用奇异值阈值算子，得到变量Q的解为

(3.4)当其他变量固定时，通过公式(15)求解变量C：

令式(15)对C的偏导方程为零得到，

C＝(2λ₃Z^vTZ^v+μI)^-1(2λ₃Z^vTZ^v-B+μQ)

因为在之前进行的低秩表示过程中得到的Z^v为每个视特有的，而在进行最终聚类的过程中需要求得多视数据的统一子空间表示矩阵C，所以在计算过程中平等地对待每一视，将它们进行加权平均：

(3.5)根据公式(16)更新拉格朗日乘子A^v和B：

通过以上(3.1)-(3.5)五个步骤，经过一定次数的迭代或者满足公式(17)时，得到公式(10)的解

以下更详细地说明本发明。

令矩阵

表示多视数据集中从多重独立子空间获取的第v个视角的样本集，其中

代表v视角中的第i个样本点。在基于单个视内数据的聚类过程如下：首先，样本集通过线性自表示得到样本的表示系数矩阵

即通过求解和优化公式(1)中的问题得到单个视内的自表示系数：

其中Φ(Z^v)表示约束系数矩阵的方程。接下来，在得到的所有m个视角系数矩阵的基础上计算

获得多视数据的相似矩阵。最后，对相似矩阵A进行谱聚类得到数据的聚类结果。在上述一般过程的基础上，下面分别对多视数据的聚类过程进行低秩表示和稀疏表示约束，然后提出一种基于低秩表示和稀疏表示级联约束的多视数据子空间聚类方法。

1、多视数据子空间聚类的低秩表示约束

为了考察多视数据信息隐藏的全局结构，一个常用的方法是在数据的自表示施加低秩约束。在子空间聚类中，理想的相似矩阵需要有对角块形式，并且每个块可以表示一个子空间。块的数目由相似矩阵构造的拉普拉斯矩阵的秩决定，因此低秩表示本质上描述了子空间之间的关系。

为了捕获数据的全局结构，低秩是一个更合适的标准。所以通过解决如下问题来寻找表示Z：

把上述问题的最优解Z^*称之为关于字典X，也是数据自身的“低秩表示”。但上述优化问题因为秩函数的不连续特性求解很困难。所以用下面的凸优化来对问题(2)进行一个好的代替：

其中，||·||_*表示矩阵的核范数。在实际应用中，观测数据经常是有噪声的，甚至是严重损坏的，并且观测数据可能会丢失。对于小的噪声，一个合理的策略是简单的放松(3)中的等式约束。如果设想一小部分数据向量被严重损坏，一个更合理的目标可能如下：

其中

被称为l_2，1范数，参数λ＞0用来平衡两部分的效果，可以根据这两个范数的特性来选择，或者根据经验来调整。因为l_2，1范数促使E的列为零，这里潜在的假设数据损坏是“样本特定”的，即一些数据向量是损坏的而其他的是干净的。低秩表示试图通过低秩约束来构造数据空间的全局结构，这种约束是反映数据之间关系的整体约束。我们通过对原始多视数据中每个视内的样本点分别进行低秩表示，即将单视低秩表示进行多视扩展。将多视数据子空间聚类方法的低秩表示约束记为如下：

2、多视数据子空间聚类的稀疏表示约束

从子空间的观点来看，稀疏子空间聚类被认为揭示了数据的“局部”结构，因为一个数据表示的稀疏性结果是基于只有对应于从属相同子空间数据样本的数据表示系数是非零的假设。同时考虑对受到噪声污染的数据进行聚类，我们通过求解如下问题来获得数据的稀疏表示：

其中

是其第i列对应于x_i的稀疏表示的矩阵，

是C的对角元素的向量。l₁范数促进C列的稀疏性，同时Frobenius范数促进E的列中有较小的值。求解(6)之后，我们用C来建立一个相似图，使用谱聚类推断数据的聚类结果。在多视数据的情况下，同样可以在每个视内的数据上先分别进行稀疏表示，从而将单视稀疏表示扩展到多视数据。经过整理后可以获得多视数据子空间聚类的稀疏表示约束如下：

3、多视数据的子空间聚类模型与求解

基于上述低秩表示与稀疏表示约束，提出低秩表示与稀疏表示共同约束的多视数据子空间聚类方法模型LS-MVSC如下：

对LS-MVSC模型的求解之前，先对两个误差约束项

进行代换处理。将误差项分别用各自的表示分解代换，那么问题(8)相当于如下形式：

采用交替迭代的方法对式(9)进行求解，通过辅助变量J和Q分离模型中低秩表示约束项、稀疏表示约束项与其他约束项，并加入新的约束J＝Z和Q＝C可以得到式(9)的增广拉格朗日方程如下：

式子中A^v和B代表拉格朗日乘子，μ代表惩罚参数。具体的交替迭代过程如下：

(a)当其他变量固定时，通过下式求解变量J^v：

用奇异值阈值算子方法求解上述问题，假设存在矩阵

则

的SVD分解为O＝C_p×r∑G_r×q，∑＝diag(σ₁，…，σ_r)，r表示矩阵O的秩，σ₁，…，σ_r是对应的奇异值，G_p×r和G_r×q代表对应正交矩阵。

对于任意的

和ζ＞0，其奇异值阈值算子如下：

根据公式(12)，变量J^v的解可以得出

其中，Z^v+[(A^v)/(μ)]＝C_p×r∑_r×q，∑＝diag(σ₁，…，σ_r)。

(b)当其他变量固定时，通过下式求解变量Z^v：

因为式(13)中每个Z^v是相互独立的，所以令该式对Z^v的偏导方程为零可以得到，

(2λ₁X^vTX^v+μ)Z^v+Zv(2λ₃I-2λ₃C

-2λ₃C^T+2λ₃CC^T)＝2λ₁X^vTX^v-A^v+μJ^v

(c)当其他变量固定时，通过下式求解变量Q：

与(a)类似，同样使用奇异值阈值算子，可以得到变量Q的解为

(d)当其他变量固定时，通过下式求解变量C：

与(b)同理，令式(15)对C的偏导方程为零可以得到，

C＝(2λ₃Z^vTZ^v+μI)^-1(2λ₃Z^vTZ^v-B+μQ)

因为在之前进行的低秩表示过程中得到的Z^v为每个视特有的，而在进行最终聚类的过程中需要求得多视数据的统一子空间表示矩阵C，所以在计算过程中我们平等地对待每一视，将它们进行加权平均，即：

(e)更新拉格朗日乘子A^v和B：

通过以上(a)～(e)五个步骤，经过一定次数的迭代或者满足式(17)时，就可以得到式(10)的解。

通过对LS-MVSC模型的求解，不仅能够获得多视数据每个视角的低秩表示Z^v，而且还可以得到一个稀疏表示多视数据的系数矩阵C。系数矩阵C经过谱聚类方法可以获取多视数据的标签信息，实现对多视数据的聚类。

表1

表2

本文提出了一种基于低秩表示与稀疏表示约束的多视数据子空间聚类的方法，用于证明模型面向多视数据聚类的有效性，在三个人脸数据库上做了相应的实验。涉及到的对比算法有：DiMSC(Diversity-induced Multi-view Subspace Clustering),LMSC(Generalized Latent Multi-View Subspace Clustering),LTMSC(Low-Rank TensorConstrained Multiview Subspace Clustering),SwMC(Self-weighted MultiviewClustering with Multiple Graphs),MLAN(Multi-view Learning with AdaptiveNeighbours)，MCGC(Multiview Consensus Graph Clustering)和MVGL(MultiviewClustering with Graph Learning)。

实验中使用了以下三个数据库：

◆Pie数据库的一个子集：Pie数据库包含68个人，共40000多幅不同表情、光照和姿态条件下的人脸图像。实验中对于每个人随机选择21张不同条件下的图像来构成本次实验使用的数据集,如图2所示。

◆Yale数据库：该数据库包含165张灰度图，15个人每人分别在不同面部表情、光照条件和姿态得到11幅人脸图像。如图3所示。

◆ORL数据库：包含40人每人10张不同的面部图像,部分志愿者的图像是在不同的时间、光照、面部表情和面部细节下拍摄的,如图4所示。

对于三个人脸数据库，所有图像大小为32×32且是灰色图像，为构成多视数据，提取三种不同的图像特征，分别是Gist特征、LBP特征和Gabor特征。为了显示本发明中LS-MVSC模型的有效性，采取聚类准确率(ACC)、归一化互信息(NMI)来评价聚类的性能，具体结果如表1和表2所示。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (5)

1.一种多视数据子空间聚类方法，其特征在于：该方法包括以下步骤：

(1)在多视数据子空间聚类的方法中加入低秩表示约束；

(2)在多视数据子空间聚类的方法中加入稀疏表示约束；

(3)通过一个前后级联构建特定形式的聚类相似度矩阵。

2.根据权利要求1所述的多视数据子空间聚类方法，其特征在于：所述步骤(1)中，将多视数据子空间聚类方法的低秩表示约束表示为公式(5)：

其中

被称为l_2，1范数，参数λ＞0用来平衡两部分的效果，矩阵

表示多视数据集中从多重独立子空间获取的第υ个视角的样本集，其中

代表υ视角中的第i个样本点，||·||_*表示矩阵的核范数，样本集通过线性自表示得到样本的表示系数矩阵

3.根据权利要求2所述的多视数据子空间聚类方法，其特征在于：所述步骤(2)中，多视数据子空间聚类的稀疏表示为公式(7)：

其中

是其第i列对应于x_i的稀疏表示的矩阵，

是C的对角元素的向量。

4.根据权利要求3所述的多视数据子空间聚类方法，其特征在于：所述步骤(3)中，低秩表示与稀疏表示共同约束的多视数据子空间聚类方法模型LS-MVSC为公式(8)：

对LS-MVSC模型的求解之前，先对两个误差约束项

进行代换处理，将误差项分别用各自的表示分解代换，那么公式(8)相当于公式(9)：

采用交替迭代的方法对公式(9)进行求解，通过辅助变量J和Q分离模型中低秩表示约束项、稀疏表示约束项与其他约束项，并加入新的约束J＝Z和Q＝C得到公式(9)的增广拉格朗日方程为公式(10)：

其中A^υ和B代表拉格朗日乘子，μ代表惩罚参数。

5.根据权利要求4所述的多视数据子空间聚类方法，其特征在于：所述步骤(3)中交替迭代包括以下分步骤：

(3.1)当其他变量固定时，通过公式(11)求解变量J^υ：

用奇异值阈值算子方法求解上述问题，假设存在矩阵

则

的SVD分解为O＝C_p×r∑G_r×q，∑＝diag(σ₁，…，σ_r)，r表示矩阵O的秩，σ₁，…，σ_r是对应的奇异值，C_p×r和G_r×q代表对应正交矩阵；

对于任意的

和ζ＞0，其奇异值阈值算子为公式(12)：

根据公式(12)，变量J^υ的解得出

其中，Z^υ+[(A^υ)/(μ)]＝C_p×r∑G_r×q，∑＝diag(σ₁，…，σ_r)；

(3.2)当其他变量固定时，通过公式(13)求解变量Z^υ：

因为公式(13)中每个Z^υ是相互独立的，所以令该式对Z^υ的偏导方程为零得到，

(3.3)当其他变量固定时，通过公式(14)求解变量Q：

使用奇异值阈值算子，得到变量Q的解为

(3.4)当其他变量固定时，通过公式(15)求解变量C：

令式(15)对C的偏导方程为零得到，

因为在之前进行的低秩表示过程中得到的Z^υ为每个视特有的，而在进行最终聚类的过程中需要求得多视数据的统一子空间表示矩阵C，所以在计算过程中平等地对待每一视，将它们进行加权平均：

(3.5)根据公式(16)更新拉格朗日乘子A^υ和B：

通过以上(3.1)-(3.5)五个步骤，经过一定次数的迭代或者满足公式(17)时，得到公式(10)的解

Images