CN111553416A - 一种低秩稀疏空间子空间聚类方法 - Google Patents

Abstract

传统子空间聚类问题并没有考虑序列数据的特性，即相邻帧序列样本具有一定的相似性，针对这一问题，本发明提出了一种新的低秩稀疏空间子空间聚类方法(Low Rank and Sparse Spatial Subspace Clustering for Sequential Data，LRS3C)。该算法寻找序列数据矩阵的稀疏低秩表示，并针对序列数据特性在目标函数中引入一个惩罚项。在人工数据集、视频序列数据集和人脸图像数据集上的仿真实验表明，本发明提出的方法LRS3C具有较好的性能。

Description

一种低秩稀疏空间子空间聚类方法

技术领域

本发明属于智能信息处理技术领域，涉及时间序列数据的子空间聚类划分问题，具体来说是一种低秩稀疏空间子空间聚类方法。

背景技术

序列数据的子空间聚类问题，是计算机视觉领域中一个重要但又具有挑战性的问题。假设这类数据在时间或空间的特定点以均匀的间隔采样，也就是时间序列数据。例如，作为时间函数的视频数据具有序列结构，在该结构中，可以假设大多数帧与其相邻帧相似，直到场景发生变化。

子空间聚类是解决高维数据聚类的有效方法之一，其基本假设是高维数据往往存在于低维子空间的并集中。近年来，利用稀疏表示或低秩表示进行子空间聚类的研究受到广泛关注，并提出了一系列与之相关的新的子空间聚类算法，如稀疏子空间聚类(SSC)、低秩表示(LRR)及其变体低秩稀疏子空间聚类算法(LRSC)。这些算法的基本假设是数据是自表达的(即其子空间中的每个数据点可以表示为来自同一子空间的数据点的线性组合)。其中，基于表示矩阵核范数和L1范数最小化的LRR和SSC算法最受关注。这些算法主要是针对不连续的独立数据进行设计开发的，并没有特别考虑到处理时间序列数据的特殊性。此外，在时间序列数据的子空间聚类问题上，研究人员所做的工作并不是特别充分。

发明内容

针对上述问题，本发明通过有效利用数据序列的性质，提出了一种低秩稀疏空间子空间聚类方法(Low Rank and Sparse Spatial Subspace Clustering for SequentialData，LRS3C)。具体地说，在子空间聚类算法模型中加入了一个惩罚项来加强近邻数据的相似性。采用交替方向乘子法(ADMM)求解优化问题。在视频场景分割和人脸聚类的实际问题中，实验结果表明，该方法具有良好的性能。

一种低秩稀疏空间子空间聚类方法，包括如下步骤：

步骤1，设定目标函数作为优化问题；

步骤2，使用交替方向乘子器ADMM方法解决目标函数优化问题；首先引入两个辅助项，并得到辅助项的增广拉格朗日方程，通过固定变量，分别交替优化求解辅助项以解决优化问题；

步骤3，在解决上述优化问题后，得到数据矩阵的低秩稀疏表示系数矩阵Z，使用表示系数矩阵构造亲和图，利用谱聚类算法对亲和图进行分割，得到最终聚类结果。

进一步的，步骤1中，所述目标函数为：

s.t.X＝XZ+E

第一项是用最小二乘法测量误差E，即

相当于假设误差来自标准高斯分布，其余三项是对系数矩阵Z的约束，包括低秩稀疏光滑邻域目标，其中低秩性由||Z||_*控制，稀疏度由||Z||₁控制，平滑度由||ZR||_2，1控制，参数λ₁、λ₂和λ₃决定正则化的强度。

进一步的，目标函数中，||ZR||_2，1作为一个惩罚项来控制近邻样本数据的相似性。

进一步的，步骤2中，为进一步分离变量Z的项，引入两个辅助项S＝Z＝Z₁＝Z₂和U＝SR，然后得到引入两个辅助项的增广拉格朗日方程如下：

通过固定其他变量，分别交替优化求解Z₁,Z₂,S和U。

进一步的，步骤2中，固定变量Z₂,S和U，通过求解下列优化问题得到变量Z₁；

经过变换，该优化问题可以写成如下形式：

定义软阈值操作符π_β(X)＝(|X|-β)₊sgn(X)和奇异值软阈值操作符∏_β(X)＝Uπ_β(Σ)V^T，其中，U∑V^T是矩阵A的skinnySVD分解；

最终得Z₁的更新规则为：

进一步的，步骤2中，固定变量Z₁,S和U，通过求解下列优化问题得到变量Z₂；

经过变换，该优化问题写成如下形式：

最终得Z₂的更新规则为：

Z₂＝Z₂-diag(Z₂)

进一步的，步骤2中，固定变量Z₁,Z₂和U，通过求解下列优化问题得到变量S；

将上述目标函数关于S的导数设为零，得到：

(X^TX+(r₁+r₂)I)S+r₃SRR^T＝

X^TX+r₃UR^T+r₁Z₁+r₂Z₂+G+E+FR^T

将上述线性矩阵方程矢量化为如下形式：

其中

表示张量积。

进一步的，步骤2中，固定变量Z₁,Z₂和S，通过求解下列优化问题得到变量U；

经过变换，该优化问题写成如下形式：

令

则上述优化问题有闭式解，表示如下：

其中，U(：，i)和M(：，i)分别是U和M的第i行。

进一步的，步骤2中，变量G更新规则：

G＝G^old+r₁(Z₁-S)

变量E更新规则：

E＝E^old+r₂(Z₂-S)

变量F更新规则：

F＝F^old+r₃(U-SR)

参数r₁，r₂，r₃更新规则如下：

进一步的，所述步骤3中，具体为建立一个加权图Graph＝(v，ε，W)，其中W＝|Z|+|Z|^T，然后将谱聚类应用于亲和图，得到最终的聚类结果。

本发明的友谊效果为：

(1)本发明在算法框架中同时利用稀疏表示和低秩表示，将两种算法的优势结合在一起，保证了算法能够充分挖掘数据的全局结构信息，同时满足了后续谱聚类处理的要求。

(2)本发明针对序列数据的特点，在算法模型框架中引入了一个惩罚项来加强近邻数据样本的相似性，从而为序列数据带来更好的聚类效果。

附图说明

图1是本发明实施例中仿真实验各对比算法使用合成数据集得到的表示系数矩阵z的示例。

图2是本发明实施例中各对比算法在合成数据集上的聚类结果。

图3是本发明实施例中视频场景分割示例图：给定一系列视频帧，目的是将相似帧聚类到同一场景。

图4是本发明实施例中不同量级高斯噪声条件下视频数据集的误分类结果表。

图5是本发明实施例中人脸聚类示例图：给定一组有序的人脸图像，目标是对属于同一个体的图像进行聚类。

图6是本发明实施例中不同高斯噪声强度人脸聚类数据集的误分类结果表。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明所提出的空间序列低秩稀疏子空间聚类方法(LRS3C)的目标函数如下：

s.t.X＝XZ+E

在这项工作中，使用交替方向乘子器(ADMM)方法来解决这个优化问题。为了进一步分离变量z的项，引入了两个辅助项S＝Z＝Z₁＝Z₂和U＝SR，然后对两个引入的约束的增广拉格朗日方程如下：

通过固定其他变量，可以分别交替优化求解Z₁,Z₂,S和U。

1.固定变量Z₂,S和U，通过求解下列优化问题得到变量Z₁：

经过变换，该优化问题可以写成如下形式：

定义软阈值操作符π_β(X)＝(|X|-β)₊sgn(X)和奇异值软阈值操作符∏_β(X)＝Uπ_β(Σ)V^T，其中，U∑V^T是矩阵A的skinny SVD分解。

最终可得Z₁的更新规则为：

2.固定变量Z₁,S和U，通过求解下列优化问题得到变量Z₂：

经过变换，该优化问题可以写成如下形式：

最终可得Z₂的更新规则为：

Z₂＝Z₂-diag(Z₂)

3.固定变量Z₁,Z₂和U，通过求解下列优化问题得到变量S：

将上述目标函数关于S的导数设为零，可以得到：

(X^TX+(r₁+r₂)I)S+r₃SRR^T＝

X^TX+r₃UR^T+r₁Z₁+r₂Z₂+G+E+FR^T

可以将上述线性矩阵方程矢量化为如下形式：

其中

表示张量积。

4.固定变量Z₁,Z₂和S，通过求解下列优化问题得到变量U：

经过变换，该优化问题可以写成如下形式：

令

则上述优化问题有闭式解，表示如下：

其中，U(：，i)和M(：，i)分别是U和M的第i行。

5.变量G更新规则：

G＝G^old+r₁(Z₁-S)

6.变量E更新规则：

E＝E^old+r₂(Z₂-S)

7.变量F更新规则：

F＝F^old+r₃(U-sR)

8.参数r₁，r₂，r₃更新规则如下：

在解决上述优化问题后，得到数据矩阵的低秩稀疏表示系数矩阵。下一步是使用表示系数矩阵构造亲和图，利用谱聚类算法对亲和图进行分割，得到最终聚类结果。本实施例中建立一个加权图Graph＝(v，ε，W)，其中W＝|Z|+|Z|^T，然后将谱聚类应用于亲和图，得到最终的聚类结果。

通过仿真实验，评估LRS3C算法在三个数据集上的性能。首先在一个合成数据集上对其进行测试，然后在两个真实数据集上对其在视频场景分割和人脸聚类两个计算机视觉常见任务上的性能进行评估。

本实施例使用子空间聚类误差

作为聚类算法性能的评价指标。

此外评估了所提出的LRS3C算法在加入额外噪声时的稳健性。在本实施例中，加入了均值和单位方差为零的高斯噪声。给出了该算法在不同噪声强度下的性能。使用峰值信噪比(PSNR)衡量噪声水平，其定义为

其中I是无噪声数据，K是有噪声近似值，S是I中的元素的最大可能值。PSNR值的降低表明噪声量的增加。由于上式的分母在无噪声情况下为0，将PSNR标记为“Max”。实验中给出的PSNR值为平均值。

实验1：人工数据集实验。

本组实验创建了六个两两不相交的子空间，每个子空间的维数为4，并从每个子空间中抽取20个样本(样本维数为200)组成人工数据集。利用高斯噪声对数据集进行破坏，并评估本文提出的LRS3C算法和对比算法OSC、SpatSC、LRR和SSC的聚类性能。每组实验重复了50次。

图1提供了各对比算法得到的表示系数矩阵Z的可视化比较，并在图2中给出了这些亲合矩阵的聚类精度的结果。实验中，加入了20％量级的高斯噪声。可以看到，所提出的LRS3C算法提供了更多的块状表示系数矩阵，这意味着它比其他方法包含更强的类内权值和更多的类内权值。可视化聚类结果也表明了本发明提出的LRS3C在实验中得到了最佳分割。另外两种矩阵算法OSC和SpatSC算法对序列数据也都得到了很好的分割，但是LRR和SSC算法则存在误分类的问题。

实验2：视频场景分隔。

在本组实验中，评估LRS3C算法在视频场景分割方面的性能，其目的是从视频序列中分割单个场景。测试视频序列是从两个短动画中提取出来的。图3提供了要分割的序列的示例。序列的长度约为10秒(约300帧)，每个序列由三个场景组成。视频1和视频2分别包括19和24个序列。要分割的场景可以包含对象的意义或变形，以及透视或相机视角的变换。人工采集场景变化(或关键帧)形成真实数据。

为了满足测试要求，将彩色视频转换成灰度视频序列，采样分辨率为129×96。序列中的每一帧被矢量化为x_i∈R¹²³⁸⁴，并与连续帧连接形成数据矩阵X∈R^12384×300。

为了满足测试要求，将彩色视频转换成灰度视频序列，采样分辨率为129×96。序列中的每一帧被矢量化为x_i∈R¹²³⁸⁴，并与连续帧连接形成数据矩阵X∈R^12384×300。

当视频序列被不同程度的高斯噪声污染时，评估了各算法的聚类性能。图4提供了聚类结果。从表中可以清楚地看出，在大多数情况下，LRS3C优于其他方法。当噪声增大时，与其它方法相比，本发明提出的LRS3C算法的误差率始终较低。这表明该方法具有较好的鲁棒性。

实验3：人脸聚类。

在本组实验中，评估了LRS3C在人脸图像聚类中的性能，其目的是从一组人脸图像中分割或聚类到不同的个体。虽然人脸聚类问题并不完全符合对序列数据的假设。但是可以使用人脸图像的空间信息，因为每个数据向量的邻居可能属于同一类。从扩展的YaleB数据集[14]中提取数据。该数据集由38名受试者在不同光照下的大约64张照片组成。图5提供了数据集的图像样本示例。对于每次实验，从数据集中随机选择3名受试者，并在每个受试者中随机排列图像的序列。在实验中，将图像重采样到42*48形成数据向量x_i∈R²⁰¹⁶并连接在一起，以确保受试者不会混合。

在不同的高斯噪声水平下重复了50次实验。各算法聚类结果如图6所示。

从图6可以看出，在大多数情况下，LRS3C优于所有其他方法。随着噪声强度的增加，算法的精度不断下降。与其他方法相比，本发明的方法更稳定，表现更可预测，尤其是在噪声较大的情况下。这证明了本方法在实际应用中更有效。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (10)

1.一种低秩稀疏空间子空间聚类方法，其特征在于：包括如下步骤：

步骤1，设定目标函数作为优化问题；

步骤2，使用交替方向乘子器ADMM方法解决目标函数优化问题；首先引入两个辅助项，并得到辅助项的增广拉格朗日方程，通过固定变量，分别交替优化求解辅助项以解决优化问题；

步骤3，在解决上述优化问题后，得到数据矩阵的低秩稀疏表示系数矩阵Z，使用表示系数矩阵构造亲和图，利用谱聚类算法对亲和图进行分割，得到最终聚类结果。

2.根据权利要求1所述的一种低秩稀疏空间子空间聚类方法，其特征在于：步骤1中，所述目标函数为：

s.t.X＝XZ+E

第一项是用最小二乘法测量误差E，即

相当于假设误差来自标准高斯分布，其余三项是对系数矩阵Z的约束，包括低秩稀疏光滑邻域目标，其中低秩性由||Z||_*控制，稀疏度由||Z||₁控制，平滑度由||ZR||_2,1控制，参数λ₁、λ₂和λ₃决定正则化的强度。

3.根据权利要求2所述的一种低秩稀疏空间子空间聚类方法，其特征在于：目标函数中，||ZR||_2,1作为一个惩罚项来控制近邻样本数据的相似性。

4.根据权利要求1所述的一种低秩稀疏空间子空间聚类方法，其特征在于：步骤2中，为进一步分离变量Z的项，引入两个辅助项S＝Z＝Z₁＝Z₂和U＝SR，然后得到引入两个辅助项的增广拉格朗日方程如下：

通过固定其他变量，分别交替优化求解Z₁，Z₂，S和U。

5.根据权利要求4所述的一种低秩稀疏空间子空间聚类方法，其特征在于：步骤2中，固定变量Z₂，S和U，通过求解下列优化问题得到变量Z₁；

经过变换，该优化问题可以写成如下形式：

定义软阈值操作符π_β(X)＝(|X|-β)+sgn(X)和奇异值软阈值操作符Π_β(X)＝Uπ_β(∑)V^T，其中，U∑V^T是矩阵A的skinnySVD分解；

最终得Z₁的更新规则为：

6.根据权利要求4所述的一种低秩稀疏空间子空间聚类方法，其特征在于：步骤2中，固定变量Z₁，S和U，通过求解下列优化问题得到变量Z₂；

经过变换，该优化问题写成如下形式：

最终得Z₂的更新规则为：

Z₂＝Z₂-diag(Z₂)

7.根据权利要求4所述的一种低秩稀疏空间子空间聚类方法，其特征在于：步骤2中，固定变量Z₁，Z₂和U，通过求解下列优化问题得到变量S；

将上述目标函数关于S的导数设为零，得到：

(x^TX+(r₁+r₂)I)S+r₃SRR^T＝

X^TX+r₃UR^T+r₁Z₁+r₂Z₂+G+E+FR^T

将上述线性矩阵方程矢量化为如下形式：

其中

表示张量积。

8.根据权利要求4所述的一种低秩稀疏空间子空间聚类方法，其特征在于：步骤2中，固定变量Z₁，Z₂和S，通过求解下列优化问题得到变量U；

经过变换，该优化问题写成如下形式：

令

则上述优化问题有闭式解，表示如下：

其中，U(：，i)和M(：，i)分别是U和M的第i行。

9.根据权利要求4所述的一种低秩稀疏空间子空间聚类方法，其特征在于：步骤2中，变量G更新规则：

G＝G^old+r₁(Ｚ₁-S)

变量E更新规则：

E＝E^old+r₂(Z₂-S)

变量F更新规则：

F＝F^old+r₃(U-SR)

参数r₁，r₂，r₃更新规则如下：

10.根据权利要求1所述的一种低秩稀疏空间子空间聚类方法，其特征在于：所述步骤3中，具体为建立一个加权图Graph＝(v，ε，W)，其中W＝|Z|+|Z|^T，然后将谱聚类应用于亲和图，得到最终的聚类结果。

Images