CN108171279B - 一种多视角视频自适应乘积Grassmann流形子空间聚类方法 - Google Patents

Abstract

本发明公开了一种多视角视频自适应乘积Grassmann流形子空间聚类方法，本方法主要针对多视角视频序列聚类存在的上述问题，以期在较大规模的视频序列数据库上获得良好的聚类效果。首先，针对视频序列数据，提出并实现能够反映数据时空特征的PGM表示方法。其次，在PGM上建立自表示模型，并有效地融合不同视角之间的一致性和差异性信息。最后，解决自适应调节模型参数的问题，使之适用于实际场景中不同类型的数据。本发明所提出的方法在此数据库上具有比较好的实验结果。

Description

一种多视角视频自适应乘积Grassmann流形子空间聚类方法

技术领域

本发明是一种机器学习的子空间聚类方法，特别适用于多视角视频序列的聚类问题。

背景技术

聚类分析是数据分析的重要方法之一，其中，子空间聚类假设数据空间由一组子空间的并组成，而相同类别的数据可以被同一子空间的数据所表示。现有子空间聚类方法主要分为四类：迭代聚类方法、代数聚类方法、统计聚类方法和谱聚类方法，这些方法在许多实际问题上都得到了广泛的应用，并取得了良好的实验效果。对于谱聚类方法，稀疏和低秩子空间聚类方法能够较好地处理样本中存在的噪声和离群点，因此近年来成为了计算机视觉、信号处理、模式识别等领域的研究热点和主流方法。

低秩表示方法(Low Rank Representation，LRR)认为存在一个字典，使得样本在该字典上的表示具有低秩特性。由于字典学习的代价非常高，因此有研究者提出了使用样本自身作为字典，形成了自表示的LRR模型。利用低秩表示系数构建相似度矩阵，并基于相似度矩阵可利用常用的谱聚类方法完成聚类。

现实世界存在大量未标注的无序的视频序列，针对这些高维非结构化的数据，基于欧氏距离度量样本之间相似性的聚类方法已不再适用。流形学习理论证明了许多高维数据都存在潜在的低维流形结构，其中Grassmann流形因其良好的表示性能受到了广泛的关注。传统利用正交子空间构建Grassmann流形表示的方法，将每个视频序列作为图像集，并向量化得到原始数据矩阵，然后对原始矩阵进行奇异值分解(Singular ValueDecomposition，SVD)，提取前p个左奇异向量得到Grassmann点。考虑到高维视频序列内在的非线性结构，相关研究尝试将流形表示与低秩表示模型结合，提出了Grassmann流形上低秩表示(Grassmann LRR，GLRR)方法。在该方法中，为了解决欧氏空间的度量不能直接应用在流形空间上，因此采用了一种基于对称矩阵映射的嵌入策略，将流形上的点嵌入到欧氏空间中，从而利用欧氏空间的度量实现流形空间的度量。

在实际应用中，许多数据可以通过不同的视角观测或者不同的特征描述(如：灰度特征，深度特征，HOG特征等)，每个视角或每个特征都可以作为一个视图，这些数据通常被称为多视角数据，这些数据包含了不同视角之间的一致性和差异性信息。对于多视角视频序列，可以采用不同的流形分别表示其采样数据，将复杂数据表示为乘积Grassmann流形(Product Grassmann manifold，PGM)，为了实现乘积Grassmann流形上的度量，通常可以利用多流形距离加权和的形式并得到PGM上的LRR(Product Grassmann LRR，PGLRR)模型。

GLRR和PGLRR方法在一些常见的数据库上取得了良好的聚类效果，证明了多视角数据流形表示与LRR模型结合的可行性。但这只是一些初步的探索，关于多视角视频序列的流形表示和模型建立，还存在许多需要解决的问题，主要包括：

1、视频序列的流形表示问题。上述的正交子空间表示方法通常针对静态和简单的矢量数据，这种做法没有考虑视频图像帧的时间连续性，从而使聚类效果不够理想。适当的流形表示应被用于保持数据的非线性结构，避免破坏视频序列中的时空信息。

2、相似度矩阵的构建问题。现有的多视角聚类工作大多倾向于对多视角数据各个视图之间的系数矩阵进行一致性约束，学习一个共同的表示，而忽视了不同视角的差异性和互补性。为了构造一个理想的相似度矩阵，有效地融合多视角数据的一致性和差异性是至关重要的。

3、参数调节问题。针对一个复杂的模型进行参数调节是十分耗时且缺乏理论依据的，因此如何自适应地学习模型参数，实现高效的算法求解，是我们关注的一个重点问题。

发明目的

针对多视角视频序列聚类存在的上述问题，本发明提出一种多视角视频序列的自适应乘积Grassmann流形子空间聚类(Adaptively Weighted Multi-view SubspaceClustering on PGM，AWMSCPGM)方法，以期在较大规模的视频序列数据库上获得良好的聚类效果。首先，针对视频序列数据，提出并实现能够反映数据时空特征的PGM表示方法。其次，在PGM上建立自表示模型，并有效地融合不同视角之间的一致性和差异性信息。最后，解决自适应调节模型参数的问题，使之适用于实际场景中不同类型的数据。

S1.视频序列的PGM表示

采用线性动态系统(Linear Dynamic System，LDS)构建视频序列的Grassmann流形。LDS是一个平稳的二阶高斯随机过程，假设存在一个具有F帧的视频序列

序列的每一帧图像

都是LDS的输出，其中，d是每帧图像的特征维度，

表示该图像数据具有d维特征。则LDS模型有如下形式：

其中，

是t时刻的隐藏状态，p为系统的阶数(p≤F)；

是投影矩阵，表示隐藏状态s(t)到LDS输出y(t)的映射过程；

是状态转换矩阵，表示隐藏状态s(t)到s(t+1)的转换过程；

和

分别是测量高斯噪声和过程高斯噪声。为了求解LDS模型，将给定的图像帧矩阵Y做SVD分解，得到：

Y＝{y(1)，y(2)，…，y(F)}＝U∑V^T， (2)

在上式(2)中，U是左奇异矩阵，V是右奇异矩阵，∑是对角矩阵，对角矩阵的对角线元素是奇异值。LDS的参数进一步被估计为：

C＝U，S＝∑V^T， (3)

在式(3)中，S＝[s(1)，s(2)，…，s(F)]是被估计的系统的状态矩阵。获得状态序列之后，矩阵R通过最小二乘法求解得到：

其中，

表示矩阵的伪逆。LDS的投影矩阵C构造了视频图像的表面特征，状态转换矩阵R反映了序列的时间动态。因此，对于一个视频序列，使用数组(R，C)能够描述数据的时空特性。

对于N个多视角视频序列样本

每个样本

都有M个不同的视角，即：

其中

表示第i个样本第m个视角的数据。采用LDS的方法对每个

构建Grassmann流形，通过式(2)-式(4)估计其模型参数

和

采用扩展矩阵

构建Grassmann流形上的点，即

其中，d_m、p_m和L_m分别是第m个视角的特征维度、系统维度和截断参数。每个样本

在PGM上的点被表示为：

S2.自适应一致性和差异性约束的PGM上的自表示模型

对于PGM上的点

构建PGM上的自表示模型，同时加入了不同视角之间的一致性和差异性约束：

其中，

和

分别是一致性和差异性约束；λ₁、λ₂和λ₃是平衡参数；(·)_×4是张量的模-4乘积；

表示PGM上的度量；E是样本的重构误差；Z是样本的系数表示矩阵；

是一个四阶张量，基于对称矩阵映射的嵌入策略，每个

被表示为：

根据Grassmann的嵌入距离，得到关于式(6)的PGM上的度量形式：

其中，||·||_F表示矩阵的F范数；

是第m个视角系数表示矩阵Z^m的第i，j个元素。考虑到不同的视角具有不同的判别能力，为每个视角m设置了一个权值

式(7)被改写为一个权重的重构误差：

由于权重对聚类效果的影响很大，且调节多个参数是十分困难的，因此提出了学习

的自适应机制：

为了保护数据内在的局部流形结构，引入自表示稀疏的局部相似性约束：

其中，a_i是相似度矩阵

的第i列数据；式(10)的条件约束s.t.中的1是一个所有元素均为1的列向量；a_ij表示第i个和第j个数据点的相似度与它们表示

和

的相似度在所有视角的一致性。进一步对相似度矩阵A进行正则化约束得到：

其中，λ′₂是一个平衡参数；拉普拉斯矩阵L_A＝D_A-A；对角块矩阵D_A的对角元素为

Z^m是第m个视角样本的表示矩阵。再利用如下自适应权重的一致性约束，构建了一个更有判别力的相似度矩阵A：

在式(12)中，λ′₂和一致性约束的参数被自适应权重吸收和替换了，进而得到一个更加直观的形式：

其中，

被定义为：

对于多视角聚类任务，只考虑所有视角的一致性约束是不充分的，不同视角之间的互补性信息也应该被利用。为此，采用施密特-希尔伯特独立准则(Hilbert-SchmidtIndependence Criterion，HSIC)来描述不同视角之间的差异性，对于不同视角的表示系数，一种经验版本的HSIC被估计为：

DH(Z^m，Z^v)＝(N-1)^-2tr(K^mHK^vH)， (15)

其中，K^m，K^v分别是Z^m，Z^v的核矩阵；H＝I-(1/n)ee^T，I是单位矩阵，e表示元素值全为1的列向量。为了更好地利用不同视角之间的差异互补性信息，定义一个可以自动更新权重的自适应差异性约束，记作：

其中，

表示Z^m和Z^v之间的差异程度。

被定义为：

将上述式(8)、式(13)和式(16)结合起来，即可得到最终的目标函数：

S3.PGM上的子空间聚类方法

在获得相似度矩阵A的基础上，通过(A+A^T)/2构建一个对称的相似度矩阵，然后将其作为输入，利用NCut、K-means等聚类方法实现聚类。

S4.AWMSCPGM模型的优化求解

根据增广拉格朗日乘子法结合交替方向最小化策略对式(18)进行优化求解。为了方便计算，首先对式(18)化简，令：

则有

从而，M个N×N的对称矩阵被定义为：

Δ^m是一个半正定矩阵，对Δ^m进行谱分解得到Δ^m＝U^m∑^m(U^m)^T，其中，(U^m)^TU^m＝I；

是一个对角线元素为非负特征值

的对角矩阵。通过以上分析，式(18)的重构误差项可以被改写为：

为简便计算，忽略式(15)中的比例因子(N-1)^-2，同时使用内积核K^m＝(Z^m)^TZ^m表示Z^m的核矩阵。故式(18)中的差异性约束被重写为：

其中，

最后，引入辅助变量J^m，且令J^m＝Z^m，将式(18)的增广拉格朗日函数定义为：

其中，F^m是拉格朗日乘子，μ＞0是一个惩罚参数。式(22)通过一种交替迭代的方式求解：

1)固定其他变量更新Z^m；

将式(23)关于Z^m的导数设置为零，得到如下形式的封闭解：

2)固定其他变量更新J^m；

类似于更新Z^m，对每个J^m求导并令其偏导方程为零，得到变量J^m

的优化解：

3)固定其他变量更新A；

将(27)式分解为关于A的列向量的一系列独立子问题：

上式中，d_i∈R^N的第j个元素被记作：

其中，

表示K^m的第i列数据。变量A第i列封闭形式的解为：

其中，(·)₊确保了括号中所有的元素都是正值，参数k控制了样本最近邻的数量，

表示d_i按照升序排列后所得向量中的元素。

4)更新

和

根据式(9)、式(14)和式(17)，分别更新权重

和

5)更新F^m和μ；

其中，ρ是更新的步长。反复重复以上1)-5)五个步骤，直到达到收敛条件

f(l)是第l次迭代目标函数的值。

附图说明

图1为AWMSCPGM方法的整体框架。

具体实施方式

如图1所示为AWMSCPGM方法的整体框架。图1中，视频序列数据首先被表示为多视角特征，基于LDS模型构造多个Grassmann流形，并将多个流形整合成一个乘积Grassmann流形(PGM)，然后根据所提出的在PGM上的自表示模型和自适应的一致性和差异性约束，学习一个相似度矩阵。最后在相似度矩阵的基础上通过谱聚类方法(如：Ncut)获得聚类结果。

在UCSD交通视频库，SKIG手势库和UCF运动库三个数据库上进行了验证，并与欧氏空间的多视角聚类算法DiMSC、MLAN和ECMSC，流形空间的单视角聚类算法SCGSM，以及乘积流形空间的多视角聚类算法PGLRR进行了对比。实验采用准确度(ACC)、归一化互信息(NMI)、校正随机指数(AR)、F-分数(F-score)、精确度(Precision)和召回率(Recall)六种指标对聚类效果进行评价。每一个数据库被重复20次实验，取其平均值作为最终结果，且最优值用粗体标识。其中参数k通过一些预试验来选择最优值。为了验证不同视角之间的一致性和差异性约束对多视角数据的聚类均具有积极影响，提出了三种实验方法。AWMSCPGM表示本文所提出的算法，AWMSCPGM_c相比于AWMSCPGM只利用了一致性信息，而AWMSCPGM_d则只利用了差异性信息。

1.在公路交通库上的聚类效果

这个数据库包含254个公路交通视频序列，被标注为三个类，每个序列从42到52帧不等。这些帧被转换为灰度图像，图像尺寸统一为36×36大小。实验利用1296维灰度、2304维HOG和512维GIST特征作为这个数据库的三个不同视角的数据，得到的聚类效果如表1所示。

表1在公路交通数据库上的聚类效果

由表1可以看出，本发明所提出的方法，视频序列聚类效果得到极大提升。

2.在SKIG手势库上的聚类效果

这个数据库包含了1080个RGB-D视频序列，从63到605帧不等，来自于十个类。分别从每个类中选取了54个样本，构成了一个包含540个样本的序列子集，并采用768维的灰度、768维的深度、1260维的HOG和1600维的Gabor特征来表示这个数据库四个不同的视角。所有的视频图像帧均下采样至24×32大小，聚类结果如表2所示。

表2在SKIG手势库上的聚类效果

由表2可以看出，本发明所提出的方法在此数据库上具有最好的实验结果。

3.在UCF运动库上的聚类效果

这个数据库包括150个视频动作序列，分别从22到144帧不等，来自于十个不同的类别。将所有视频图像帧下采样至30×30大小，使用900维的灰度、900维的HOG、2000维的Gabor和512维的GIST特征作为这个数据库视频序列不同视角的数据，其实验结果如表3所示。

表3在UCF运动库上的聚类效果

由表3可看出，提出的AWMSCPGM算法在此数据库上的聚类效果仍优于其他对比算法，这进一步说明了融合不同视角数据的一致性和差异性信息是可行且必要的。

Claims (1)

1.一种多视角视频自适应乘积Grassmann流形子空间聚类方法，其特征在于：

首先，针对视频序列数据，提出并实现能够反映数据时空特征的PGM表示方法；其次，在PGM上建立自表示模型，并有效地融合不同视角之间的一致性和差异性信息；最后，解决自适应调节模型参数的问题，使之适用于实际场景中不同类型的数据；

S1.视频序列的PGM表示

采用线性动态系统LDS构建视频序列的Grassmann流形；LDS是一个平稳的二阶高斯随机过程，假设存在一个具有F帧的视频序列

序列的每一帧图像

都是LDS的输出，其中，d是每帧图像的特征维度，

表示该图像数据具有d维特征；则LDS模型有如下形式：

其中，

是t时刻的隐藏状态，p为系统的阶数(p≤F)；

是投影矩阵，表示隐藏状态s(t)到LDS输出y(t)的映射过程；

是状态转换矩阵，表示隐藏状态s(t)到s(t+1)的转换过程；

和

分别是测量高斯噪声和过程高斯噪声；为了求解LDS模型，将给定的图像帧矩阵Y做SVD分解，得到：

Y＝{y(1)，y(2)，…，y(F)}＝UΣV^T， (2)

在上式(2)中，U是左奇异矩阵，V是右奇异矩阵，∑是对角矩阵，对角矩阵的对角线元素是奇异值；LDS的参数进一步被估计为：

C＝U，S＝ΣV^T， (3)

在式(3)中，S＝[s(1)，s(2)，…，s(F)]是被估计的系统的状态矩阵；获得状态序列之后，矩阵R通过最小二乘法求解得到：

其中，

表示矩阵的伪逆；LDS的投影矩阵C构造了视频图像的表面特征，状态转换矩阵R反映了序列的时间动态；因此，对于一个视频序列，使用数组(R，C)能够描述数据的时空特性；

对于N个多视角视频序列样本

每个样本

都有M个不同的视角，即：

其中

表示第i个样本第m个视角的数据；采用LDS的方法对每个

构建Grassmann流形，通过式(2)-式(4)估计其模型参数

和

采用扩展矩阵

构建Grassmann流形上的点，即

其中，d_m、p_m和L_m分别是第m个视角的特征维度、系统维度和截断参数；每个样本

在PGM上的点被表示为：

S2.自适应一致性和差异性约束的PGM上的自表示模型

对于PGM上的点

构建PGM上的自表示模型，同时加入了不同视角之间的一致性和差异性约束：

其中，

和

分别是一致性和差异性约束；λ₁、λ₂和λ₃是平衡参数；(·)_×4是张量的模-4乘积；

表示PGM上的度量；E是样本的重构误差；Z是样本的系数表示矩阵；

是一个四阶张量，基于对称矩阵映射的嵌入策略，每个

被表示为：

根据Grassmann的嵌入距离，得到关于式(6)的PGM上的度量形式：

其中，||·||_F表示矩阵的F范数；

是第m个视角系数表示矩阵Z^m的第i，j个元素；考虑到不同的视角具有不同的判别能力，为每个视角m设置了一个权值

式(7)被改写为一个权重的重构误差：

由于权重对聚类效果的影响很大，且调节多个参数是十分困难的，因此提出了学习

的自适应机制：

为了保护数据内在的局部流形结构，引入自表示稀疏的局部相似性约束：

其中，a_i是相似度矩阵

的第i列数据；式(10)的条件约束s.t.中的1是一个所有元素均为1的列向量；a_ij表示第i个和第j个数据点的相似度与它们表示

和

的相似度在所有视角的一致性；进一步对相似度矩阵A进行正则化约束得到：

其中，λ′₂是一个平衡参数；拉普拉斯矩阵L_A＝D_A-A；对角块矩阵D_A的对角元素为

Z^m是第m个视角样本的表示矩阵；再利用如下自适应权重的一致性约束，构建了一个更有判别力的相似度矩阵A：

在式(12)中，λ′₂和一致性约束的参数被自适应权重吸收和替换了，进而得到一个更加直观的形式：

其中，

被定义为：

对于多视角聚类任务，只考虑所有视角的一致性约束是不充分的，不同视角之间的互补性信息也应该被利用；为此，采用施密特-希尔伯特独立准则HSIC来描述不同视角之间的差异性，对于不同视角的表示系数，一种经验版本的HSIC被估计为：

DH(Z^m，Z^v)＝(N-1)^-2tr(K^mHK^vH)， (15)

其中，K^m，K^v分别是Z^m，Z^v的核矩阵；H＝I-(1/ n)ee^T，I是单位矩阵，e表示元素值全为1的列向量；为了更好地利用不同视角之间的差异互补性信息，定义一个可以自动更新权重的自适应差异性约束，记作：

其中，

表示Z^m和Z^v之间的差异程度；

被定义为：

将上述式(8)、式(13)和式(16)结合起来，即可得到最终的目标函数：

S3.PGM上的子空间聚类方法

在获得相似度矩阵A的基础上，通过(A+A^T)/2构建一个对称的相似度矩阵，然后将其作为输入，利用NCut或K-means聚类方法实现聚类；

S4.AWMSCPGM模型的优化求解

根据增广拉格朗日乘子法结合交替方向最小化策略对式(18)进行优化求解；为了方便计算，首先对式(18)化简，令：

则有

从而，M个N×N的对称矩阵被定义为：

Δ^m是一个半正定矩阵，对Δ^m进行谱分解得到Δ^m＝U^m∑^m(U^m)^T，其中，(U^m)^TU^m＝I；

是一个对角线元素为非负特征值

的对角矩阵；通过以上分析，式(18)的重构误差项被改写为：

为简便计算，忽略式(15)中的比例因子(N-1)^-2，同时使用内积核K^m＝(Z^m)^TZ^m表示Z^m的核矩阵；故式(18)中的差异性约束被重写为：

其中，

最后，引入辅助变量J^m，且令J^m＝Z^m，将式(18)的增广拉格朗日函数定义为：

其中，F^m是拉格朗日乘子，μ＞0是一个惩罚参数；式(22)通过一种交替迭代的方式求解：

1)固定其他变量更新Z^m；

将式(23)关于Z^m的导数设置为零，得到如下形式的封闭解：

2)固定其他变量更新J^m；

类似于更新Z^m，对每个J^m求导并令其偏导方程为零，得到变量J^m的优化解：

3)固定其他变量更新A；

将(27)式分解为关于A的列向量的一系列独立子问题：

上式中，d_i∈R^N的第j个元素被记作：

其中，

表示J^m的第i列数据；变量A第i列封闭形式的解为：

其中，(·)₊确保了括号中所有的元素都是正值，参数k控制了样本最近邻的数量，

表示d_i按照升序排列后所得向量中的元素；

4)更新

和

根据式(9)、式(14)和式(17)，分别更新权重

和

5)更新F^m和μ；

其中，ρ是更新的步长；反复重复以上1)-5)五个步骤，直到达到收敛条件

f(l)是第l次迭代目标函数的值。

Images