CN110378365A - 一种基于联合子空间学习的多视图子空间聚类方法 - Google Patents

Abstract

本发明公开了一种基于联合子空间学习的多视图子空间聚类方法，通过构建基于联合子空间学习的多视图子空间聚类的目标函数，寻找不同视图数据特征的低维嵌入空间，从而对原始特征进行转换和融合，减轻了原始数据噪音的影响；并在低维嵌入空间进行数据自重构学习，寻求所有视图一致的低秩稀疏自重构系数矩阵，从而获得数据更为准确的相似关系，增强算法的鲁棒性。本发明方法通过将联合子空间学习与数据自重构学习统一到一个优化框架中，并用交替优化的方法求解，两者相互增强，从而极大地增强子空间聚类性能。

Description

一种基于联合子空间学习的多视图子空间聚类方法

技术领域

本发明涉及计算机视觉和模式识别技术领域，更具体地，涉及一种基于联合子空间学习的多视图子空间聚类方法。

背景技术

相对于单一视图聚类方法，多视图学习通过利用不同视图之间的互补性信息与一致性信息，获得对数据更加全面且准确的表示，因此基于多视图特征的学习模型通常可以取得更好的聚类性能。

多视图聚类通常可以分为基于多图融合的方法和基于子空间聚类的方法。基于多图融合的方法首先对每个视图构造局部邻接图，计算边权重用于表征数据之间的相似关系，然后将所有视图对应的邻接图融合成一个新图，通过综合利用不同视图之间的信息，从而取得较好的聚类结果。但基于多图融合的方法对于带噪音的数据表现不佳，鲁棒性较差。基于子空间聚类的方法首先通过对不同视图数据进行自重构，在低秩或稀疏假设下对自重构稀疏矩阵施加低秩约束或稀疏约束，然后将多个自重构稀疏矩阵经过不同的处理得到一个共享的亲和矩阵，用于表征数据的相似性，最后通过谱聚类算法获得最终的聚类结果。但由于目前的基于子空间聚类的方法通常在数据的原始空间进行自重构，因此严重依赖于原始特征的质量，不能很好地进行多视图特征融合。

发明内容

本发明为解决现有的多视图聚类方法由于依赖于原始特征的质量，影响聚类效果的问题，提供了一种基于联合子空间学习的多视图子空间聚类方法。

为实现以上发明目的，而采用的技术手段是：

一种基于联合子空间学习的多视图子空间聚类方法，包括以下步骤：

S1.获取原始数据集的多视图特征矩阵；

S2.构建基于联合子空间学习的多视图子空间聚类的目标函数；

S3.采用交替优化的方法求解所述目标函数，得到多视图之间共享的自表示系数矩阵；

S4.对所述的自表示系数矩阵进行非负对称化处理得到多视图数据特征的亲和矩阵，最后利用谱聚类算法得到聚类结果。

上述方案中，通过对多视图的数据特征构建基于联合子空间学习的多视图子空间聚类的目标函数，寻找所有视图数据特征的低维嵌入空间，减少了原始特征噪音的影响，并在低维嵌入空间进行数据自重构，采用交替优化的方法求解目标函数获得准确的自表示系数矩阵，基于自表示系数矩阵得到亲和矩阵作为谱聚类算法的输入，从而得到准确的聚类结果。

优选的，所述步骤S1具体为：

对于所述原始数据集中的每个多视图图像，分别提取不同类型的数据特征，将其中相同类型的数据特征组成本视图的特征矩阵，将所有视图的特征矩阵组成原始数据集的多视图特征矩阵其中表示原始数据集中的第v个视图特征矩阵，m_v表示第v个视图的数据特征的维度，n表示第v个视图的数据特征的个数；其中V≥2，表示多视图的数目。

优选的，所述步骤S2的具体步骤为：

S2.1.对多视图的数据特征进行联合子空间学习，寻找多视图数据特征的低维嵌入空间，即Y^(v)＝P^(v)TX^(v)，v＝1,...,V，其中为视图v的投影矩阵，d为所述低维嵌入空间的维度，约束P^(v)为正交矩阵P^(v)TP^(v)＝I，为视图v的数据特征在低维嵌入空间中的特征矩阵；

S2.2.在所述低维嵌入空间中，对多视图的数据特征进行重构学习，即Y^(v)＝Y^(v)Z^(v)+E^(v)，其中，Z^(v)为第v个视图的数据特征的自表示系数矩阵，E^(v)为第v个视图的数据特征的重构误差矩阵；

S2.3.构造多视图数据特征的自表示系数矩阵的低秩约束项和稀疏约束项：||Z^(v)||_*和||Z^(v)||₀≤T₀，其中||·||_*表示自表示系数矩阵的核范数，||·||₀表示自表示系数矩阵的l₀范数，T₀为稀疏度；其中所有视图的自表示系数矩阵一致，即所有视图之间共享自表示系数矩阵，Z⁽¹⁾＝Z⁽²⁾＝...Z^(V)＝Z；

S2.4.构造多视图的数据特征的重构误差稀疏项||E^(v)||_2,1，其中||·||_2,1表示矩阵l_2,1范数；

S2.5.构建基于联合子空间学习的多视图子空间聚类的目标函数：

s.t.P^(v)TX^(v)＝P^(v)TX^(v)Z+E^(v),P^(v)TP^(v)＝I,‖Z‖₀≤T₀,v∈[V]

其中α为平衡因子，α＞0，Z为所有视图之间共享的自表示系数矩阵，表征多视图的数据特征之间的相似关系。

在本优选方案中，通过构建基于联合子空间学习的多视图子空间聚类的目标函数，寻找不同视图数据特征的低维嵌入空间，从而对原始特征进行转换和融合，减轻了原始数据噪音的影响，增强了本发明方法的鲁棒性。

优选的，步骤S3中所述的采用交替优化的方法求解所述目标函数的具体步骤为：

S3.1.添加松弛变量J和W将所述目标函数松弛为：

s.t.P^(v)TX^(v)＝P^(v)TX^(v)Z+E^(v),P^(v)TP^(v)＝I,

Z＝J,Z＝W,‖W‖₀≤T₀,v∈[V]

其中α为平衡因子，α＞0，Z为所有视图之间共享的自表示系数矩阵，表征多视图的数据特征之间的相似关系；

S3.2.采用交替优化的方法求解步骤S3.1中添加了松弛变量J和W的目标函数；固定对Z进行优化，从而导出增广拉格朗日函数：

其中<·,·>表示矩阵内积，||·||_F表示矩阵F范数，μ为惩罚因子，Y₂,Y₃为拉格朗日乘子，交替优化所述增广拉格朗日函数中的所有变量直至收敛；

S3.3.根据步骤S3.2优化得到的自表示系数矩阵Z，固定住Z更新投影矩阵将步骤S3.2中的目标函数转换为：

其中Tr(·)表示矩阵的迹，M^(v)为对角矩阵，对角矩阵中元素的计算为：

投影矩阵P^(v)通过特征分解求得：X^(v)(I-Z)M^(v)(I-Z)^TX^(v)Tp^(v)＝ηp^(v)；

S3.4.通过重复执行步骤S3.2和S3.3交替优化变量Z和直到达到收敛条件或最大迭代次数。

在本优选方案中，通过在低维嵌入空间进行自重构学习，获得对视图数据之间更为本质且准确的相似关系矩阵。

优选的，步骤S3.2中所述的交替优化所述增广拉格朗日函数中的所有变量直至收敛，具体步骤为：

S3.2.1.初始化J＝Z＝E^(v)＝Y₁ ^(v)＝Y₂＝Y₃＝0，μ＝1e-2，μ_max＝1e6，ρ＝1.2；

S3.2.2.固定增广拉格朗日函数中的其它变量，更新J：

S3.2.3.固定增广拉格朗日函数中的其它变量，更新Z：

S3.2.4.固定增广拉格朗日函数中的其它变量，更新W：

S3.2.5.固定增广拉格朗日函数中的其它变量，更新

S3.2.6.更新拉格朗日乘子和惩罚因子：

μ＝min(μ_max,ρμ)

S3.2.7.重复执行步骤S3.2.2-S3.2.6直到达到收敛条件。

在本优选方案中，通过将联合子空间学习与数据自重构学习统一到一个优化框架中，并用交替优化的方法求解，两者相互增强，从而增强子空间聚类性能。

优选的，所述步骤S4的具体步骤为：

S4.1.对所述的自表示系数矩阵Z进行非负对称化处理得到多视图数据特征的亲和矩阵S：

其中|·|表示对亲和矩阵的所有元素取绝对值；

S4.2.将亲和矩阵S作为谱聚类算法的输入，求解目标函数，得到聚类结果：

其中L_S＝D-S；D为对角矩阵，对角矩阵中元素的计算为：D＝∑_jS_ij；

对L_S进行特征分解L_Sf＝λf，其中λ为数据特征的特征值，f为对应的数据特征向量，将前c个非零最小特征值对应的特征向量组成矩阵c为数据特征的类别数目，F即为聚类结果。

与现有技术相比，本发明技术方案的有益效果是：

1、本发明方法通过联合子空间学习，寻找不同视图数据特征的低维嵌入空间，从而对原始特征进行转换和融合，减轻了原始数据噪音的影响，增强了算法的鲁棒性，解决了现有的多视图聚类方法由于依赖于原始特征的质量，影响聚类效果的问题。

2、在低维嵌入空间进行自重构学习，获得对视图数据特征之间更为本质且准确的相似关系矩阵，将联合子空间学习与数据自重构学习统一到一个优化框架中，并用交替优化的方法求解，两者相互增强，从而极大地增强子空间聚类性能。

附图说明

图1为本发明方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

实施例1

一种基于联合子空间学习的多视图子空间聚类方法，如图1所示，包括以下步骤：

S1.获取原始数据集的多视图特征矩阵；

对于所述原始数据集中的每个多视图图像，分别提取不同类型的数据特征，将其中相同类型的数据特征组成本视图的特征矩阵，将所有视图的特征矩阵组成原始数据集的多视图特征矩阵其中表示原始数据集中的第v个视图特征矩阵，m_v表示第v个视图的数据特征的维度，n表示第v个视图的数据特征的个数；其中V≥2，表示多视图的数目。

S2.构建基于联合子空间学习的多视图子空间聚类的目标函数；

S2.1.对多视图的数据特征进行联合子空间学习，寻找多视图数据特征的低维嵌入空间，即Y^(v)＝P^(v)TX^(v)，v＝1,...,V，其中为视图v的投影矩阵，d为所述低维嵌入空间的维度，约束P^(v)为正交矩阵P^(v)TP^(v)＝I，为视图v在低维嵌入空间中的特征矩阵；

S2.2.在所述低维嵌入空间中，对多视图的数据特征进行重构学习，即Y^(v)＝Y^(v)Z^(v)+E^(v)，其中，Z^(v)为第v个视图的数据特征的自表示系数矩阵，E^(v)为第v个视图的数据特征的重构误差矩阵；

S2.3.构造多视图数据特征的自表示系数矩阵的低秩约束项和稀疏约束项：||Z^(v)||_*和||Z^(v)||₀≤T₀，其中||·||_*表示自表示系数矩阵的核范数，||·||₀表示自表示系数矩阵的l₀范数，T₀为稀疏度；其中所有视图的自表示系数矩阵一致，即所有视图之间共享自表示系数矩阵，Z⁽¹⁾＝Z⁽²⁾＝…Z^(V)＝Z；

S2.4.构造多视图的数据特征的重构误差稀疏项||E^(v)||_2,1，其中||·||_2,1表示矩阵l_2,1范数；

S2.5.构建基于联合子空间学习的多视图子空间聚类的目标函数：

s.t.P^(v)TX^(v)＝P^(v)TX^(v)Z+E^(v),P^(v)TP^(v)＝I,‖Z‖₀≤T₀,v∈[V]

其中α为平衡因子，α＞0，Z为所有视图之间共享的自表示系数矩阵，表征多视图的数据特征之间的相似关系。

S3.采用交替优化的方法求解所述目标函数，得到多视图之间共享的自表示系数矩阵；

S3.1.添加松弛变量J和W将所述目标函数松弛为：

s.t.P^(v)TX^(v)＝P^(v)TX^(v)Z+E^(v),P^(v)TP^(v)＝I,

Z＝J,Z＝W,‖W‖₀≤T₀,v∈[V]

S3.2.采用交替优化的方法求解步骤S3.1中添加了松弛变量J和W的目标函数；固定优化Z，从而导出增广拉格朗日函数：

其中<·,·>表示矩阵内积，||·||_F表示矩阵F范数，μ为惩罚因子，Y₂,Y₃为拉格朗日乘子，交替优化所述增广拉格朗日函数中的所有变量直至收敛；

其中交替优化所述增广拉格朗日函数中的所有变量直至收敛的具体步骤为：

S3.2.1.初始化J＝Z＝E^(v)＝Y₁ ^(v)＝Y₂＝Y₃＝0，μ＝1e-2，μ_max＝1e6，ρ＝1.2；

S3.2.2.固定增广拉格朗日函数中的其它变量，更新J：

S3.2.3.固定增广拉格朗日函数中的其它变量，更新Z：

S3.2.4.固定增广拉格朗日函数中的其它变量，更新W：

S3.2.5.固定增广拉格朗日函数中的其它变量，更新

S3.2.6.更新拉格朗日乘子和惩罚因子：

μ＝min(μ_max,ρμ)

S3.2.7.重复执行步骤S3.2.2-S3.2.6直到达到收敛条件。

S3.3.根据步骤S3.2优化得到的自表示系数矩阵Z，固定住Z更新投影矩阵将步骤S3.2中的目标函数转换为：

其中Tr(·)表示矩阵的迹，M^(v)为对角矩阵，对角矩阵中元素的计算为：

投影矩阵P^(v)通过特征分解求得：X^(v)(I-Z)M^(v)(I-Z)^TX^(v)Tp^(v)＝ηp^(v)；

S3.4.通过重复执行步骤S3.2和S3.3交替优化变量Z和直到达到收敛条件或最大迭代次数。

S4.对所述的自表示系数矩阵进行非负对称化处理得到多视图数据特征的亲和矩阵，最后利用谱聚类算法得到聚类结果；

S4.1.对所述的自表示系数矩阵Z进行非负对称化处理得到多视图数据特征的亲和矩阵S：

其中|·|表示对亲和矩阵的所有元素取绝对值；

S4.2.将亲和矩阵S作为谱聚类算法的输入，求解目标函数，得到聚类结果：

其中L_S＝D-S；D为对角矩阵，对角矩阵中元素的计算为：D＝∑_jS_ij；

对L_S进行特征分解L_Sf＝λf，其中λ为数据特征的特征值，f为对应的数据特征向量，将前c个非零最小特征值对应的特征向量组成矩阵c为数据特征的类别数目，F即为聚类结果。

实施例2

一种基于联合子空间学习的多视图子空间聚类方法，如图1所示，包括以下步骤：

S1.获取原始数据集的多视图特征矩阵

在本实施例中，采用的原始数据集为ORL人脸数据集。ORL人脸数据集总共包含400张人脸图像，来源于40个人，每个人各10张图像。

对于ORL人脸数据集的多视图图像，提取了三个视图的特征包括：灰度值特征LBP特征和Gabor wavelets特征

S2.构建基于联合子空间学习的多视图子空间聚类的目标函数；

s.t.P^(v)TX^(v)＝P^(v)TX^(v)Z+E^(v),P^(v)TP^(v)＝I,‖Z‖₀≤T₀,v∈[1,2,3]

其中在本实施例2中设置平衡因子α＝0.7，低维嵌入空间的维度d＝150；

S3.采用交替优化的方法求解所述目标函数，得到多视图之间共享的自表示系数矩阵

其中采用交替优化的方法求解所述目标函数的详细算法为：

输入：多视图特征矩阵参数α＝0.7，低维子空间的维度d＝150，

外循环迭代次数T＝5。

初始化：正交矩阵

输出：表示自表示系数矩阵Z；

S4.对所述的自表示系数矩阵进行非负对称化处理得到多视图数据特征的亲和矩阵，最后利用谱聚类算法得到聚类结果；

具体步骤为：

首先计算亲和矩阵然后计算拉普拉斯矩阵L_S＝D-S，其中D为对角矩阵，其对角元素的计算为：D＝∑_jS_ij，最后进行特征分解L_Sf＝λf，将前40个最小特征值对应的特征向量组成矩阵即为最终的聚类结果。

由于本发明方法属于多视图子空间学习，本实施例2与其他5种性能先进的多视图子空间聚类算法进行对比，包括：

1)Diversity-induced Multi-view Subspace Clustering(Di-MSC)；

2)Low-rank Tensor constrained Multiview Subspace Clustering(LT-MSC)；

3)Multimodal sparse and low-rank subspace clustering(MLRSSL)；

4)Consistent and Specific Multi-View Subspace Clustering(CSMSC)；

5)Latent Multi-view Subspace Clustering(LMSC)；

聚类性能评估用到六种评估方式：1)归一化互信息(Normalized MutualInformation，NMI)；2)准确率(Accuracy，ACC)；3)调整兰德指数(Adjusted Rand Index，AR)；4)F-分数(F-score)；5)精度(Precision)；6)召回率(Recall)。所有评估方法的指标值越大，聚类性能越好。

本实施例2中，实验平台是WIN10系统上的MATLAB R2017a软件，CPU的型号为Inteli7-6700K@4.00GHz。各个多视图子空间聚类算法均进行了30次独立重复实验，实验结果如表1所示，其中表格中的指标值是30次重复实验的均值，表括号中的数值为对应的方差，OURS指本发明方法。

表1

从表1中可以明显看出，本发明方法从以上六个评估方式上均明显优于其他5中对比算法，这表明了本发明方法的有效性。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于联合子空间学习的多视图子空间聚类方法，其特征在于，包括以下步骤：

S1.获取原始数据集的多视图特征矩阵；

S2.构建基于联合子空间学习的多视图子空间聚类的目标函数；

S3.采用交替优化的方法求解所述目标函数，得到多视图之间共享的自表示系数矩阵；

S4.对所述的自表示系数矩阵进行非负对称化处理得到多视图数据特征的亲和矩阵，最后利用谱聚类算法得到聚类结果。

2.根据权利要求1所述的基于联合子空间学习的多视图子空间聚类方法，其特征在于，所述步骤S1具体为：

对于所述原始数据集中的每个多视图图像，分别提取不同类型的数据特征，将其中相同类型的数据特征组成本视图的特征矩阵，将所有视图的特征矩阵组成原始数据集的多视图特征矩阵其中表示原始数据集中的第v个视图特征矩阵，m_v表示第v个视图的数据特征的维度，n表示第v个视图的数据特征的个数；其中V≥2，表示多视图的数目。

3.根据权利要求2所述的基于联合子空间学习的多视图子空间聚类方法，其特征在于，所述步骤S2的具体步骤为：

S2.1.对多视图的数据特征进行联合子空间学习，寻找多视图数据特征的低维嵌入空间，即Y^(v)＝P^(v)TX^(v)，v＝1,...,V，其中为视图v的投影矩阵，d为所述低维嵌入空间的维度，约束P^(v)为正交矩阵P^(v)TP^(v)＝I，为视图v的数据特征在低维嵌入空间中的特征矩阵；

S2.2.在所述低维嵌入空间中，对多视图的数据特征进行重构学习，即Y^(v)＝Y^(v)Z^(v)+E^(v)，其中，Z^(v)为第v个视图的数据特征的自表示系数矩阵，E^(v)为第v个视图的数据特征的重构误差矩阵；

S2.3.构造多视图数据特征的自表示系数矩阵的低秩约束项和稀疏约束项：||Z^(v)||_*和||Z^(v)||₀≤T₀，其中||·||_*表示自表示系数矩阵的核范数，||·||₀表示自表示系数矩阵的l₀范数，T₀为稀疏度；其中所有视图的自表示系数矩阵一致，即所有视图之间共享自表示系数矩阵，Z⁽¹⁾＝Z⁽²⁾＝…Z^(V)＝Z；

S2.4.构造多视图的数据特征的重构误差稀疏项||E^(v)||_2,1，其中||·||_2,1表示矩阵l₂,₁范数；

S2.5.构建基于联合子空间学习的多视图子空间聚类的目标函数：

s.t.P^(v)TX^(v)＝P^(v)TX^(v)Z+E^(v),P^(v)TP^(v)＝I,‖Z‖₀≤T₀,v∈[V]

其中α为平衡因子，α＞0，Z为所有视图之间共享的自表示系数矩阵，表征多视图的数据特征之间的相似关系。

4.根据权利要求3所述的基于联合子空间学习的多视图子空间聚类方法，其特征在于，步骤S3中所述的采用交替优化的方法求解所述目标函数的具体步骤为：

S3.1.添加松弛变量J和W将所述目标函数松弛为：

s.t.P^(v)TX^(v)＝P^(v)TX^(v)Z+E^(v),P^(v)TP^(v)＝I,

Z＝J,Z＝W,‖W‖₀≤T₀,v∈[V]

其中α为平衡因子，α＞0，Z为所有视图之间共享的自表示系数矩阵，表征多视图的数据特征之间的相似关系；

S3.2.采用交替优化的方法求解步骤S3.1中添加了松弛变量J和W的目标函数；固定对Z进行优化，从而导出增广拉格朗日函数：

其中<·,·>表示矩阵内积，||·||_F表示矩阵F范数，μ为惩罚因子，Y₂,Y₃为拉格朗日乘子，交替优化所述增广拉格朗日函数中的所有变量直至收敛；

S3.3.根据步骤S3.2优化得到的自表示系数矩阵Z，固定住Z更新投影矩阵将步骤S3.2中的目标函数转换为：

其中Tr(·)表示矩阵的迹，M^(v)为对角矩阵，对角矩阵中元素的计算为：

投影矩阵P^(v)通过特征分解求得：X^(v)(I-Z)M^(v)(I-Z)^TX^(v)Tp^(v)＝ηp^(v)；

S3.4.通过重复执行步骤S3.2和S3.3交替优化变量Z和直到达到收敛条件或最大迭代次数。

5.根据权利要求4所述的基于联合子空间学习的多视图子空间聚类方法，其特征在于，步骤S3.2中所述的交替优化所述增广拉格朗日函数中的所有变量直至收敛，具体步骤为：

S3.2.1.初始化J＝Z＝E^(v)＝Y₁ ^(v)＝Y₂＝Y₃＝0，μ＝1e-2，μ_max＝1e6，ρ＝1.2；

S3.2.2.固定增广拉格朗日函数中的其它变量，更新J：

S3.2.3.固定增广拉格朗日函数中的其它变量，更新Z：

S3.2.4.固定增广拉格朗日函数中的其它变量，更新W：

S3.2.5.固定增广拉格朗日函数中的其它变量，更新

S3.2.6.更新拉格朗日乘子和惩罚因子：

μ＝min(μ_max,ρμ)

S3.2.7.重复执行步骤S3.2.2-S3.2.6直到达到收敛条件。

6.根据权利要求5所述的基于联合子空间学习的多视图子空间聚类方法，其特征在于，所述步骤S4的具体步骤为：

S4.1.对所述的自表示系数矩阵Z进行非负对称化处理得到多视图数据特征的亲和矩阵S：

其中|·|表示对亲和矩阵的所有元素取绝对值；

S4.2.将亲和矩阵S作为谱聚类算法的输入，求解目标函数，得到聚类结果：

其中L_S＝D-S；D为对角矩阵，对角矩阵中元素的计算为：D＝∑_jS_ij；

对L_S进行特征分解L_Sf＝λf，其中λ为数据特征的特征值，f为对应的数据特征向量，将前c个非零最小特征值对应的特征向量组成矩阵c为数据特征的类别数目，F即为聚类结果。