CN113947135A - 基于缺失图重构和自适应近邻的不完整多视图聚类方法 - Google Patents

Abstract

本发明公开了一种基于缺失图重构和自适应近邻的不完整多视图聚类方法，该方法通过学习一致性非负特征实现不完整多视图数据的聚类。本发明考虑到不同视图上的不完整图结构将其分解成一个视图一致性特征和多个视图特定特征，其中视图一致性特征用来保留多视图数据的近邻图结构信息。本发明的创新点在于从不完整视图的图结构分解角度重新思考不完整多视图聚类问题，同时学习缺失多视图数据的一致性非负特征与公共图结构，其中一致性非负特征满足公共图结构约束。本发明的不完整多视图聚类框架由矩阵分解模型和自适应近邻模型组成，同时推导了训练目标和推导过程；本发明方法能够在不填充缺失视图的情况下处理各种不完整多视图场景。

Description

基于缺失图重构和自适应近邻的不完整多视图聚类方法

技术领域

本发明涉及计算机技术领域，涉及多视图学习技术，特别涉及一种基于缺失图重构和自适应近邻的不完整多视图聚类方法。

背景技术

背景技术涉及三大块：基于非负与正交约束的矩阵分解算法，基于自适应近邻的聚类算法，基于非负特征与谱特征的多视图谱聚类算法。

1)基于非负与正交约束的矩阵分解算法

谱聚类是从图论中演化出来的算法，后来在聚类中得到了广泛的应用。它的主要思想是把所有的数据看作空间中的点，这些点之间用边连接起来。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高。然而，随着数据规模的增长，谱聚类算法的计算成本很高，并且其结果需要通过其他聚类模型对谱特征聚类得到。针对这一问题，基于非负与正交约束的矩阵分解算法将数据的图结构A分解成非负特征H与谱特征F的乘积，并且使用非负特征H近似谱特征F，其目标函数写成

其中，λ是正则化参数。并且，使用坐标梯度下降方法优化目标函数。非负与正交约束的矩阵分解算法的步骤分解成两步：

a1.固定H，计算F

固定H，模型的目标函数变成

这样，对A^TH+λH奇异值分解得到U′S′V′^T，然后计算得到F＝U′V′^T。

a2.固定F，计算H

固定F，模型的目标函数变成

这样，计算得到H＝max((A^TF+λF)/(1+λ)，0)。

2)基于自适应近邻的聚类算法

基于非负与正交约束的矩阵分解算法将数据的图结构分解得到非负特征，这样非负特征能保留样本的图结构信息，但是该模型并不能更新数据的图结构。与基于非负与正交约束的矩阵分解算法相比，基于自适应近邻的聚类算法旨在学习一个新的相似性图进行聚类。基于自适应近邻的聚类算法的目标函数表达成

其中，A是需要学习的近邻矩阵，L是A的拉普拉斯矩阵，F是谱特征，γ，λ是正则化参数。基于自适应近邻的聚类算法通过对学习得到的稀疏近邻矩阵进行图切割得到聚类结果。并且，基于自适应近邻的聚类算法也需要迭代学习A，F，具体步骤如下：

b1.固定F，计算A

固定F，模型的目标函数变成

其中，

β_i.≥0，ξ，β_i.是拉格朗日系数，A是稀疏矩阵。假定每个样例只有K个近邻样例，A_i.的计算表达成

其中，A_i.中只有K个非零元素，

表示d_i.中第k小的元素。

b2.固定A，计算F

固定A，模型的目标函数变成

这样，对L奇异值分解得到F。

3)基于非负特征与谱特征的多视图谱聚类算法

基于自适应近邻的聚类算法与基于非负与正交约束的矩阵分解算法都是典型的单视图数据聚类方法，它们并不能处理多视图数据。针对多视图数据，基于非负特征与谱特征的多视图谱聚类算法将多个视图上的图结构

分解成一致性表示H和多个谱特征

这样，基于非负特征与谱特征的多视图谱聚类算法的目标函数定义成

其中，

表示需要学习的变量，

用来平衡多个视图。并且，当

给定时，δ^v＝1/||A^v-HF^vT||_F表示每个视图上的权重。类似地，基于非负特征与谱特征的多视图谱聚类算法也需要迭代学习

基于非负特征与谱特征的多视图谱聚类算法虽然能够得到多视图数据的一致性表示，但是其不能学习多视图数据的一致性图结构。也就是说，该算法不能实现一致性图结构与一致性特征的联合学习。并且，基于非负特征与谱特征的多视图谱聚类算法也只能处理完整的多视图数据，不能处理缺失视图场景。当出现任意一个数据不完整的情况，该算法不能学习缺失数据的一致性特征，从而无法实现缺失数据的聚类。

发明内容

本发明的目的是提供一种基于缺失图重构和自适应近邻的不完整多视图聚类方法，该方法通过学习一致性非负特征实现不完整多视图数据的聚类。该方法考虑到不同视图上的不完整图结构将其分解成一个视图一致性非负特征和多个视图特定特征，其中视图一致性特征用来保留多视图数据的近邻图结构信息。

实现本发明目的的具体技术方案是：

一种基于缺失图重构和自适应近邻的不完整多视图聚类方法，特点是：该方法包括如下步骤：

步骤一：建立包含不完整多视图数据集

所述不完整多视图数据集格式为：

与

其中V表示数据的视图数量，

表示第v个视图上观测到的数据，N_v表示第v个视图上观测到的数据数量，D_v表示第v个视图上观测到的数据维度，

表示第v个视图上的观测数据与不完整多视图数据的对应关系，N表示所有多视图数据的数量；

步骤二：确定所有视图上的缺失图结构

采用欧式距离计算每个视图上观测数据间的距离，并依此得到每个视图上的缺失图结构；具体包括如下步骤：

步骤a1：采用欧式距离计算每个视图上观测数据间的距离，即

其中

表示第v个视图上第i个观测数据，||·||_F表示矩阵的Frobenius范数；

步骤a2：通过下述公式计算每个视图上观测数据的近邻图结构：

其中，

表示数据

在第v个视图的k近邻结合，

是

的第j'近的观测数据；并且，S^v是不对称的，需要对其对称化：S^v＝(S^v+(S^v)^T)/2，(S^v)^T表示矩阵S^v的转置；

步骤a3：根据每个视图上的近邻图结构构建每个视图的缺失图结构A^v：

A^v＝G^vT(D^v-1/2S^vD^v-1/2)G^v，

其中，

表示第i个多视图数据的第v视图是缺失的。

步骤三：基于多视图数据

与所有视图上的缺失图结构

确定不完整多视图聚类模型的目标函数，所述不完整多视图聚类模型的目标函数是关于一致性非负特征H与公共图结构A的函数，包括缺失图重构项、协同正则化项、公共图正则化项；如下公式描述：

其中，

表示需要学习的变量，

是一致性非负特征，H_i.表示第i个观测数据的一致性非负特征，

表示两个矩阵对位元素相乘，

表示第v个视图上视图相关的谱特征，C表示不完整多视图数据的聚类数目，A表示多视图数据的公共图结构，

||·||_F表示矩阵的Frobenius范数，

表示维度为N_v×K的全1矩阵，F^vT表示矩阵F^v的转置，λ₁,λ₂,γ表示正则化参数，人为指定；在优化目标中，多个视图上的缺失图重构项通过矩阵分解的方式将不完整图结构

分解成统一的一致性非负特征H和多个视图相关的谱特征

协同正则化项约束一致性非负特征H满足公共图近邻约束；公共图正则化项约束公共图结构保留不完整多视图数据的近邻信息；

步骤四：采用坐标梯度下降的方法优化步骤三所述不完整多视图聚类模型的目标函数，得到多视图数据的一致性非负特征H；具体包括：

步骤b1：设置超参数λ₁,λ₂,γ,C，最大迭代次数；

步骤b2：根据

初始化公共图结构A：A＝∑_vA^v./∑_vP′^v，其中./表示两个矩阵对位元素相除；

步骤b3：初始化

对A^v进行奇异值分解得到A^v＝F^vΛF^vT；

步骤b4：固定

更新H：

其中，L表示A的拉普拉斯矩阵，

看作不同视图的重要性权重；

步骤b5：固定H,A，更新

对

奇异值分解得到USV^T，然后计算得到F^v＝UV^T；

步骤b6：固定

更新A：优化

得到

其中，A_i.中只有K个非零元素，

是拉格朗日系数，

表示d_i.中第k小的元素；

步骤b7：迭代进行步骤b4-b6，并设置早停机制，即Early stop机制，以目标函数的值为标准，当目标函数的值变化小于10^-8或当训练达到最大迭代次数后，中止模型的训练；

步骤b8：返回多视图数据的一致性非负特征H；

步骤五：训练完毕后，根据一致性非负特征对不完整多视图数据进行聚类：

在一致性非负特征H中，每一行H_i.表示第i个多视图数据的一致性特征，H_i.中最大值对应的列数就是该数据所述的类别。

本发明的有益效果包括：

1)本发明从不完整视图的图结构分解角度重新思考不完整多视图聚类问题，同时学习缺失多视图数据的一致性非负特征与公共图结构，其中一致性非负特征满足公共图结构约束；

2)本发明的不完整多视图聚类框架由矩阵分解模型和自适应近邻模型组成，能够在不填充缺失视图的情况下处理各种不完整多视图场景。

附图说明

图1为本发明的流程图；

图2为本发明基于缺失图重构和自适应近邻的不完整多视图聚类模型示意图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。本发明包括如下步骤：

1、建立包含不完整多视图数据集

所述不完整多视图数据集格式为：

与

其中V表示数据的视图数量，

表示第v个视图上观测到的数据，N_v表示第v个视图上观测到的数据数量，D_v表示第v个视图上观测到的数据维度，

表示第v个视图上的观测数据与不完整多视图数据的对应关系(也就是说，如果

那个第v个视图上观测到的第i个数据对应第j个多视图数据的第v个视图)，N表示所有多视图数据的数量；

2、确定所有视图上的缺失图结构

采用欧式距离计算每个视图上观测数据间的距离，并依此得到每个视图上的缺失图结构；具体包括如下步骤：

a1.采用欧式距离计算每个视图上观测数据间的距离，即

其中

表示第v个视图上第i个观测数据，||·||_F表示矩阵的Frobenius范数；

a2.通过下述公式计算每个视图上观测数据的近邻图结构：

其中，

表示数据

在第v个视图的k近邻结合，

是

的第j'近的观测数据。并且，S^v是不对称的，需要对其对称化：S^v＝(S^v+(S^v)^T)/2，(S^v)^T表示矩阵S^v的转置；

a3.根据每个视图上的近邻图结构构建每个视图的缺失图结构A^v：

A^v＝G^vT(D^v-1/2S^vD^v-1/2)G^v，

其中，

表示第i个多视图数据的第v视图是缺失的。

3、确定不完整多视图聚类模型的目标函数

根据多视图数据

与所有视图上的缺失图结构

不完整多视图聚类模型的目标函数是关于一致性非负特征H与公共图结构A的函数，包括缺失图重构项、协同正则化项、公共图正则化项。如下公式描述：

其中，

表示需要学习的变量，

是一致性非负特征，H_i.表示第i个观测数据的一致性非负特征，

表示两个矩阵对位元素相乘，

表示第v个视图上视图相关的谱特征，C表示不完整多视图数据的聚类数目，A表示多视图数据的公共图结构，

||·||_F表示矩阵的Frobenius范数，

表示维度为N_v×K的全1矩阵，F^vT表示矩阵F^v的转置，λ₁,λ₂,γ表示正则化参数。在优化目标中，多个视图上的缺失图重构项通过矩阵分解的方式将不完整图结构

分解成统一的一致性非负特征H和多个视图相关的谱特征

协同正则化项约束一致性非负特征H满足公共图近邻约束；公共图正则化项约束公共图结构保留不完整多视图数据的近邻信息。

4、优化不完整多视图聚类模型的目标函数，得到不完整多视图数据的一致性非负表示H

在基于缺失图重构和自适应近邻的不完整多视图聚类模型中，模型的目标函数采用坐标梯度下降的方法优化，迭代更新三种变量

具体训练如下：

b1.固定

更新H

固定

模型的目标函数退化成

求f(H)关于变量H的偏导，得到

其中，

看出δ^v依赖于变量H，这样上述关于变量H的目标函数不能直接计算。但是可以将δ^v看作固定值，关于变量H的目标函数转换成

将f(H,δ)关于变量H的偏导等于零，得到

其中，L是A的拉普拉斯矩阵。这样，一致性非负特征H表达成：

b2.固定H,A，更新

固定H,A，模型的目标函数退化成

这样，对

奇异值分解得到USV^T，然后计算得到F^v＝UV^T。

b3.固定

更新A

固定

模型的目标函数退化成

其中，

β_i.≥0，ξ,β_i.是拉格朗日系数，A是稀疏矩阵。假定每个样例只有K个近邻样例，A_i.的计算表达成

其中，A_i.中只有K个非零元素，

表示d_i.中第k小的元素。

5、训练完毕后，根据一致性非负特征对不完整多视图数据进行聚类

在一致性非负特征H中，每一行H_i.表示第i个多视图数据的一致性特征，H_i.中最大值对应的列数就是该数据所述的类别。

实施例

以下是本实施例的实施过程：

1，如图1和图2所示，首先将不完整多视图处理成

与

的格式，其中

表示第v个视图上观测到的数据，

表示第v个视图上的观测数据与不完整多视图数据的对应关系。

2，得到数据

与

之后，然后采用欧式距离计算每个视图上观测数据间的距离，并依此得到每个视图上的缺失图结构A^v。具体如下：

c1.采用欧式距离计算每个视图上观测数据间的距离，即

其中

表示第v个视图上第i个观测数据，||·||_F表示矩阵的Frobenius范数；

c2.通过下述公式计算每个视图上观测数据的近邻图结构：

其中，

表示数据

在第v个视图的k近邻结合，

是

的第j'近的观测数据。并且，S^v是不对称的，需要对其对称化：S^v＝(S^v+(S^v)^T)/2，(S^v)^T表示矩阵S^v的转置；

c3.根据每个视图上的近邻图结构构建每个视图的缺失图结构A^v：

A^v＝G^vT(D^v-1/2S^vD^v-1/2)G^v，

其中，

表示第i个多视图数据的第v视图是缺失的。

3，根据多视图数据

与所有视图上的缺失图结构

确定不完整多视图聚类模型的目标函数。具体如下：

其中，

表示需要学习的变量，

是一致性非负特征，H_i.表示第i个观测数据的一致性非负特征，

表示两个矩阵对位元素相乘，

表示第v个视图上视图相关的谱特征，C表示不完整多视图数据的聚类数目，A表示多视图数据的公共图结构，

||·||_F表示矩阵的Frobenius范数，

表示维度为N_v×K的全1矩阵，F^vT表示矩阵F^v的转置，λ₁,λ₂,γ表示正则化参数。

4，指定超参数λ₁,λ₂,γ与最大迭代次数，接着优化不完整多视图聚类模型的目标函数，得到不完整多视图数据的一致性表示H。具体如下：

d1.根据

初始化公共图结构A：A＝∑_vA^v./∑_vP′^v，其中./表示两个矩阵对位元素相除；

d2.初始化

对A^v进行奇异值分解得到A^v＝F^vΛF^vT；

d3.固定

更新H：

其中，L表示A的拉普拉斯矩阵，

看作不同视图的重要性权重；

d4.固定H,A，更新

对

奇异值分解得到USV^T，然后计算得到F^v＝UV^T；

d5.固定

更新A：优化

得到

其中，A_i.中只有K个非零元素，

表示d_i.中第k小的元素，

是拉格朗日系数；

d6.迭代进行上面三个步骤，并设置早停机制，即Early stop机制，以目标函数的值为标准，当目标函数的值变化小于10^-8或当训练达到最大迭代次数后，中止模型的训练；

d7.返回不完整多视图数据的一致性非负表示H。

5，训练完毕后，在一致性非负特征H中，每一行H_i.表示第i个多视图数据的一致性特征，H_i.中最大值对应的列数就是该数据所述的类别。这样实现不完整多视图数据的聚类。

根据以上流程，本发明将得到不完整多视图数据的聚类结果。

本发明的实验数据集是Caltech7数据集，它是Caltech101数据集的子集，由1474个样例组成，包括“faces”、“motorbikes”、“dollar bill”、“garfield”、“snoopy”、“stopsign”和“windsor chair”七个类别与“Gabor”、“wavelet moments”、“Cenhist”、“Hog”、“Gist”和“LBP”六个视图。在Caltech7数据集上，本发明把每个视图上的数据随机丢失一定比例p，其中p选自10％、30％与50％)。并且，本发明所有算法在这个数据集上随机丢失15次，给出运行15次的均值和标准差。

表1测试数据集、对比方法以及ACC/NMI/purity得分(％)

表1是本发明提出的方法和一些传统方法在Caltech7数据集上ACC/NMI/purity得分，其中MNIGA(Multiview Nonnegative representation learning with IncompleteGraph reconstruction and Adaptive neighbors)是本发明提出的方法，OMVC(OnlineMulti-View Clustering)、DAIMC(Doubly Aligned Incomplete Multiview Clustering)、IMSC-AGL(Incomplete Multiview Spectral Clustering with Adaptive GraphLearning)、GPMVC(Graph regularized Partial Multi-View Clustering)、GIMC-FLSD(Generalized Incomplete Multiview Clustering with Flexible Locality StructureDiffusion)是传统的不完整多视图聚类方法。本发明模型在Caltech7数据集上的ACC/NMI/purity分数好于所有的对比方法。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (3)

1.一种基于缺失图重构和自适应近邻的不完整多视图聚类方法，其特征在于，该方法包括如下步骤：

步骤一：建立包含不完整多视图数据集

所述不完整多视图数据集格式为：

与

其中V表示数据的视图数量，

表示第v个视图上观测到的数据，N_v表示第v个视图上观测到的数据数量，D_v表示第v个视图上观测到的数据维度，

表示第v个视图上的观测数据与不完整多视图数据的对应关系，N表示所有多视图数据的数量；

步骤二：确定所有视图上的缺失图结构

采用欧式距离计算每个视图上观测数据间的距离，并依此得到每个视图上的缺失图结构；具体包括如下步骤：

步骤a1：采用欧式距离计算每个视图上观测数据间的距离，即

其中

表示第v个视图上第i个观测数据，||·||_F表示矩阵的Frobenius范数；

步骤a2：通过下述公式计算每个视图上观测数据的近邻图结构：

其中，

表示数据

在第v个视图的k近邻结合，

是

的第j'近的观测数据；并且，S^v是不对称的，需要对其对称化：S^v＝(S^v+(S^v)^T)/2，(S^v)^T表示矩阵S^v的转置；

步骤a3：根据每个视图上的近邻图结构构建每个视图的缺失图结构A^v：

A^v＝G^vT(D^v-1/2S^vD^v-1/2)G^v，

其中，

表示第i个多视图数据的第v视图是缺失的；

步骤三：基于多视图数据

与所有视图上的缺失图结构

确定不完整多视图聚类模型的目标函数，所述不完整多视图聚类模型的目标函数是关于一致性非负特征H与公共图结构A的函数；

步骤四：采用坐标梯度下降的方法优化步骤三所述不完整多视图聚类模型的目标函数，得到多视图数据的一致性非负特征H；

步骤五：训练完毕后，根据一致性非负特征对不完整多视图数据进行聚类：

在一致性非负特征H中，每一行H_i.表示第i个多视图数据的一致性特征，H_i.中最大值对应的列数就是该数据所述的类别。

2.根据权利要求1所述的基于缺失图重构和自适应近邻的不完整多视图聚类方法，其特征在于，步骤三所述不完整多视图聚类模型的目标函数包括缺失图重构项、协同正则化项、公共图正则化项；如下公式描述：

其中，

表示需要学习的变量，

是一致性非负特征，H_i.表示第i个观测数据的一致性非负特征，

表示两个矩阵对位元素相乘，

表示第v个视图上视图相关的谱特征，C表示不完整多视图数据的聚类数目，A表示多视图数据的公共图结构，

P′^v＝G^vTG，X′^v＝G^vTX^v，||·||_F表示矩阵的Frobenius范数，

表示维度为N_v×K的全1矩阵，F^vT表示矩阵F^v的转置，λ₁，λ₂，γ表示正则化参数，人为指定；在优化目标中，多个视图上的缺失图重构项通过矩阵分解的方式将不完整图结构

分解成统一的一致性非负特征H和多个视图相关的谱特征

协同正则化项约束一致性非负特征H满足公共图近邻约束；公共图正则化项约束公共图结构保留不完整多视图数据的近邻信息。

3.根据权利要求1所述的基于缺失图重构和自适应近邻的不完整多视图聚类方法，其特征在于，所述步骤四具体包括：

步骤b1：设置超参数λ₁，λ₂，γ，C，最大迭代次数；

步骤b2：根据

初始化公共图结构A：A＝∑_vA^v./∑_vP′^v，其中./表示两个矩阵对位元素相除；

步骤b3：初始化

对A^v进行奇异值分解得到A^v＝F^vΛF^vT；

步骤b4：固定

更新H：

其中，L表示A的拉普拉斯矩阵，

看作不同视图的重要性权重；

步骤b5：固定H，A，更新

对

奇异值分解得到USV^T，然后计算得到F^v＝UV^T；

步骤b6：固定

更新A：优化

得到

其中，A_i.中只有K个非零元素，

是拉格朗日系数，

表示d_i.中第k小的元素；

步骤b7：迭代进行步骤b4-b6，并设置早停机制，即Early stop机制，以目标函数的值为标准，当目标函数的值变化小于10^-8或当训练达到最大迭代次数后，中止模型的训练；

步骤b8：返回多视图数据的一致性非负特征H。

Images