CN110188825B - 基于离散多视图聚类的图像聚类方法、系统、设备及介质 - Google Patents

Abstract

本公开公开了基于离散多视图聚类的图像聚类方法、系统、设备及介质，包括：对于多视图数据，学习一个理想的结构化图；依据谱聚类原理，在聚类任务中实现图的嵌入，保留原始数据的流型结构；同时学习一个映射矩阵，解决样本外数据的聚类问题；求解所述的目标函数，离散化连续标签，得到最终的离散聚类标签；在整个学习过程中，都考虑到多视图数据的互补性，以及不同视图特征对学习任务对应不同的重要性，该方法自动地为每个视图特征分配合适的权重。本发明提高了多视图聚类的精确度。

Description

基于离散多视图聚类的图像聚类方法、系统、设备及介质

技术领域

本公开涉及图像聚类技术领域，特别是涉及基于离散多视图聚类的图像聚类方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

随着信息技术的深入发展和应用，大数据时代已经到来。为了更加准确、完整地描述数据信息，多视图数据出现并被广泛应用于不同的研究领域中，如数据挖掘、机器学习、计算机视觉。对于同一事物可以从多种不同的途径或不同的角度对其进行描述，这多种描述构成事物的多个视图，每一个视图都有其特定的物理意义。因此，多视图数据的出现带来了一个新的“多视图学习”研究问题。另外，在现实应用中，我们获得的数据通常是没有标签的，这使得“无监督学习”引起极大的关注。聚类技术是无监督学习任务中研究最多、应用最广的一类任务，也是数据挖掘中最基本的主题之一。

多视图聚类研究的关键是有效地探索多视图数据的关系来完成数据聚类，最具有代表性的一个策略是基于图的方法。在图论中，图是表示特征内在关系的重要数据结构。图的每个顶点对应一个数据点，每条边表示成对数据点之间的相似度关系。传统的基于图的多视图聚类方法通常遵循这样的步骤：(1)对每一个视图特征创建一个固定的相似度图，然后直接将它们拼接为一个统一的图。(2)利用图拉普拉斯矩阵的特征向量进行图嵌入。(3)使用K-means聚类方法得到最终的聚类标签。然而，在真实世界中，数据往往包含噪音和异常值，因此预创建的固定的图可能是低质量、不可靠的。这些方法一致地对待多个视图特征，忽略了不同视图具有不同的重要性的问题。由于K-means算法需要随机初始化质心，聚类结果总是不稳定的。另外，聚类方法都面临一个实际的问题，它们不能解决训练集以外的样本聚类问题。

虽然已经有许多基于图的多视图聚类方法被提出，但现有的方法仍然存在前面提到的几个缺点，方法有待改进。提高方法性能的关键问题在于：充分考虑和利用多视图数据的特性，学习一个高质量的适用于数据聚类的图结构，使用更加有效的方法得出聚类标签，从而提高聚类精准度。同时，解决样本外数据聚类问题，使得聚类方法能够真正有效地解决实际图像聚类问题。

发明内容

为了解决现有技术的不足，本公开提供了基于离散多视图聚类的图像聚类方法、系统、设备及介质；

第一方面，本公开提供了基于离散多视图聚类的图像聚类方法；

基于离散多视图聚类的图像聚类方法，包括：

获取训练图像数据集；所述训练图像数据集，包括：若干个图像；对每个图像提取若干个视图特征，获得多视图特征训练数据集；

对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数；

求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；

基于连续性聚类标签矩阵构造离散化标签的目标函数，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签；

获取若干个待聚类的图像，对每个待聚类的图像提取若干个视图特征，得到待聚类图像的多视图特征数据集；

将待聚类图像的多视图特征数据集输入到映射矩阵中，得到待聚类图像的类别标签。

第二方面，本公开还提供了基于离散多视图聚类的图像聚类系统；

基于离散多视图聚类的图像聚类系统，包括：

训练视图特征提取模块，其被配置为获取训练图像数据集；所述训练图像数据集，包括：若干个图像；对每个图像提取若干个视图特征，获得多视图特征训练数据集；

目标函数构造模块，其被配置为对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数；

求解模块，其被配置为求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；

聚类标签获取模块，其被配置为基于连续性聚类标签矩阵构造离散化标签的目标函数，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签；

待聚类视图特征提取模块，其被配置为获取若干个待聚类的图像，对每个待聚类的图像提取若干个视图特征，得到待聚类图像的多视图特征数据集；

待聚类图像标签获取模块，其被配置为将待聚类图像的多视图特征数据集输入到映射矩阵中，得到待聚类图像的类别标签。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

与现有技术相比，本公开的有益效果是：

该方法通过探索多视图特征之间的关系学习数据样本相似度图，并对此施加一个合理的秩约束，得到一个理想的结构化的图(即图的连通分量个数恰好等于聚类中簇的个数)。依据谱聚类的原理，将创建的结构化的图嵌入到数据聚类中。同时，学习一个映射矩阵来解决样本外数据的聚类问题。由于数据是多视图的，针对不同的视图特征学习不同的映射矩阵。并且，考虑到不同视图特征的重要性不同，该方法为不同视图自动地添加了视图权重。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本申请实施例的方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，如图1所示，本实施例提供了基于离散多视图聚类的图像聚类方法；

基于离散多视图聚类的图像聚类方法，包括：

S1：获取训练图像数据集；所述训练图像数据集，包括：若干个图像；对每个图像提取若干个视图特征，获得多视图特征训练数据集；

S2：对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数；

S3：求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；

S4：基于连续性聚类标签矩阵构造离散化标签的目标函数，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签；

S5：获取若干个待聚类的图像，对每个待聚类的图像提取若干个视图特征，得到待聚类图像的多视图特征数据集；

S6：将待聚类图像的多视图特征数据集输入到映射矩阵中，得到待聚类图像的类别标签。

作为一个或多个实施例，S1：获取训练图像数据集；所述训练图像数据集，包括：若干个图像；对每个图像提取若干个视图特征，获得多视图特征训练数据集，具体步骤包括：

获取训练图像数据集，其中对每个图像提取V个视图特征，获得多视图特征训练数据集X；

多视图训练特征数据集X＝[X¹,X²…,X^V]∈R^n×D，

(v＝[1,2,…,V])为第v个视图的数据矩阵，其中n是样本个数，D是总的特征维度，d^v是第v个视图的特征维度，V是视图个数。

作为一个或多个实施例，S2：对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数，具体步骤包括：

对每个视图特征，通过高斯核函数预先创建一个样本相似度图；

基于样本相似度图构建基于结构化图的多视图聚类目标函数，期望学习到一个结构化的图，使得结构化的图与预先创建的样本相似度图相似度最高。

进一步地，第v个视图特征的相似度图：

其中，样本的近邻关系通过K近邻算法KNN衡量；v＝[1,2,…,V]是视图索引，V是视图个数；

是第v个视图特征的相似度图，

为第v个视图中的第i个样本；i＝[1,2,…,n]，n是样本总数量，

为第v个视图中的第j个样本；j＝[1,2,…,n]；exp()表示以e为底的指数函数，

表示样本

之间的欧式距离；σ是一个自由参数，σ是函数的带宽参数，σ用于控制近邻数量。

进一步地，所述基于结构化图的多视图聚类目标函数为：

其中，S∈R^n×n是学习的结构化图，s_ij是S的第i(1≤i≤n)行第j(1≤j≤n)列的元素，

是第v个视图特征的相似度图，L_S＝D_S-(S^T+S)/2是结构化图的拉普拉斯矩阵，度矩阵D_S∈R^n×n被定义为一个第i个元素为∑_j(s_ij+s_ji)/2的对角矩阵，

是训练图像数据集中第v个视图的数据矩阵；n是样本总数量，c是聚类个数；

是第v个视图特征的映射矩阵，P＝[P¹,P²,…,P^V]为多个视图映射矩阵的集合；F∈R^n×c是一个连续性的标签矩阵，F^T表示F的转置矩阵，I_c∈R^c×c是单位矩阵；β＞0，μ＞0β和μ是平衡参数，用来平衡目标函数的多个子项，λ是正则化参数；F^TF＝I_c是对F的正交化约束，rank()表示矩阵的秩运算。

进一步地，所述S2包括：

S21：对于多视图特征训练数据集X＝[X¹,…,X^V]∈R^n×D，v＝[1,2,…,V]，D为数据集中总的特征维度，A^v∈R^n×n是第v个视图特征对应的相似度图，其中，1≤v≤V。针对每个视图特征创建对应的相似度图，并基于相似度图来学习适用于数据聚类的结构化图S，目标是学习结构化图S，并且使该结构化图与预创建的多个视图的样本相似度图保持一致性；因此，通过最小化每个视图的重建误差的线性组合来实现结构化图的创建；

对多个相似度图加权并进行线性拼接，另外对结构化图S的学习施加一个秩约束，实现结构化图S的学习；多视图数据的相似度关系表示定义为：

其中，α^v＝1/(2||S-A^v||_F)，(v＝[1,2,…,V])是学习结构化图时第v个视图的权重；

是第v个视图特征的相似度图，n是样本总数量，c是聚类个数；秩约束rank(L_S)＝n-c使得学习到的结构化图S具有c个连通分量；

S22：依据谱聚类算法，通过图嵌入的方法来实现在聚类过程中保留数据的几何结构，该过程表示为：

minTr(F^TL_SF),s.t.F∈R^n×c,F^TF＝I_c (4)

其中，Tr(g)表示求矩阵的迹的运算；L_S＝D_S-(S^T+S)/2是结构化图S的拉普拉斯矩阵，度矩阵D_S∈R^n×n被定义为一个第i个元素为∑_j(s_ij+s_ji)/2的对角矩阵，I_c∈R^c×c为单位矩阵，F∈R^n×c是连续性的标签矩阵，F^TF＝I_c是对F的正交化约束；

S23：针对每一个视图特征学习一个映射矩阵，并针对不同的视图特征施加权重；通过该映射矩阵的学习解决样本外的数据聚类问题，目标函数为：

其中，ω^v＝1/(2||X^vP^v-F||_F)是学习映射矩阵时第v个视图对应的权重，v＝[1,2,…,V]，

为正则化项，防止过拟合，λ为正则化参数，防止P出现极端解；

为Frobenius范数，简称F范数；

S24：综合步骤S21到步骤S24得到基于结构化图的多视图聚类目标函数。

作为一个或多个实施例，S3：求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；具体步骤包括：

S31：固定基于结构化图的多视图聚类目标函数中的变量F和P^v，求解结构化图S，目标函数变为：

α^v＝1/(2||S-A^v||_F)是学习结构化图时第v个视图的权重；L_S＝D_S-(S^T+S)/2是结构化图的拉普拉斯矩阵，度矩阵D_S∈R^n×n被定义为一个第i个元素为∑_j(s_ij+s_ji)/2的对角矩阵，I_c∈R^c×c为单位矩阵，F∈R^n×c是连续性的标签矩阵，F^TF＝I_c是对F的正交化约束。β＞0为平衡结构化图学习和图嵌入两项的平衡参数。

转化为：

α^v＝1/(2||S-A^v||_F)，(v＝[1,2,…,V])是学习结构化图时第v个视图的权重；

分别为矩阵S,A^v的第i行第j列的元素，f_i,f_j分别为连续标签矩阵F的第i,j行向量，f_i,f_j分别表示第i,j个样本的连续标签；β＞0为平衡参数。

公式(7)对于每一个i是独立的，因此分别对每个i求解：

为了简便，定义o_i为第j个元素为o_ij的向量；

公式(8)转换为向量形式：

其中，

o_i为第j个元素为o_ij的向量。

公式(9)通过一个迭代算法求解得出结构化图S向量形式s_i的解；

S32：固定目标函数中的变量S，求解每个视图特征的映射矩阵P^v和聚类连续性标签矩阵F；目标函数变为：

其中，ω^v＝1/(2||X^vP^v-F||_F)，v＝[1,2,…,V]是学习映射矩阵时第v个视图对应的权重，λ是正则化参数；

将公式(10)看作V个子问题来求解，每个子问题对应一个视图：

将公式(11)对P^v求导并令其等于0，得到P^v的解：

其中，ω^v＝1/(2||X^vP^v-F||_F)，(v＝[1,2,…,V])是学习映射矩阵时第v个视图对应的权重，

为单位矩阵；

根据P^v的解，对F求解，得：

其中，是中心化矩阵，1表示一个所有元素都为1的列向量，I_n是维度为n×n的单位矩阵；

是临时替代变量，μ＞0是平衡参数，公式(13)中F最终的解通过对(L_S+μH_n-μM)进行特征值分解得到。

作为一个或多个实施例，S4：基于连续性聚类标签矩阵构造离散化标签的目标函数，具体步骤包括：

其中，Q∈R^c×c是将连续标签旋转到离散标签的旋转矩阵，Q^TQ＝I_c为对旋转矩阵Q的正交约束；Y是最终的离散标签，Y∈Idx表示每个样本的聚类标签向量y_i∈{0,1}^c×1仅包含一个等于1的元素，这个元素对应的簇就是当前样本所聚类的簇。

作为一个或多个实施例，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签，得到离散的标签矩阵；具体步骤包括：

固定离散化标签的目标函数中的变量Y，求解旋转矩阵Q；目标函数变为：

公式(15)是一个正交普氏问题，求解可得到旋转矩阵Q的解；

固定目标函数中的旋转矩阵Q，求解离散标签Y；目标函数转化为：

其中，W∈R^n×c＝FQ是一个临时替代变量；Y∈Idx为离散标签矩阵，其元素仅包含0和1。

则Y的解为：

其中，y_ij为离散标签矩阵Y的第i行第j列元素，同样地，w_ik为替代变量W的第i行第k列元素。argmax表示计算使得后面式子达到最大值时的变量的取值。

目的是通过求解目标函数得到结构化图S、映射矩阵P^v、连续标签矩阵F、旋转矩阵Q和离散标签矩阵Y。由于目标函数中含多个未知变量，无法直接求解。因此本发明提出一个迭代求解算法，固定其他变量，求解一个变量，通过有限次的迭代优化，这样我们最终可以得到最优解。

由于目标函数中包含一个秩约束，目标函数的优化面临一个NP难问题，很难直接被求解。为了便于求解，我们将该约束进行转化。为了满足该秩约束，图的拉普拉斯矩阵L_S应该有c个为0的特征值。

假定ρ_i(L_S)为L_S第i个最小的特征值，由于L_S是一个半正定矩阵，则ρ_i(L_S)≥0。因此，当

时，秩约束rank(L_S)＝n-c满足。根据Ky Fan’s定理，得

根据基于结构化图的离散多视图聚类方法，我们提出了迭代求解算法，用于求解我们所需要的结构化图S、投影矩阵P^v、连续标签矩阵F、旋转矩阵Q和离散标签矩阵Y。

最后，根据多视图数据集自带的类别标记评判聚类性能。这里我们采用常用的三个评价指标：聚类精准度(ACC)、标准化互信息(NMI)以及纯度(Purity)来评估该方法的聚类性能。这三个指标数值范围都在0和1之间，数值越大表示性能越好。三个评价指标的具体定义分别为：

①ACC

Ω＝[w₁,…,w_c]是簇，G＝[g₁,…,g_c]是类别真值。b_i表示样本i的预测簇标签，t_i是真实标签。并且如果b_i＝t_i,则δ(b_i,t_i)＝1，否则δ(b_i,t_i)＝0。

②NMI

NMI＝MI(C,C′)/max(H(C),H(C′))

其中，C是从真实标签中获得的一组簇，C′是从聚类算法中获得的一组簇。H(C)和H(C′)分别是C和C′的熵，MI(C,C′)是互信息度量标准，衡量两个数据分布的吻合程度。

③Purity

c是簇的数量，m是整个簇分区中涉及的成员数。E_ij表示为簇i的成员属于类j的概率。E_ij＝m_ij/m，其中m_ij是簇i中所有成员的数量，m_ij是属于类j的簇i中的成员数。

本发明对多视图数据进行聚类，学习一个结构化的图来捕捉不同视图特征的关系，通过对该图施加一个合理的秩约束，使得该图具有一个理想的适用于聚类任务的结构(即图的连通分量个数恰好等于聚类中簇的个数)。通过图嵌入将图的学习与连续的聚类标签的学习结合到一起，在这个学习模型中互相优化。同时，映射函数的设计解决了一个实际问题(样本外数据的聚类问题)，当输入一个新的样本时，通过发明中的映射矩阵得到该样本所属的聚类标签。最后，通过离散化标签学习得到更加准确的聚类标签，提高聚类性能和结果稳定性。

实施例二，本实施例还提供了基于离散多视图聚类的图像聚类系统；

基于离散多视图聚类的图像聚类系统，包括：

训练视图特征提取模块，其被配置为获取训练图像数据集；所述训练图像数据集，包括：若干个图像；对每个图像提取若干个视图特征，获得多视图特征训练数据集；

目标函数构造模块，其被配置为对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数；

求解模块，其被配置为求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；

聚类标签获取模块，其被配置为基于连续性聚类标签矩阵构造离散化标签的目标函数，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签；

待聚类视图特征提取模块，其被配置为获取若干个待聚类的图像，对每个待聚类的图像提取若干个视图特征，得到待聚类图像的多视图特征数据集；

待聚类图像标签获取模块，其被配置为将待聚类图像的多视图特征数据集输入到映射矩阵中，得到待聚类图像的类别标签。

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。

所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于离散多视图聚类的图像聚类方法，其特征是，具体步骤包括：

获取训练图像数据集；所述训练图像数据集，包括：若干个图像；对每个图像提取若干个视图特征，获得多视图特征训练数据集；

对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数；

求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；

基于连续性聚类标签矩阵构造离散化标签的目标函数，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签；

获取若干个待聚类的图像，对每个待聚类的图像提取若干个视图特征，得到待聚类图像的多视图特征数据集；

将待聚类图像的多视图特征数据集输入到映射矩阵中，得到待聚类图像的类别标签。

2.如权利要求1所述的方法，其特征是，对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数，具体步骤包括：

对每个视图特征，通过高斯核函数预先创建一个样本相似度图；

基于样本相似度图构建基于结构化图的多视图聚类目标函数，期望学习到一个结构化的图，使得结构化的图与预先创建的样本相似度图相似度最高。

3.如权利要求1所述的方法，其特征是，所述基于结构化图的多视图聚类目标函数，具体步骤包括：

其中，S∈R^n×n是学习的结构化图，s_ij是S的第i行第j列的元素，

是第v个视图特征的相似度图，L_S＝D_S-(S^T+S)/2是结构化图的拉普拉斯矩阵，度矩阵D_S∈R^n×n被定义为一个第i个元素为∑_j(s_ij+s_ji)/2的对角矩阵，是训练图像数据集中第v个视图的特征矩阵；n是样本总数量，c是聚类个数，d^v是第v个视图的特征维度；

是第v个视图特征的映射矩阵，P＝[P¹,P²,…，P^V]为多个视图映射矩阵的集合；F∈R^n×c是一个连续性的标签矩阵，F^T表示F的转置矩阵，I_c∈R^c×c是单位矩阵；β＞0，μ＞0，β和μ是平衡参数，用来平衡目标函数的多个子项，λ是正则化参数；F^TF＝I_c是对F的正交化约束，rank()表示矩阵的秩运算；

第v个视图特征的相似度图：

其中，样本的近邻关系通过K近邻算法KNN衡量；v＝[1,2,…，V]是视图索引，V是视图个数；

是第v个视图特征的相似度图，

为第v个视图中的第i个样本；i＝[1,2,…，n]n是样本总数量，

为第v个视图中的第j个样本；j＝[1,2,…，n]；exp()表示以e为底的指数函数，

表示样本

之间的欧式距离；σ是一个自由参数，σ是函数的带宽参数，σ用于控制近邻数量。

4.如权利要求1所述的方法，其特征是，所述对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数包括：

S21：对于多视图特征训练数据集

X＝[X¹,…，X^V]∈R^n×D，

v＝[1,…，2,]，D为数据集中总的特征维度，d^v是第v个视图的特征维度，A^v∈R^n×n是第v个视图特征对应的相似度图，其中，1≤v≤V； 针对每个视图特征创建对应的相似度图，并将基于相似度图来学习适用于数据聚类的结构化图S，目标是学习结构化图S，并且使该结构化图与预创建的多个视图的样本相似度图保持一致性；因此，通过最小化每个视图的重建误差的线性组合来实现结构化图的创建；

对多个相似度图加权并进行线性拼接，另外对结构化图S的学习施加一个秩约束，实现结构化图S的学习；多视图数据的相似度关系表示定义为：

其中，α^v＝1/(2||S-A^v||_F)，v＝[1,2,…,V]是学习结构化图时第v个视图的权重；

是第v个视图特征的相似度图，n是样本总数量，c是聚类个数；秩约束rank(L_S)＝n-c使得学习到的结构化图S具有c个连通分量；

S22：依据谱聚类算法，通过图嵌入的方法来实现在聚类过程中保留数据的几何结构，该过程表示为：

min Tr(F^TL_SF),s.t.F∈R^n×c,F^TF＝I_c(4)

其中，Tr()表示求矩阵的迹的运算；L_S＝D_S-(S^T+S)/2是结构化图的拉普拉斯矩阵，度矩阵D_S∈R^n×n被定义为一个第i个元素为∑_j(s_ij+s_ji)/2的对角矩阵，I_c∈R^c×c为单位矩阵，F∈R^n×c是连续性的标签矩阵，F^TF＝I_c是对F的正交化约束；

S23：针对每一个视图特征学习一个映射矩阵，并针对不同的视图特征施加权重；通过该映射矩阵的学习解决样本外的数据聚类问题，目标函数为：

其中，ω^v＝1/(2||X^vP^v-F||_F)是学习映射矩阵时第v个视图分别对应的权重，v＝[1,2,…,V]，为正则化项，防止过拟合，λ为正则化参数，防止P出现极端解；

为Frobenius范数，简称F范数；

S24：综合步骤S21到步骤S24得到基于结构化图的多视图聚类目标函数。

5.如权利要求1所述的方法，其特征是，求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；具体步骤包括：

S31：固定基于结构化图的多视图聚类目标函数中的变量F和P^v，求解结构化图S，目标函数变为：

α^v＝1/(2||S-A^v||_F)是学习结构化图时第v个视图的权重；L_S＝D_S-(S^T+S)/2是结构化图的拉普拉斯矩阵，度矩阵D_S∈R^n×n被定义为一个第i个元素为∑_j(s_ij+s_ji)/2的对角矩阵，I_c∈R^c×c为单位矩阵，F∈R^n×c是连续性的标签矩阵，F^TF＝I_c是对F的正交化约束；β＞0为平衡结构化图学习和图嵌入两项的平衡参数；

转化为：

α^v＝1/(2||S-A^v||_F)，v＝[1,2,…,V]是学习结构化图时第v个视图的权重；分别为矩阵S,A^v的第i行第j列的元素，f_i为连续标签矩阵F的第i行向量，f_j为连续标签矩阵F的第j行向量，f_i分别表示第i个样本的连续标签；f_j分别表示第j个样本的连续标签；β＞0为平衡参数；

公式(7)对于每一个i是独立的，因此分别对每个i求解：

为了简便，定义

o_i为第j个元素为o_ij的向量；

公式(8)转换为向量形式：

其中，

o_i为第j个元素为o_ij的向量；

公式(9)通过一个迭代算法求解得出结构化图S向量形式s_i的解；

S32：固定目标函数中的变量S，求解每个视图特征的映射矩阵P^v和聚类连续性标签矩阵F；目标函数变为：

其中，ω^v＝1/(2||X^vP^v-F||_F)，v＝[1,2,…,V]是学习映射矩阵时第v个视图对应的权重，λ是正则化参数；

将公式(10)看作v个子问题来求解，每个子问题对应一个视图：

将公式(11)对P^v求导并令其等于0，得到P^v的解：

其中，ω^v＝1/(2||X^vP^v-F||_F)，v＝[1,2,…,V]是学习映射矩阵时第v个视图对应的权重，为单位矩阵；

根据P^v的解，对F求解，得：

其中，

是中心化矩阵，1表示一个所有元素都为1的列向量，I_n是维度为n×n的单位矩阵；

是临时替代变量，μ＞0是平衡参数，公式(13)中F最终的解通过对L_S+μH_n-μM进行特征值分解得到。

6.如权利要求1所述的方法，其特征是，基于连续性聚类标签矩阵构造离散化标签的目标函数，具体步骤包括：

其中，Q∈R^c×c是将连续标签旋转到离散标签的旋转矩阵，Q^TQ＝I_c为对旋转矩阵Q的正交约束；Y是最终的离散标签，Y∈Idx表示每个样本的聚类标签向量y_i∈{0,1}^c×1仅包含一个等于1的元素，这个元素对应的簇就是当前样本所聚类的簇。

7.如权利要求1所述的方法，其特征是，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签；具体步骤包括：

固定离散化标签的目标函数中的变量Y，求解旋转矩阵Q；目标函数变为：

公式(15)是一个正交普氏问题，求解可得到旋转矩阵Q的解；

固定目标函数中的旋转矩阵Q，求解离散标签Y；目标函数转化为：

其中，W∈R^n×c＝FQ是一个临时替代变量；Y∈Idx为离散标签矩阵，其元素仅包含0和1；

则Y的解为：

其中，y_ij为离散标签矩阵Y的第i行第j列元素，同样地，w_ik为替代变量W的第i行第k列元素，argmax表示计算使得后面式子达到最大值时的变量的取值。

8.基于离散多视图聚类的图像聚类系统，其特征是，包括：

训练视图特征提取模块，其被配置为获取训练图像数据集；所述训练图像数据集，包括：若干个图像；对每个图像提取若干个视图特征，获得多视图特征训练数据集；

目标函数构造模块，其被配置为对于多视图特征训练数据集，构造基于结构化图的多视图聚类目标函数；

求解模块，其被配置为求解基于结构化图的多视图聚类目标函数，得到映射矩阵和连续性聚类标签矩阵；

聚类标签获取模块，其被配置为基于连续性聚类标签矩阵构造离散化标签的目标函数，求解离散化标签的目标函数，将连续性标签转换为离散的聚类标签；

待聚类视图特征提取模块，其被配置为获取若干个待聚类的图像，对每个待聚类的图像提取若干个视图特征，得到待聚类图像的多视图特征数据集；

待聚类图像标签获取模块，其被配置为将待聚类图像的多视图特征数据集输入到映射矩阵中，得到待聚类图像的类别标签。

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。

Images