CN109784360A - 一种基于深度多视角子空间集成学习的图像聚类方法 - Google Patents

Abstract

本发明公开了一种基于深度多视角子空间集成学习的图像聚类方法，其特征在于，包括：对图像数据集进行多视角特征提取，得到多视角特征；基于所述多视角特征建立深度多视角低秩子空间学习的第一函数；基于所述第一函数建立多视角子空间集成学习的第二函数；基于所述第一函数和所述第二函数建立深度多视角子空间集成学习的目标函数并确定所述目标函数的各项约束；最小化所述目标函数，得到图像多视角特征的低维一致性子空间表示；用聚类算法对图像多视角特征的低维一致性子空间表示进行聚类，得到所述图像数据集的多视角聚类结果。

Description

一种基于深度多视角子空间集成学习的图像聚类方法

技术领域

本发明涉及模式识别技术领域，特别是指一种基于深度多视角子空间集成学习的图像聚类方法。

背景技术

图像多视角聚类方法基于深度矩阵分解模型，将不同视角的特征矩阵进行深度分解，并对最高层的系数矩阵进行一致性约束，获得不同视角数据的一致性表示，然后基于该表示进行图像数据的聚类。然而目前的图像多视角聚类方法没有考虑到深度模型中间层的数据表示信息，只使用了模型最高层的数据表示结果，不能有效挖掘图像数据包含的丰富的多层次、多属性聚类结构，且低秩子空间学习一般用于浅层模型，非线性处理能力有限，不能有效分析和处理分布特性复杂、视觉特点变化多样的图像多视角数据，因此不能获得有效的图像聚类结果。

发明内容

有鉴于此，本发明的目的在于提出一种能有效学习图像各个视角的多层次、多属性特征的图像聚类方法。

基于上述目的，本发明提供了一种基于深度多视角子空间集成学习的图像聚类方法，包括：

对图像数据集进行多视角特征提取，得到多视角特征；

基于所述多视角特征建立深度多视角低秩子空间学习的第一函数；

基于所述第一函数建立多视角子空间集成学习的第二函数；

基于所述第一函数和所述第二函数建立深度多视角子空间集成学习的目标函数并确定所述目标函数的各项约束；

最小化所述目标函数，得到图像多视角特征的低维一致性子空间表示；

用聚类算法对图像多视角特征的低维一致性子空间表示进行聚类，得到所述图像数据集的多视角聚类结果。

在一些实施方式中，所述第一函数为：

其中，X^(v)是第v个视角的数据矩阵，和分别是深度矩阵分解第i层的基矩阵和系数矩阵，是子空间学习得到的低秩子空间表示，λ₁是用于控制第二项作用大小的权重系数，m是深度矩阵分解的层数，V是视角的个数，||·||_F是矩阵Frobenius范数，||·||_*是矩阵的核范数。

在一些实施方式中，所述第二函数为：

其中，是第v个视角、第i层的融合权重系数，用于控制低秩子空间在融合过程中的作用大小，是由构成的向量。||·||_G是组稀疏正则项，用于控制融合权重的稀疏性，其定义为：将分成V个组，让属于同一个视角v的融合权重属于一个组，每个组的融合权重系数可以用一个向量来表示：组稀疏正则项的定义为：F是低维一致性子空间，用于保留融合后的不同视角、不同层的聚类结构信息。λ₂和λ₃是权重系数。

在一些实施方式中，所述目标函数为：

所述目标函数的各项约束为：

其中，约束条件要求矩阵分解的系数矩阵和低秩子空间的非负性，约束条件α≥0,1^Tα＝1约束融合权重α的值非负并且归一化，正交约束FF^T＝I去除低维一致性子空间F各维度的相关性。

在一些实施方式中，所述目标函数在对原始的多视角特征进行深度分解时，利用了深度矩阵分解模型中所有层的信息。

在一些实施方式中，所述目标函数在集成学习的过程中运用了组稀疏的正则化方法对不同视角的融合权重进行控制。

在一些实施方式中，所述目标函数通过自表示子空间学习将多个视角的低秩聚类结构保留在一致的、低维的子空间中，并通过使用正交约束的条件去除低维一致性子空间F各维度的相关性，从而进一步提升F表示的判别性。

在一些实施方式中，所述聚类算法为谱聚类。

在一些实施方式中，所述图像多视角特征的低维一致性子空间表示具体为F∈R^{c ×n}，矩阵每一列代表一个图像数据的向量表示。

另一方面，本发明还提供了一种图像聚类装置，可以实现上述实施方式，该装置包括：

图像数据集收集存储模块，其用于将大型图像数据集库中高质量的图像数据下载并存储到本地；

图像数据集特征提取模块，其用于对图像数据集中多视角特征进行提取；

图像处理学习模块，其用于对所提取的多视角特征进行分解、学习、降维和融合，得到图像多视角特征的低维一致性子空间。

聚类模块，其用于对图像多视角特征的低维一致性子空间进行聚类，得到图像多视角特征的聚类结果。

从上面所述可以看出，本发明提供的一种基于深度多视角子空间集成学习的图像聚类方法通过对深度矩阵分解的各个层引入低秩子空间学习模型，进一步提取出不同层中的图像数据的低秩聚类结构，有效地融合了来自不同视角、不同层的图像聚类信息，获得了更加准确、鲁棒的图像聚类结果，从而有效提升图像聚类的性能。此方法理论与技术先进，能够满足图像多视角聚类的需求，具有很高的应用价值，对相关问题的方案设计及方法选择有一定的指导意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于深度多视角子空间集成学习的图像聚类方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

为使本发明的目的、方法及优点更加清楚明白，也为了使本领域的研究人员可以更好的理解本发明并能予以实施，以下参照附图结合实例对本发明做进一步的详细说明，但所举实例不作为对本发明的限定。图1是本发明基于深度多视角子空间集成学习的图像聚类方法的流程图，发明中所涉及的具体变量符号和描述如表1所示，如图表所示，该方法包括以下步骤：

表1符号及其描述

步骤S101，从图像数据集中进行多视角特征提取，图像可以通过多种视觉特征进行描述，例如颜色、形状、纹理、细节点等，每种特征都可以作为描述图像内容的一个视角，同时利用多种图像特征就构成了图像的多视角特征。

步骤S102，建立如下深度多视角低秩子空间学习的第一函数，挖掘多视角数据包含的多层次、多属性的信息：

其中，X^(v)是第v个视角的数据矩阵，和分别是深度矩阵分解第i层的基矩阵和系数矩阵，是子空间学习得到的低秩子空间表示，λ₁是用于控制第二项作用大小的权重系数，m是深度矩阵分解的层数，V是视角的个数，||·||_F是矩阵Frobenius范数，||·||_*是矩阵的核范数。

式(1)中的是深度多视角矩阵分解的损失函数。通过深度矩阵分解，有效挖掘数据的多层次、多属性信息，并将这些信息保留在中。式(1)中的是低秩子空间学习项，通过优化基于自表示子空间学习的损失函数，在每一层的系数矩阵中进一步学习低秩子空间表示有效提取多视角数据中不同层的低秩聚类结构。通过对子空间施加核范数惩罚项，保证所学子空间的低秩性，获得更加清晰、明显的数据聚类结构。

步骤S103，建立如下的多视角子空间集成学习的第二函数，将不同视角、不同层次的低秩聚类结构信息进行融合，将融合后的信息保留在统一的、低维的子空间中：

其中，是第v个视角、第i层的融合权重系数，用于控制低秩子空间在融合过程中的作用大小，是由构成的向量。||·||_G是组稀疏正则项，用于控制融合权重的稀疏性，其定义为：将分成V个组，让属于同一个视角v的融合权重属于一个组，这样每个组的融合权重系数可以用一个向量来表示：那么组稀疏正则项的定义为：F是低维一致性子空间，用于保留融合后的不同视角、不同层的聚类结构信息。λ₂和λ₃分别是式(2)中控制和||α||_G作用大小的权重系数。

式(2)中的是基于自表示子空间学习的损失函数，将各个中的低秩聚类结构保留在低维一致性子空间F中。式(2)中的||α||_G是组稀疏正则项，控制融合权重基的稀疏性。

步骤S104，把深度多视角低秩子空间学习和多视角子空间集成学习放入统一的目标函数中，得到深度多视角子空间集成学习的目标函数并确定目标函数的各项约束：

目标函数的约束条件为：

其中，约束条件要求矩阵分解的系数矩阵和低秩子空间的非负性，基于非负的数据表示空间具有更优的实际意义和表示特性。约束条件α≥0,1^Tα＝1约束融合权重α的值非负并且归一化，确保所学融合权重的值有意义。正交约束FF^T＝I去除低维一致性子空间F各维度的相关性，提升数据表示F的判别性。

步骤S105，最小化式(3)，联合进行深度矩阵分解、低秩子空间学习以及子空间集成学习，图像数据不同视角、不同层次的聚类结构被保留在低维表示F中。可以使用块梯度下降的方法对式(3)进行求解。

步骤S106使用谱聚类算法对图像多视角特征的低维一致性子空间表示F∈R^c×n进行聚类，谱聚类算法的流程如下：

输入：图像低维一致性表示矩阵F，聚类类别个数k，谱聚类参数σ，

输出：图像的聚类划分C(c₁,c₂,…,c_k)，

(1)根据图像表示F，F的第i列记为f_i，计算数据相似性矩阵W∈R^n×n：

(2)计算度矩阵D，首先计算然后构建对角矩阵D∈R^n×n：

(3)计算拉普拉斯矩阵L＝D-W，然后对其进行标准化：L＝D^-1/2LD^-1/2；

(4)计算L最小的k个特征值对应的特征向量g，并构成n×k的特征矩阵G；

(5)将G矩阵的每一行作为一个k维的图像数据表示，共有n个图像数据，使用K-means算法进行数据聚类，聚类个数为k；

(6)得到图像聚类类别的划分C(c₁,c₂,…,c_k)。

基于同一发明构思，本发明还提供了一种图像聚类装置，可以实现上述步骤，该装置包括：

图像数据集收集存储模块，其用于将大型图像数据集库中高质量的图像数据下载并存储到本地；

图像数据集特征提取模块，其用于对图像数据集中多视角特征进行提取，图像可以通过多种视觉特征进行描述，例如颜色、形状、纹理、细节点等，每种特征都可以作为描述图像内容的一个视角，同时利用多种图像特征就构成了图像的多视角特征。

图像处理学习模块，其用于对所提取的多视角特征进行分解、学习、降维和融合，具体为基于深度矩阵分解模型，将不同视角的特征矩阵进行深度分解，并对最高层的系数矩阵进行一致性约束，得到图像多视角特征的低维一致性子空间。

聚类模块，其用于对图像多视角特征的低维一致性子空间进行聚类，得到图像多视角特征的聚类结果，具体为使用谱聚类算法对图像多视角特征的低维一致性子空间表示F∈R^c×n进行聚类，谱聚类算法的流程如下：

输入：图像低维一致性表示矩阵F，聚类类别个数k，谱聚类参数σ，

输出：图像的聚类划分C(c₁,c₂,…,c_k)，

(1)根据图像表示F，F的第i列记为f_i，计算数据相似性矩阵W∈R^n×n：

(2)计算度矩阵D，首先计算然后构建对角矩阵D∈R^n×n：

(3)计算拉普拉斯矩阵L＝D-W，然后对其进行标准化：L＝D^-1/2LD^-1/2；

(4)计算L最小的k个特征值对应的特征向量g，并构成n×k的特征矩阵G；

(5)将G矩阵的每一行作为一个k维的图像数据表示，共有n个图像数据，使用K-means算法进行数据聚类，聚类个数为k；

(6)得到图像聚类类别的划分C(c₁,c₂,…,c_k)。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度多视角子空间集成学习的图像聚类方法，其特征在于，包括：

对图像数据集进行多视角特征提取，得到多视角特征；

基于所述多视角特征建立深度多视角低秩子空间学习的第一函数；

基于所述第一函数建立多视角子空间集成学习的第二函数；

基于所述第一函数和所述第二函数建立深度多视角子空间集成学习的目标函数并确定所述目标函数的各项约束；

最小化所述目标函数，得到图像多视角特征的低维一致性子空间表示；

用聚类算法对图像多视角特征的低维一致性子空间表示进行聚类，得到所述图像数据集的多视角聚类结果。

2.根据权利要求1所述的图像聚类方法，其特征在于，所述第一函数为：

其中，X^(v)是第v个视角的数据矩阵，和分别是深度矩阵分解第i层的基矩阵和系数矩阵，是子空间学习得到的低秩子空间表示，λ₁是用于控制第二项作用大小的权重系数，m是深度矩阵分解的层数，V是视角的个数，||·||_F是矩阵Frobenius范数，||·||_*是矩阵的核范数。

3.根据权利要求1所述的图像聚类方法，其特征在于，所述第二函数为：

其中，是第v个视角、第i层的融合权重系数，用于控制低秩子空间在融合过程中的作用大小，是由构成的向量。||·||_G是组稀疏正则项，用于控制融合权重的稀疏性，其定义为：将分成V个组，让属于同一个视角v的融合权重属于一个组，每个组的融合权重系数可以用一个向量来表示：组稀疏正则项的定义为：F是低维一致性子空间，用于保留融合后的不同视角、不同层的聚类结构信息。λ₂和λ₃是权重系数。

4.根据权利要求1所述的图像聚类方法，其特征在于，所述目标函数为：

所述目标函数的各项约束为：

其中，约束条件 要求矩阵分解的系数矩阵和低秩子空间的非负性，约束条件α≥0,1^Tα＝1约束融合权重α的值非负并且归一化，正交约束FF^T＝I去除低维一致性子空间F各维度的相关性。

5.根据权利要求1所述的图像聚类方法，其特征在于，所述目标函数在对原始的多视角特征进行深度分解时，利用了深度矩阵分解模型中所有层的信息。

6.根据权利要求1所述的图像聚类方法，其特征在于，所述目标函数在集成学习的过程中运用了组稀疏的正则化方法对不同视角的融合权重进行控制。

7.根据权利要求1所述的图像聚类方法，其特征在于，所述目标函数通过自表示子空间学习将多个视角的低秩聚类结构保留在一致的、低维的子空间中，并通过使用正交约束的条件去除低维一致性子空间F各维度的相关性，从而进一步提升F表示的判别性。

8.根据权利要求1所述的图像聚类方法，其特征在于，所述聚类算法为谱聚类。

9.根据权利要求1所述的图像聚类方法，其特征在于，所述图像多视角特征的低维一致性子空间表示具体为F∈R^c×n，矩阵每一列代表一个图像数据的向量表示。

10.一种图像聚类装置，可以实现如权利要求1至9任意一项所述的方法，包括：

图像数据集收集存储模块，其用于将大型图像数据集库中高质量的图像数据下载并存储到本地；

图像数据集特征提取模块，其用于对图像数据集中多视角特征进行提取；

图像处理学习模块，其用于对所提取的多视角特征进行分解、学习、降维和融合，得到图像多视角特征的低维一致性子空间。

聚类模块，其用于对图像多视角特征的低维一致性子空间进行聚类，得到图像多视角特征的聚类结果。