CN112148911B

CN112148911B - 一种多视图本征低秩结构的图像聚类方法

Info

Publication number: CN112148911B
Application number: CN202010835395.2A
Authority: CN
Inventors: 沈项军; 王志扬
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2020-08-19
Filing date: 2020-08-19
Publication date: 2024-03-19
Anticipated expiration: 2040-08-19
Also published as: CN112148911A

Abstract

本发明公开了一种多视图本征低秩结构的图像聚类方法，采集v个视图组成多视图数据集X；初始化变量，包括构造多视图数据集X的邻接矩阵W、出度矩阵D和拉普拉斯矩阵L；根据数据集X、初始化邻近矩阵W和拉普拉斯矩阵L构造目标优化函数；利用增广拉格朗日乘法对目标优化函数进行处理，更新各项变量并计算计算损失函数；设置迭代循环条件，直到满足循环条件则退出循环，输出的邻接矩阵W为最优解；根据得出的最优相似矩阵W，对相似矩阵W使用强连通分量算法，即可得出多视图数据集的聚类标签。本发明充分利用多视图数据的信息，同时添加相似矩阵动态调节约束，让谱聚类能够利用共同低秩Z₀的信息，从而提高聚类的准确性。

Description

一种多视图本征低秩结构的图像聚类方法

技术领域

本发明涉及图像处理技术，具体是一种多视图本征低秩结构的图像聚类方法。

背景技术

聚类是无监督学习中的一个重要的研究内容，是应用最广泛的数据分析技术之一，应用范围包括统计学、计算机科学、生物学、社会科学和心理学。现有的多视图图像聚类技术，主要分成两类：基于子空间算法和基于谱聚类的算法。目前针对多视图的聚类算法还有不完善之处，仍有改进之处。例如，谱聚类效果非常依赖于相似矩阵，不同的相似矩阵得到的最终聚类效果可能很不同；不能很好的利用多视图的数据特征进行聚类等等问题。

发明内容

为了解决现有技术的不足，本发明提出了一种多视图本征低秩结构的图像聚类方法，通过结合低秩表达和谱聚类，并在低秩部分中提取多视图共同的低秩Z₀，从而充分利用多视图数据的信息；同时添加相似矩阵动态调节约束让谱聚类能够利用共同低秩Z₀的信息，从而提高聚类的准确性。

本发明所采用的技术方案如下：

一种多视图本征低秩结构的图像聚类方法，包括如下步骤：

步骤1，采集v个视图组成多视图数据集X＝{x₁，x₂，...，x_v}，其中，x_i为第i个视图，i＝1，2，...，v；

步骤2，初始化变量，包括构造多视图数据集X的邻接矩阵W、出度矩阵D和拉普拉斯矩阵L；

步骤3，根据数据集X、初始化邻近矩阵W和拉普拉斯矩阵L构造目标优化函数，

步骤4，利用增广拉格朗日乘法对目标优化函数进行处理，更新各项变量并计算计算损失函数；

步骤5，设置迭代循环条件，直到满足循环条件则退出循环，输出的邻接矩阵W为最优解；

步骤6，根据步骤5计算得出的最优相似矩阵W，对相似矩阵W使用强连通分量算法，即可得出多视图数据集的聚类标签。

进一步，使用K近邻算法构造多视图数据集X的邻接矩阵W的方法为：

其中，w_ij为邻接矩阵W中第i行第j列元素，x_i，i为多视图数据集X中第i个视图第i行元素,x_i，j为多视图数据集X中第i个视图第j行元素；由w_ij组成多视图数据集X的邻接矩阵W。

进一步，基于邻接矩阵W中的元素w_ij计算得出度矩阵D的元素即矩阵的对角线元素为矩阵W对应行的行和，其余元素为0，d_ii为度矩阵D中第i行第i列元素，w_ij为邻接矩阵W中第i行第j列元素，n表示视图中图像的数量。

进一步，根据计算得出度矩阵D和邻接矩阵W，得到拉普拉斯矩阵L＝D-W。

进一步，所述目标优化函数表示为：

其中，为相似矩阵动态调节项，λ₁、λ₂、λ₃均为平衡因子；U_i为松弛变量，i＝1，2，...，v；Z_i为第i个视图独立的特征部分，i＝1，2，...，v；Z_j为第j个视图独立的特征部分，j＝1，2，...，v；Z₀为本征低秩部分，Tr(·)为矩阵迹运算，/>为Z_i的转置；F为指示矩阵，F^T为指示矩阵的转置，L为拉普拉斯矩阵，E_i为第i个视图的残差项，i＝1，2，...，v；X_i为多视图数据集X的第i个视图，i＝1，2，...，v；P_i为数据集的低秩成分，i＝1，2，...，v；n为数据的数量，I代表单位矩阵，||·||_F、||·||_*、||·||₁、||·||_2，1分别表示矩阵的F范数、核范数、1范数和21范数。

进一步，利用增广拉格朗日乘法对目标优化函数进行处理得到：

其中，为拉格朗日函数，H_i、J_i、K_i均为拉格朗日乘子矩阵，i＝1，2，...，v。

进一步，对各个变量进行更新求解：

Step1，通过对拉格朗日函数求P_i的偏导数，并令偏导数为0，计算可得：

Step2,通过对拉格朗日函数求Z₀的偏导数，并令偏导数为0，计算可得：

Step3，邻近矩阵W可以通过对拉格朗日函数中只包含W的项恒等变形得到：

其中w_i为邻接矩阵W中第i行元素，因此元素w_ij的更新公式为：

其中，f_i为指示矩阵F的第i列元素，f_j为指示矩阵F的第j列元素，η为拉格朗日乘子。

Step4，松弛变量U_i的更新公式为：

其中，μ为惩罚因子，

Step5,残差项E_i的更新公式为：

Step6，计算损失函数:

进一步，循环条件为整体损失函数Loss小于1e-6或者迭代次数大于200次。

本发明的有益效果：

1、本发明通过将获取多视图数据的共同低秩部分，能够更好的挖掘多视图数据的共同特征，可以提高聚类结果的精确度。

2、本发明通过相似矩阵动态调节约束，能够让谱聚类从低秩结构中学习数据特征，提供更好的相似矩阵，从而提高聚类的性能。本发明的聚类效果相较于同类的聚类方法在ORL 和Yale数据集上，聚类的准确度、标准化互信息、精确度、召回率等6个聚类指标都有提升。

附图说明

图1是本发明提出的方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示的一种多视图本征低秩结构的图像聚类方法，包括如下步骤：

步骤1，采集v个视图组成多视图数据集X＝{x₁，x₂，...，x_v}，其中，x_i为第i个视图，i＝1，2，...，v，且x_i∈D_i×n,其中，D_i为第i个视图的维度，n表示视图中图像的数量，视图的维度D_i是由图像的多个属性组成的，如颜色、角度、光感等属性。

步骤2，初始化变量；

步骤2.1，使用K近邻算法对数据集X构造多视图数据集X的邻接矩阵W，具体为：

其中，w_ij为邻接矩阵W中第i行第j列元素，x_i，j为多视图数据集X中第i个视图第i行元素,x_i，j为多视图数据集X中第i个视图第j行元素；由w_ij组成多视图数据集X的邻接矩阵W。

步骤2.2，基于邻接矩阵W中的元素w_ij计算得出度矩阵D的元素即矩阵D的对角线元素为矩阵W对应行的行和，其余元素为0。d_ii为度矩阵D中第i行第i列元素，w_ij为邻接矩阵W中第i行第j列元素，n表示视图中图像的数量。

步骤2.3，根据计算得出度矩阵D和邻接矩阵W，得到拉普拉斯矩阵L＝D-W。

步骤3，根据数据集X、初始化邻近矩阵W和拉普拉斯矩阵L构造目标优化函数：

其中，为相似矩阵动态调节项，λ₁、λ₂、λ₃均为平衡因子；U_i为松弛变量，i＝1，2，...，v；Z_i为第i个视图独立的特征部分，i＝1，2，...，v；Z_j为第j个视图独立的特征部分，j＝1，2，...，v；Z₀为本征低秩部分，Tr(·)为矩阵迹运算，/>为Z_i的转置；F为指示矩阵，F^T为指示矩阵的转置，L为拉普拉斯矩阵，E_i为第i个视图的残差项，i＝1，2，...，v；X_i为多视图数据集X的第i个视图，i＝1，2，...，v；P_i为数据集的低秩成分，i＝1，2，...，v；n为数据的数量，I代表单位矩阵；||·||_F、||·||_*、||·||₁、||·||_2，1分别表示矩阵的F范数、核范数、1范数和21范数。

步骤4，迭代更新各项变量：

步骤4.1，利用增广拉格朗日乘法对目标优化函数进行处理得到：

其中，为拉格朗日函数，H_i、J_i、K_i为拉格朗日乘子矩阵，i＝1，2，...，v，〈A，B〉＝Tr(A^TB)， X_i为X的第i个视图，i＝1，2，...，v。

步骤4.2，根据所构造的拉格朗日函数，对各个变量进行更新求解：

Step3，邻近矩阵W可以通过对拉格朗日函数中只包含W的项恒等变形得到：其中，w_i为邻接矩阵W中第i行元素，因此元素w_ij的更新公式为：

Step4，松弛变量U_i的更新公式为：

其中，μ为惩罚因子，

Step5,残差项E_i的更新公式为：

Step6，计算损失函数:

步骤5，设置循环条件：整体损失函数小于1e-6或者迭代次数大于200次；在循环过程中，根据步骤4.2中Step1至Step5更新P_i、Z₀、W、U_i、E_i，直到满足循环条件。当循环退出，输出的邻接矩阵W为最优解。

步骤6：根据步骤5计算得出的最优相似矩阵W，对相似矩阵W使用强连通分量算法，即可得出多视图数据集的聚类标签。

为了说明本发明方法所带来的技术效果，以下结合本发明方法与同类的聚类效果进行对比，结合下表数据可以看出，在ORL和Yale数据集上，聚类的准确度、标准化互信息、精确度、召回率等6个聚类指标都有提升。

聚类结果

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims

1.一种多视图本征低秩结构的图像聚类方法，其特征在于，包括如下步骤：

步骤1，采集v个视图组成多视图数据集X＝{x₁,x₂,…，x_i，…,x_v}，其中，x_i为第i个视图；

步骤3，根据数据集X、初始化邻近矩阵W和拉普拉斯矩阵L构造目标优化函数，所述目标优化函数表示为：

s.t.X_i＝X_iP_i+E_i,P_i＝Z_i+Z₀,P_i＝U_i,F^TF＝I,w_ij≥0,

其中，为相似矩阵动态调节项，λ₁、λ₂、λ₃均为平衡因子；U_i为松弛变量，i＝1,2,…,v；Z_i为第i个视图独立的特征部分，i＝1,2,…,v；Z_j为第j个视图独立的特征部分，j＝1,2,…,v；Z₀为本征低秩部分，Tr(·)为矩阵迹运算，/>为Z_i的转置；F为指示矩阵，F^T为指示矩阵的转置，L为拉普拉斯矩阵，E_i为第i个视图的残差项，i＝1,2,…,v；X_i为多视图数据集X的第i个视图，i＝1,2,…,v；P_i为数据集的低秩成分，i＝1,2,…,v；I代表单位矩阵，‖·‖_F、‖·‖_*、‖·‖₁、‖·‖_2,1分别表示矩阵的F范数、核范数、1范数和21范数；

步骤4，利用增广拉格朗日乘法对目标优化函数进行处理，更新各项变量并计算损失函数；

步骤6，根据步骤5计算得出的邻接矩阵W，对邻接矩阵W使用强连通分量算法，即可得出多视图数据集的聚类标签。

2.根据权利要求1所述的一种多视图本征低秩结构的图像聚类方法，其特征在于，使用K近邻算法构造多视图数据集X的邻接矩阵W的方法为：

其中，w_ij为邻接矩阵W中第i行第j列元素，x_i,i为多视图数据集X中第i个视图第i列元素,x_i,j为多视图数据集X中第i个视图第j列元素；由w_ij组成多视图数据集X的邻接矩阵W。

3.根据权利要求2所述的一种多视图本征低秩结构的图像聚类方法，其特征在于，基于邻接矩阵W中的元素w_ij计算得出度矩阵D的元素即矩阵D的对角线元素为矩阵W对应行的行和，其余元素为0，d_ii为出度矩阵D中第i行第i列元素，w_ij为邻接矩阵W中第i行第j列元素，n表示视图中图像的数量。

4.根据权利要求3所述的一种多视图本征低秩结构的图像聚类方法，其特征在于，根据计算得出度矩阵D和邻接矩阵W，得到拉普拉斯矩阵L＝D-W。

5.根据权利要求1所述的一种多视图本征低秩结构的图像聚类方法，其特征在于，利用增广拉格朗日乘法对目标优化函数进行处理得到：

其中，为拉格朗日函数，H_i、J_i、K_i均为拉格朗日乘子矩阵，i＝1,2,…,v；μ为惩罚因子。

6.根据权利要求5所述的一种多视图本征低秩结构的图像聚类方法，其特征在于，对各个变量进行更新求解：

Step3，邻接矩阵W通过对拉格朗日函数中只包含W的项恒等变形得到：

其中，w_i为邻接矩阵W中第i行元素，因此元素w_ij的更新公式为：

其中，f_i为指示矩阵F的第i列元素，f_j为指示矩阵F的第j列元素，η为拉格朗日乘子；

Step4，松弛变量U_i的更新公式为：

其中，μ为惩罚因子，

Step5,残差项E_i的更新公式为：

Step6，计算损失函数:

7.根据权利要求1-6中任意一项权利要求所述的一种多视图本征低秩结构的图像聚类方法，其特征在于，循环条件为整体损失函数小于1*10^-6或者迭代次数大于200次。