CN113762354A

CN113762354A - 基于局部化简单多核k-均值的人脸图像聚类方法及系统

Info

Publication number: CN113762354A
Application number: CN202110940777.6A
Authority: CN
Inventors: 朱信忠; 徐慧英; 刘新旺; 李苗苗; 张毅; 殷建平
Original assignee: Zhejiang Normal University CJNU
Current assignee: Zhejiang Normal University CJNU
Priority date: 2021-08-17
Filing date: 2021-08-17
Publication date: 2021-12-07
Also published as: WO2023020373A1

Abstract

本发明公开了基于局部化简单多核k‑均值的人脸图像聚类方法及系统。其中涉及的基于局部化简单多核k‑均值的人脸图像聚类方法，包括步骤：S1.采集人脸图像，并对采集的人脸图像进行预处理，得到各个视图的平均核矩阵；S2.根据得到的平均核矩阵计算n个(τ×n)‑近邻矩阵；S3.根据近邻矩阵计算各个视图的局部化核矩阵；S4.根据计算得到的各个视图的局部化核矩阵构建局部化的简单多核k‑均值聚类目标函数；S5.采用简约梯度下降法求解构建的目标函数的极小值，得到最优的聚类划分矩阵；S6.对得到聚类划分矩阵进行k‑均值聚类，实现聚类。

Description

基于局部化简单多核k-均值的人脸图像聚类方法及系统

技术领域

本发明涉及人脸图像处理的机器学习技术领域，尤其涉及基于局部化简单多核k-均值的人脸图像聚类方法及系统。

背景技术

随着人脸识别和检索系统应用的推广，系统中人脸图像数据急剧地增长，人脸聚类技术已经成为提高系统检索效率的重要基础。人脸聚类通常是将数据库中的人脸图片信息聚成一些不同的子类，使得子类之间的相似性尽量小，子类内的相似性尽量大，这样在检索时，只需在与被检索目标相似度较高的子类内逐个识别，检索出与之相似性最大的若干记录。

k均值聚类是一种应用最为广泛的方法，其中核k均值聚类因其可以学习到样本非线性信息而被广泛研究。多核聚类提供了一个优雅的框架，通过从多个源提取互补信息来将样本分组到不同的类别中。通过高效高质量的聚类，可以大大提高数据分析的效率，节约人工成本。

通过充分考虑样本之间的关系，一种局部核对齐变量被开发。经过实验验证，这样可以提高聚类性能。通过假设一个最优核位于组合核的邻域，一种最优邻域多核聚类算法被提出，该算法通过提高学习到的最优核的可表示性，提高了聚类性能。最大限度地对准多个基分区与一致分区，具有相当大的算法加速和令人满意的聚类性能。在此基础上，用来处理不完整的多视图数据的一种有效的基于后期融合的算法被提出。

作为多视图聚类的代表，最近提出了一种新的简单多核k均值(SimpleMKKM)。SimpleMKKM没有联合最小化核权值和聚类分区矩阵，而是对核权值进行最小化，对聚类分区矩阵优化框架进行最大化，导致了一个棘手的最小最大优化。然后，其可以被等价地转化为一个最小化问题，并设计了一种简化梯度算法来求解所得到的优化。该算法被证明是有效的优化，对噪声观点的鲁棒性，并引起了许多研究者的广泛关注。

虽然最近提出的SimleMKKM具有上述优点，但观察到它将组合的核矩阵与聚类分区矩阵全局生成的“理想”相似度严格对齐。这可以不分青红皂白地迫使所有样本对平等地与相同的理想相似性对齐。因此，它不能有效地处理样本之间的关系，忽略了局部结构，可能导致不满意的聚类表现。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基于局部化简单多核k-均值的人脸图像聚类方法及系统。

为了实现以上目的，本发明采用以下技术方案：

基于局部化简单多核k-均值的人脸图像聚类方法，包括步骤：

S1.采集人脸图像，并对采集的人脸图像进行预处理，得到各个视图的平均核矩阵；

S2.根据得到的平均核矩阵计算n个(τ×n)-近邻矩阵；

S3.根据近邻矩阵计算各个视图的局部化核矩阵；

S4.根据计算得到的各个视图的局部化核矩阵构建局部化的简单多核k-均值聚类目标函数；

S5.采用简约梯度下降法求解构建的目标函数的极小值，得到最优的聚类划分矩阵；

S6.对得到聚类划分矩阵进行k-均值聚类，实现聚类。

进一步的，所述步骤S3中计算各个视图的局部化核矩阵，表示为：

其中，

表示各个视图的局部化核矩阵；A⁽ⁱ⁾表示n个(τ×n)-近邻矩阵；K_p表示第p个给定的核矩阵；n表示样本数；

表示元素的相乘。

进一步的，所述步骤S4中简单多核k-均值聚类目标函数，表示为：

其中，γ表示系数向量；H表示划分矩阵；H^T表示换分矩阵的置换；K_γ表示由γ生成的K_p的组合核矩阵；I_k表示k阶单位阵。

进一步的，所述步骤S4中局部化的简单多核k-均值聚类目标函数，表示为：

s.t.H^TH＝I_k，

其中，

R^m表示m维实数向量空间；γ_p表示γ的第p个分量。

进一步的，所述步骤S5中求解构建的目标函数的极小值具体为：

将局部化的简单多核k-均值聚类目标函数简化为简单多核k-均值聚类目标函数：

其中，

表示元素的相乘；

表示标准化的核矩阵；

当A⁽ⁱ⁾的所有元素都设置为1时，简单多核k-均值聚类目标函数表示为：

其中，

表示最优值函数。

进一步的，所述步骤S5中采用简约梯度下降法求解构建的目标函数的极小值具体为：

梯度下降法计算目标函数表示为：

其中，

设u为指示向量γ的最大分量的数，γ的正性约束表示：

其中，d_p表示下降方向。

相应的，还提供基于局部化简单多核k-均值的人脸图像聚类系统，包括：

采集模块，用于采集人脸图像，并对采集的人脸图像进行预处理，得到各个视图的平均核矩阵；

第一计算模块，用于根据得到的平均核矩阵计算n个(τ×n)-近邻矩阵；

第二计算模块，用于根据近邻矩阵计算各个视图的局部化核矩阵；

构建模块，用于根据计算得到的各个视图的局部化核矩阵构建局部化的简单多核k-均值聚类目标函数；

求解模块，用于采用简约梯度下降法求解构建的目标函数的极小值，得到最优的聚类划分矩阵；

聚类模块，用于对得到聚类划分矩阵进行k-均值聚类，实现聚类。

进一步的，所述第二计算模块中计算各个视图的局部化核矩阵，表示为：

其中，

表示元素的相乘。

进一步的，所述构建模块中简单多核k-均值聚类目标函数，表示为：

其中，γ表示系数向量.；H表示划分矩阵；H^T表示换分矩阵的置换；K_γ表示由γ生成的K_p的组合核矩阵；I_k表示k阶单位阵。

进一步的，所述构建模块中局部化的简单多核k-均值聚类目标函数，表示为：

s.t.H^TH＝I_k，

其中，

R^m表示m维实数向量空间；γ_p表示γ的第p个分量。

与现有技术相比，本发明提出了一种新颖的局部化的简单多核k-均值聚类机器学习方法，该方法包括局部化核对齐、优化目标函数获取最优组合系数γ以及相应的划分矩阵H等模块。通过优化目标函数，本发明使得经过优化后的核组合可以代表单个视图的信息，也能更好地服务于视图融合，达到聚类效果提升的目的。并且，本发明对每个视图做了局部化处理，来强化局部信息。MKKM-MM首次尝试通过min-max学习来改进MKKM，它确实改进了MKKM，但效果有限。所提出的局部化的SimpleMKKM的性能显著优于MKKM-MM。这再次证明了我们的公式和相关的优化策略的优势。局部化的SimpleMKKM始终且显著优于SimpleMKKM。

附图说明

图1是实施例一提供的基于局部化简单多核k-均值的人脸图像聚类方法流程图；

图2是实施例一提供的算法流程图；

图3是实施例二提供的由不同算法学习的核系数示意图；

图4是实施例二提供的在6个基准数据集上迭代的局部化的SimpleMKKM学习H的聚类性能示意图；

图5是实施例二提供的局部化SimpleMKKM的目标函数值随迭代次数的变化示意图；

图6是实施例二提供的所有基准数据集上不同算法的运行时间比较示意图；

图7是实施例二提供的近邻比例τ的大小对6个有代表性的数据集上聚类性能的影响示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供基于局部化简单多核k-均值的人脸图像聚类方法，如图1所示，包括步骤：

S2.根据得到的平均核矩阵计算n个(τ×n)-近邻矩阵；

S3.根据近邻矩阵计算各个视图的局部化核矩阵；

S6.对得到聚类划分矩阵进行k-均值聚类，实现聚类。

核k-均值聚类过程如下：令

为由n个样本组成的数据集，

为将样本x投射到一个再生核希尔伯特空间

的特征映射。核k均值聚类的目标为最小化基于划分矩阵B∈{0,1}^n×k的平方误差和，如下式所示：

其中，

而

代表属于第c个簇(1≤c≤k)的样本个数。上式可以化为：

其中K是一个核矩阵，其元素为K_ij＝φ(x_i)^Tφ(x_j)，

表示所有元素都为1的向量。

由于上式中的变量B是离散的，优化较为困难。令

并将离散约束转换为实值正交约束，即H^TH＝I_k。可以将目标式转换为：

其闭式解为核矩阵K前k最大特征值对应的特征向量，可通过对K进行特征分解获得。

在步骤S3中，根据近邻矩阵计算各个视图的局部化核矩阵。

各个视图的局部化核矩阵，表示为：

其中，

表示元素的相乘。

在步骤S4中，根据计算得到的各个视图的局部化核矩阵构建局部化的简单多核k-均值聚类目标函数。

简单多核k-均值聚类目标函数，表示为：

S⁽ⁱ⁾∈{0，1}^{n×round(τ×n)}表示第i个样本的(τ×n)-近邻指示矩阵，round(·)是一个舍入函数。本实施例定义第i个样本的局部对其，表示为：

其中，

表示取出第i个样本的近邻元素。这种局部对齐只要求更可靠的样本保持在一起，这使得它能够更好地利用核矩阵之间的变化进行聚类。通过接对每个样本的局部对齐。

局部化的简单多核k-均值聚类目标函数，表示为：

s.t.H^TH＝I_k，

其中，

Rm表示…；γp表示…；

A⁽ⁱ⁾＝S⁽ⁱ⁾S^(i)T是近邻掩码矩阵。

在步骤S5中，采用简约梯度下降法求解构建的目标函数的极小值，得到最优的聚类划分矩阵。

(1)简单多核k-均值聚类SimpleMKKM的目标函数是上述局部化的简单多核k-均值聚类目标函数的一个特例，则：

其中，

表示元素的相乘；

表示标准化的核矩阵；

当

通过对每个基核应用这样的归一化，可以清楚地看到，全局核对齐是局部核对齐准则的一种特例。

从上述内容中可以看出，上述公式当A⁽ⁱ⁾的所有元素都设置为1时，将简化为SimpleMKKM。在这种情况下，每个样本都将其余的样本作为它的邻居。这意味着SimpleMKKM可以作为上述公式的一个特例，因此上述公式可以同样有效地写为：

其中，

这样，min-max优化就转化为了min优化，其中其目标

是一个核k-means最优值函数。

(2)通过上述归一化，每个

仍然保持正半定(PSD)。

此次以每个

是正半定矩阵具体说明。

注意S⁽ⁱ⁾∈{0，1}^{n×round(τ×n)}，

是一个半正定矩阵。并且，两个半正定矩阵之间的元素上的乘积仍然是半正定矩阵。所以，每个

是正半定矩阵。

每个

都通过上述归一化保持正半定性，这保证了

的可微性。在下面，接下来证明

的可微性，展示了如何计算其梯度，并使用简化梯度下降算法优化。

(3)

是可微的，

的全局唯一性即可得出。

梯度下降法计算目标函数表示为：

其中，

设u为指示向量γ的最大分量的数，它被认为可以提供更好的数值稳定性。

本实施例在下降方向上考虑了γ的正性约束，表示：

其中，d_p表示下降方向，γ就可以通过γ←γ+αd计算，其中α是最佳的步长。它可以通过一维线搜索策略来选择，如Armijo准则。

本实施例讨论了所提出的局部简单化MKKM的计算复杂度。在每次迭代中，局部化SimpleMKKM需要解决一个核kmeans问题，计算下降方向，并搜索最优步长。因此，它在每次迭代时的计算复杂度为

其中n₀是找到最优步长所需的最大操作数。正如所观察到的，局部化简单MKKM并不会显著增加现有MKKM和SimpleMKKM算法的计算复杂度。然后简要讨论了局部化SimpleMKKM的收敛性。请注意，使用给定的γ，就变成了传统的内核k-均值，它具有全局最优值。在此条件下，第(3)步中的梯度计算是精确的，本实施例的算法在定义域上进行简化梯度下降，该函数收敛于

的最小值。

如图2所示为算法流程图。

本实施例提出了一种新颖的局部化的简单多核k-均值聚类机器学习方法，该方法包括局部化核对齐、优化目标函数获取最优组合系数γ以及相应的划分矩阵H等模块。通过优化目标函数，本实施例使得经过优化后的核组合可以代表单个视图的信息，也能更好地服务于视图融合，达到聚类效果提升的目的。并且，本实施例对每个视图做了局部化处理，来强化局部信息。MKKM-MM首次尝试通过min-max学习来改进MKKM，它确实改进了MKKM，但效果有限。所提出的局部化的SimpleMKKM的性能显著优于MKKM-MM。这再次证明了本实施例的公式和相关的优化策略的优势。局部化的SimpleMKKM始终且显著优于SimpleMKKM。

其中，

表示元素的相乘。

s.t.H^TH＝I_k，

其中，

R^m表示m维实数向量空间；γ_p表示γ的第p个分量。

实施例二

本实施例提供的基于局部化简单多核k-均值的人脸图像聚类方法与实施例一的不同之处在于：

本实施例在8个MKKM基准数据集上测试了本方法的聚类性能，包括MSRA、Still、Cal-7、PFold、Nonpl、Flo17、Flo102和Reuters。数据集的相关信息参见表1。

表1所使用的数据集

Dataset	Samples	Kernels	Clusters
				MSRA	210	6	7
Still	467	3	6
				Cal-7	441	6	7
PFD	694	12	27
				Nonpl	2732	69	3
Flo17	1360	7	17
				Flo102	8189	4	102
Reuters	18758	5	6

本实施例采用平均多核聚类算法(A-MKKM)、多核k均值聚类(MKKM)、局部化的多核k均值聚类(LMKKM)、鲁棒的多核聚类(MKKM-MM)、带矩阵诱导正则化项的多核k均值聚类(MKKM-MR)、最优邻居多核聚类(ONKC)、基于后期融合的最大化对齐多视图聚类(MVC-LFA)、局部对齐最大化的多核聚类(LKAM)。在所有实验中，所有基准核首先被中心化和正则化。对于所有数据集，假设类别数量已知且被设置为聚类类别数量。另外，本实施例使用了网格搜索RMKKM、MKKM-MR、ONKC和MVC-LFA的参数。

本实施例使用了常见的聚类准确度(ACC)、归一化互信息(NMI)和兰德指数(RI)来显示每种方法的聚类性能。所有方法随机初始化并重复50次并显示最佳结果以减少k-means造成的随机性。

表2八个数据集上不同算法的聚类效果

表2展示了上述方法以及对比算法在所有数据集上的聚类效果。根据该表可以观察到：1.MKKM-MM首次尝试通过min-max学习来改进MKKM。正如所观察到的，它确实改进了MKKM，但在所有数据集上，比MKKM的性能改进都是有限的。同时，所提出的局部化简单MKKM的性能显著优于MKKM-MM。这再次证明了本实施例跌方法和相关的优化策略的优势；2.除了本方法的本地化SimpleMKKM之外，与所有基准数据集上的上述算法相比，SimpleMKKM还取得了可比性或更好的聚类性能。这种优越性要归因于其新的公式和新的优化算法；3.提出的局部化SimpleMKKM始终且显著优于SimpleMKKM。例如，在8个基准数据集上，ACC超过SimpleMKKM算法4.7％、5.2％、8.3％、1.2％、17.3％、17.3％、1.8％、1.5％和1.1％。在其他标准方面的改进也是相似的。这些结果很好地证明了所提出的局部简单化MKKM受益于探索和提取核矩阵的局部信息的优越性。

如图3所示示出了由不同算法学习的核系数。图4是在6个基准数据集上迭代的局部化的SimpleMKKM学习H的聚类性能。图5是局部化SimpleMKKM的目标函数值随迭代次数的变化。图6是所有基准数据集上不同算法的运行时间比较(单位：秒数的对数)，其中，每个数据集下的柱状图从左到右依次为Avg-KKM、MKKM、LMKKM、ONKC、MKKM-MiR、LKAM、LF-MVC、MKKM-MM、SimpleMKKM、LSMKKM。图7是近邻比例τ的大小对6个有代表性的数据集上聚类性能的影响。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。