CN111046745B - 基于软块对角的多视聚类方法 - Google Patents

Abstract

本发明提出一种基于软块对角的多视聚类方法，涉及模式识别和机器学习等领域，尤其是面向人脸图像的不完整多视角数据的聚类任务。该方法在基于多视角数据自表示的模型上引入软块对角正则化，对学习到的多图进行融合，最终把得到的软块对角相似度矩阵执行NCut操作。相比于传统的硬块对角正则化，软块对角正则化对噪声和异常值更加鲁棒。完成了不完整多视聚类任务，提高了识别正确率。

Description

基于软块对角的多视聚类方法

技术领域

本发明涉及模式识别和机器学习等领域，尤其是面向人脸图像的不完整多视角数据的聚类任务。

背景技术

多视角数据聚类是当前数据挖掘领域的研究热点之一，在机器学习，模式识别和计算机视觉等方面都有着广泛的应用。相比于单视角图像视频数据，多视角数据可以看作对同一对象不同视角的采样，这种多视角采样提供了更全面的对象或场景的信息，有益于解决聚类应用中常用的光照和遮挡等问题。而如何获取多视视频数据的类别等语义信息，是多视视频大数据高效组织和有效利用的关键问题，这一问题的解决依赖于聚类分析中的无监督聚类方法的突破。

在聚类任务中，为了对具有K个类别的数据进行聚类，理想的相似矩阵应该具有精确的K个对角块，其中来自相同块的数据自然地被视为一个类别，这种块对角正则化策略通常被嵌入到谱聚类算法中以提高聚类性能，但仍存在若干缺点。一方面，它们被设计用于多个图的数据，而不是原始的多视角数据或特征。另一方面，这使得块对角矩阵具有恰好具有K个连通分量，其中K是类别的数量，忽略了噪声和异常值的重要性。

传统的多视聚类方法假设所有样本的各视信息都是完整的，但实际情况下某些视角数据有可能缺失，例如由于某视角拍摄设备故障或者线路传输故障造成某视角数据丢失，产生不完整多视数据，并且每个样本的缺失是视角的数量是随机的，这为多视聚类算法带来了困难。

发明内容

为解决传统方法聚类多视角数据出现的问题，本发明公开了一种基于软块对角策略的多视聚类方法，同时面向完整及不完整的多视角数据。该方法在基于多视角数据自表示的模型上引入软块对角正则化，对学习到的多图进行融合，最终把得到的软块对角相似度矩阵执行NCut操作。相比于传统的硬块对角正则化，软块对角正则化对噪声和异常值更加鲁棒。为了处理不完整的多视角数据，使用多个指示矩阵来标记每个视角中缺失样本的位置，从而完成不完整多视聚类任务。

基于软块对角正则化的多视聚类方法，适用于完整和不完整的多视角数据，包括以下步骤：

首先使用四个经典的人脸数据库(ORL,Yale，Extended YaleB和CMU-PIE)来构建输入样本点：a)将所有图片尺度归一化后提取LBP,Gist和Gabor特征作为完整多视数据样本的三个视角输入。b)对于完整的数据集，先随机从每个视角中删除0.1-0.4的样本再提取LBP,Gist和Gabor特征作为不完整多视数据样本的三个视角输入。

接下来利用提出的多视聚类方法MVC-SBD和IMVC-SBD分别对完整和不完整的多视输入数据进行处理：

·MVC-SBD:

s.t.diag(B_M)＝0,B_M≥0,B_M＝B_M ^T

·IMVC-SBD:

s.t.diag(B_IM)＝0,B_IM≥0,B_IM＝B_IM ^T

其中X^v和Y^v分别表示完整的和不完整的多视聚类模型的第v个视角输入，具体地，视角数目v取3，X¹，X²和X³(Y¹，Y²和Y³)分别表示提取的LBP,Gist和Gabor特征；Z_M和Z_IM分别表示X^v和Y^v的自表示矩阵；B_M和B_IM为相似度矩阵；约束‖B_M‖_≈K和‖B_IM‖_≈K表示软块对角正则化，即矩阵B_M和B_IM的对角块数目近似于数据样本的类别数K。相比于传统的块对角约束(严格要求相似度矩阵具有K个对角块)软块对角正则化约束的使用保证了本方法模型对噪声和异常值的鲁棒性。权衡因子λ₁λ₂λ₃取值范围为{10^-4，10^-3，10^-2，10^-1，10⁰，10¹，10²，10³}。diag(·)提取矩阵的对角元素。

最后对该模型进行优化求解得到的软块对角相似度矩阵B_M和B_IM执行谱聚类Ncut操作，得到聚类结果。我们选择了ACC和NMI作为标准测量值，指标的较高值会反映出更好的性能。

有益效果

本发明解决了传统多视聚类方法假设所有样本的各视信息都是完整的，而实际情况下某些视角数据存在缺失，产生不完整多视数据的问题，完成了不完整多视聚类任务，提高了识别正确率。

附图说明

图1、本发明方法流程图

图2、数据库部分样本示例

具体实施方式

人脸图像集聚类-面部聚类是模式识别领域的一个基本问题。在一个图像集上聚类，即一个人的多个面部图像，可以减轻使用单个人脸图像的缺点，例如有限的视图，噪声和坏的聚类结果。在这个实验中，我们使用四个常用的经典人脸数据库，包括ORL，Yale，Extended YaleB和CMU-PIE，来构建面部图像集数据。

图2是数据集中的一些样本图像，由上至下依次为ORL,Yale，Extended YaleB,CMU-PIE。这些数据集均为完整数据集(未缺失)，直接提取特征可作为完整多视数据聚类方法模型的输入；先随机从每个视角中删除0.1-0.4的样本再提取特征则可作为不完整多视数据聚类方法模型的输入。

为了验证所提方法聚类效果的优越性，将本发明MVC-SBD与SwMC，MLAN，DiMSC,LMSC，MCGC,MVGL几种面向完整数据的多视聚类方法进行比较，将本发明的IMVC-SBD与IMC-GRMF,UEAF,OPIMC几种面向不完整数据的多视聚类方法进行比较。

表1显示了在不同数据集上，MVC-SBD与其他多视聚类方法的实验效果。显然，在大多数情况下，我们提出的方法性能明显优于许多现有的最先进的方法，而其他比较方法仅在部分数据集中获得满意的实验结果，如ORL数据集中的DiMSC,CMU-PIE数据集中的SwMC和LMSC。由于噪声、光照、姿态等因素的影响，在Extended YaleB和CMU-PIE数据库数据量更大、数据样本更复杂的情况下，聚类性能变得更具挑战性。然而，从目前的结果可以看出，我们的MVC-SBD仍然优于其他方法。它清楚地说明了我们提出的多视聚类统一框架对于噪声和离群点的鲁棒性。与基于自表示的方法DiMSC和LMSC相比，我们提出的MVC-SBD在两个评估指标方面均实现了较高的性能，这是因为我们将软块对角正则化约束引入了自表示模型中。谱聚类算法中，理想的相似度矩阵应该具有块对角结构。尽管对比方法MLAN，SwMC，MCGC和MVGL中使用的拉普拉斯秩约束也是经典的块对角约束，但它严格要求所学习的相似性矩阵恰好包含K个对角块，由于存在噪声和离群值，这种约束对实际数据过于严格。而本方法使用的软块对角正则化放宽了该约束条件，并获得了更好的实验结果。

表2列出了不同数据库中比较方法的不完全多视聚类结果。可以看出，对于不同的不完全多视数据聚类任务，当不完全率在0.1-0.4之间变化时，我们所提出的IMVC-SBD方法总能获得最佳的性能。另外，与我们的IMVC-SBD相比，其他三种方法的实验性能较差，这表明基于谱聚类的方法比基于矩阵分解的方法能够捕获更多不完整多视数据的互补信息。可以看出，随着不完全度的增加，我们的方法IMVC-SBD的ACC和NMI值约下降了20％，这表明采用软块对角正则化策略学习一个判别表示矩阵对于不完整多视聚类是至关重要的。

无论是完整还是不完整多视数据，我们提出的方法都比其他比较方法实现了更高的聚类精度和识别能力，这预示着未来在实际应用中的良好前景。

表1：完整多视数据聚类方法效果对比

表2：不完整多视聚类方法效果对比

Claims (1)

1.基于软块对角的多视聚类方法，适用于完整以及不完整的多视数据，其特征在于包括以下步骤：

(1)将样本数为N，类别数为K的图像数据集，提取LBP，Gabor，及Gist特征，作为完整数据多视聚类模型的三个视角输入：X¹，X²及X³；对于不完整多视聚类，先随机从每个视角中删除0.1-0.4的样本，再提取LBP，Gabor及Gist特征，作为不完整数据多视聚类模型的三个视角输入：Y¹，Y²及Y³；

(2)通过基于软块对角策略的多视聚类方法MVC-SBD和IMVC-SBD分别对完整和不完整的多视输入数据进行处理，其中所述的多视聚类学习方法模型如下：

●MVC-SBD：

s.t.diag(B_M)＝0，B_M≥0，B_M＝B_M ^T

●IMVC-SBD：

s.t.diag(B_IM)＝0，B_IM≥0，B_IM＝B_IM ^T

其中X^v和Y^v分别表示完整的和不完整的多视聚类模型的第v个视角输入，具体地，视角数目v取3，X¹，X²和X³分别表示完整的多视聚类模型提取的LBP，Gist和Gabor特征，Y¹，Y²和Y³分别表示不完整的多视聚类模型提取的LBP，Gist和Gabor特征；Z_M ^v和Z_IM ^v分别表示X^v和Y^v的自表示矩阵；B_M和B_IM为相似度矩阵；约束||B_M||_≈K和||B_iM||_≈K表示软块对角正则化，即矩阵B_M和B_IM的对角块数目近似于数据样本的类别数K；λ₁、λ₂、λ₃取值范围均为{10^-4，10^-3，10^-2，10^-1，10⁰，10¹，10²，10³}，diag(·)提取矩阵的对角元素；

(3)根据优化求解得到的软块对角相似度矩阵B_M和B_IM，分别对其进行谱聚类Ncut操作，得到两种模型的多视聚类结果。