CN109711456A - 一种具备鲁棒性的半监督图像聚类方法 - Google Patents

Abstract

本发明公开了一种具备鲁棒性的半监督图像聚类方法，它涉及图像处理及应用领域。该方法针对一般图像聚类技术里面专注于对图像数据预处理和特征筛选上，而在聚类方法上并未有所突破，提出了一种具备鲁棒性的半监督图像聚类方法。该图像聚类方法首先考虑了实际情况下图像数据中存在的噪声和离群值，通过鲁棒性的正则化来减少噪声和离群值的影响，再从有标记图像和无标记图像两个方面着手挖掘图像数据知识；同时，在图像数据的预处理和特征筛选上，采取了具有适用性的归一化来事先处理图像数据，充分保证图像数据信息的完整性。

Description

一种具备鲁棒性的半监督图像聚类方法

技术领域

本发明涉及的是图像处理及应用领域，具体涉及一种具备鲁棒性的半监督图像聚类方法。

背景技术

非负矩阵分解(Nonnegative Matirx Factorization，NMF)及其扩展算法已经在机器学习和数据挖掘领域受到了广泛关注。在模式识别，计算机视觉和信息检索等领域中，输入的数据常常具有很高的维度，因此各类矩阵分解技术被用于去寻找隐藏在原始数据中的低维结构。非负矩阵分解在矩阵因子上施加了非负约束，即矩阵因子的元素必须大于等于零,这就导致了NMF的解会产生对数据基于部分的表示。因此它是一种应用于图像处理，人脸识别和文本识别的理想降维算法。然而，传统的NMF作为无监督方法，无法利用标签信息。在实际的应用中，如果可以标记少量样本，将半监督的思想引入非负矩阵分解中，将会弥补非负矩阵分解的缺陷，获得更好的聚类效果。

传统的机器学习技术分为两类，一类是无监督学习，一类是监督学习。无监督学习只利用未标记的样本集，而监督学习则只利用标记的样本集进行学习。但在很多实际问题中，只有少量的带有标记的数据，因为对样本进行类别标记往往需要耗费大量的人力物力，代价有时很高，而大量的未标记的数据却很容易得到。这就促使能同时利用标记样本和未标记样本的半监督学习技术迅速发展起来。基于非负矩阵分解延伸的半监督非负矩阵分解算法就有较好的效果。

图像聚类是将未知类别的图像划分成若干簇，簇的数目为图像的类别数。对于计算机而言，进行无监督的聚类是较为困难的。原因有两方面：第一是因为图像里充满了大量复杂多样且难以描述的对象，由原始图像到模式识别方法里具体的数据的数据处理和特征选择方法多样；第二是因为聚类结果往往会受到噪声和离群值的影响。对于图像聚类而言，一般做法从第一个方面出发，在数据预处理和特征选择的过程中尽可能找出合适的特征选择方法，再通过具有鲁棒性的半监督聚类算法进行聚类，往往具有较好的聚类效果。

综上所述，本发明设计了一种具备鲁棒性的半监督图像聚类方法。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种具备鲁棒性的半监督图像聚类方法，通过挖掘有标记样本数据信息并通过鲁棒性正则化从而提高机器的图像聚类能力。

符号记法：我们在此总结本文的符号和范数定义，其中大写字母表示矩阵，小写粗体字母表示向量。给定一个矩阵W＝{w_ij}，它的行定义为wⁱ，它的列定义为w_j。向量的lp范数定义为其中p>0。矩阵的Frobenius范数定义为用Tr(W)表示矩阵的迹。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种具备鲁棒性的半监督图像聚类方法，包括如下定义和步骤：定义1：给定一个输入数据矩阵其中p是数据维度，n是样本数量；

定义2：令G＝[g¹；K；gⁿ]，是聚类指示矩阵，其中n为样本个数，k为类别个数。G的每行中最大元素的索引值表示样本的类别号。

定义3：标准的NMF公式定义如下：

定义4：边权重矩阵W的定义如下：

其中N_k(x_j)表示x_i的k近邻集，且W是对称矩阵。图拉普拉斯矩阵定义为L＝D-W，其中D是对角矩阵，它的对角线元素等于W的每一列元素的和，d_ii＝∑_jw_ij；

定义5：给定数据矩阵令G＝[g¹；K；gⁿ]，是聚类指示矩阵，其中n为样本个数，k为类别个数。假设MS和CS分别表示must-link集和cannot-link集，来自给定的部分有标签样本。我们用|g|表示MS或CS中的条目数量。于是，成对约束正则化公式定义如下：

其中i,j,p,q∈[1,n]；<i,j>表示MS中任意条目，并且i，j是X中各自数据的索引值。同样的<p,q>，表示CS中任意条目，p，q是相应的数据索引值。

定义6：矩阵Q_n×n表示标记样本间的成对约束关系：

然后式(3)的成对约束公式能被改写为如下形式：

这里Z＝H-Q，H＝diag(Qg1_n×1)

其中，1_n×1定义了一个元素值都为1的n×1维常向量；

定义7：L'和Z'分别为经过特征分解后的图拉普拉斯矩阵和成对约束矩阵：

其中，λ_{min_L}和λ_{max_L}分别是图拉普拉斯矩阵L的最小和最大特征值；同样，λ_{min_Z}和λ_{max_Z}分别是成对约束矩阵Z的最小和最大特征值。

1、原始图像的数据预处理，包含如下步骤：

步骤一：将所有原始图像进行灰度化处理，并进行尺寸统一，并把每张图像的所有像素点作为一个样本的特征，这样得到一个初步的图像数据；

步骤二：对步骤一中的得到数据进行数据归一化，得到相应的图像数据；

2、具备鲁棒性的半监督图像聚类方法，包含如下步骤：

步骤一：生成具备鲁棒性的半监督聚类模型，如式(8)所示：

式(8)即具备鲁棒性的半监督聚类模型可分为两部分，第一部分是基于l_2,1正则化的非负矩阵分解目标函数，把原本目标函数中的Frobenius正则化替换为l_2,1正则化来减少噪声和离群值的影响；第二部分是流形与成对约束联合正则化框架，通过参数τ的调节来合理安排流形正则化和成对约束正则化各自对整体的影响。

步骤二：利用通过步骤一的算法框架，并把数据预处理过程中处理的图像数据导入到算法模型中，得到图像的聚类结果。

进一步的，步骤一所述的算法的优化步骤包括：

A.利用增广拉格朗日乘子法(Augmented Lagrangian Multiplier，ALM)来处理式(8)，这里有两个变量F和G,我们首先引入两个辅助变量E＝X-FG^T和H＝G，然后重写目标函数：

其中S＝(1-τ)L'+τZ'。这里μ,∧和∑都是ALM框架的参数；μ是决定不可行性惩罚的规范化系数；∧和∑都是用来惩罚目标变量和辅助变量之间的差距。μ是标量，∧和∑是两个n×k维的矩阵。

B.优化

1)更新E

固定F，H和G，目标函数变为：

我们需要下述定理去解决式(10)。

定理1：给定一个矩阵和一个正标量λ，然后X^*是如下式子的最优解。

并且X^*的第i列为：

证明：式(11)中的目标函数等价于以下形式：

我们很容易看出，对于每个x_i可以用解耦的方式来解决：

在对x_i求导后，我们得到：

其中r是次梯度向量，并且||r||₂≤1。

当x_i＝0时，得：

-w_i+λr＝0； (16)

即λ≥||w_i||；

当x_i≠0时，得：

即x_i＝αw_i，(18)其中显然x_i中的每个元素必须和w_i中的相应位置的元素符号相同。把x_i＝αw_i回代到上式，解得α，再把α回代。之后我们得到：

然后我们可知在这种情况下λ＜||w_i||；

因此，式(10)可以写成如下形式：

其中

所以，根据定理1，式(10)的解为

其中y_i是Y的列。

2)更新F

固定E，H和G，目标函数变为：

这是一个经典的回归问题，我们定义：

F的解变为F＝JG,由于G^TG＝I；

这就显示出给G加上正交约束的必要性，保证了解的唯一性，减少了计算量。

3)更新H

固定F，E和G，目标函数变为：

展开上式并舍弃与H无关的项得：

令

可得H的解为H_ij＝max(M_ij，0)； (29)

4)更新G

固定F，E和H，目标函数变为：

和上一部分优化H的过程相似，令

可将式(30)写为如下形式：

在此我们引入定理2去解决上式。

定理2：若给定上述式子中的目标函数，G的最优解为：

G＝UV^T；(34)

其中U和V是对N进行奇异值分解之后的左右奇异向量组成的矩阵。

证明：根据奇异值分解，令N＝UΓV^T，其中且k<n。

Tr(G^TN)＝Tr(G^TUΓV^T)＝Tr(ΓV^TG^TU)＝Tr(ΓZ)＝∑_iσ_iiz_ii； (35)

其中我们很容易看出Z是标准正交的：

ZZ^T＝V^TG^TUU^T＝I， (36)

因此-1≤z_ii≤1。又σ_ii≥0，于是得：

Tr(G^TN)＝∑_iσ_iiz_ii≤∑_iσ_ii； (37)

当Z＝I_k,n时等式成立，即V^TG^TU＝I_k,n。显然有G＝UV^T。

5)更新μ,∑和∧

更新完F，E，H和G四个变量之后，还需要去更新ALM框架的参数。

∧＝∧+μ(X-FG^T-E)； (38)

∑＝∑+μ(G-H)； (39)

μ＝ρμ； (40)

这里的ρ＞1是用来控制收敛速度的。ρ越大，收敛所需的迭代次数就越少，但与此同时会降低精度。

本发明具有以下有益效果：首先，引入了流形与成对约束联合正则化，通过成对约束对图拉普拉斯的隐式调节，从而促进了对真实数据流形的无偏差估计；其次,通过使用一个在固定区间[0,1)间变化的权衡因子，我们能够在任何半监督聚类场景中灵活的控制成对约束对图拉普拉的影响程度；最后，我们采用l_2,1正则化代替Frobenius正则化，减少了噪声和离群值对目标函数的影响，增加了算法的鲁棒性。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明所述具备鲁棒性的半监督图像分类方法流程图；

图2为样本标签转化为成对约束集和MS和CS的过程示意图；

图3为用于聚类所需要的二类图像，抽取其中一部分展示；

图4为算法模型在不同标签下的预测精度值的趋势图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图1-图4，本具体实施方式采用以下技术方案：一种具备鲁棒性的半监督图像聚类方法，包括以下步骤：步骤一：生成具备鲁棒性的半监督聚类模型，如式(8)所示：

式(8)即具备鲁棒性的半监督聚类模型可分为两部分，第一部分是基于l_2,1正则化的非负矩阵分解目标函数，把原本目标函数中的Frobenius正则化替换为l_2,1正则化来减少噪声和离群值的影响；第二部分是流形与成对约束联合正则化框架，通过参数τ的调节来合理安排流形正则化和成对约束正则化各自对整体的影响。

步骤二：利用通过步骤一的算法框架，并把数据预处理过程中处理的图像数据导入到算法模型中，得到图像的聚类结果。

值得注意的是，所述的步骤一中的算法的优化步骤包括：

(A).利用增广拉格朗日乘子法(Augmented Lagrangian Multiplier，ALM)来处理式(8)，这里有两个变量F和G,我们首先引入两个辅助变量E＝X-FG^T和H＝G，然后重写目标函数：

其中S＝(1-τ)L'+τZ'。这里μ,∧和∑都是ALM框架的参数；μ是决定不可行性惩罚的规范化系数；∧和∑都是用来惩罚目标变量和辅助变量之间的差距。μ是标量，∧和∑是两个n×k维的矩阵。

(B).优化

1)更新E

固定F，H和G，目标函数变为：

2)更新F

固定E，H和G，目标函数变为：

这是一个经典的回归问题，我们定义：

F的解变为F＝JG,由于G^TG＝I。

这就显示出给G加上正交约束的必要性，保证了解的唯一性，减少了计算量。

3)更新H

固定F，E和G，目标函数变为：

展开上式并舍弃与H无关的项得：

令

可得H的解为H_ij＝max(M_ij，0)。 (29)

4)更新G

固定F，E和H，目标函数变为：

和上一部分优化H的过程相似，令

可将式(30)写为如下形式：

在此引入定理2去解决上式。

5)更新μ,∑和∧

更新完F，E，H和G四个变量之后，还需要去更新ALM框架的参数。

∧＝∧+μ(X-FG^T-E)； (38)

∑＝∑+μ(G-H)； (39)

μ＝ρμ； (40)

这里的ρ＞1是用来控制收敛速度的。ρ越大，收敛所需的迭代次数就越少，但与此同时会降低精度。

本具体实施方式的方法针对一般图像聚类技术里面专注于对图像数据预处理和特征筛选上，而在聚类方法上并未有所突破，提出了一种具备鲁棒性的半监督图像聚类方法。该图像聚类方法首先考虑了实际情况下图像数据中存在的噪声和离群值，通过鲁棒性的正则化来减少噪声和离群值的影响，再从有标记图像和无标记图像两个方面着手挖掘图像数据知识；同时，在图像数据的预处理和特征筛选上，采取了具有适用性的归一化来事先处理图像数据，充分保证图像数据信息的完整性。

以下是一个详细的实施过程。

1、原始图像数据预处理过程：

1)把所有原始图像进行灰度化处理，并设置统一的尺寸，具体分辨率为100*100，然后把每张图像的所有像素点作为一个样本的特征，这样得到一个初步的图像数据集；

2)对1)中得到的初步的图像数据集进行归一化处理并得到归一化后的图像数据集；

2、模型预测阶段：

1)根据数据预处理得到的训练数据，以及数据标签，生成MS集合CS集，并求出图拉普拉斯矩阵L和成对约束矩阵Z；

2)设置算法参数，将数据样本输入到算法模型中，通过上述更新迭代过程得到聚类结果。

通过上述两个阶段，最终得到了具备鲁棒性的半监督图像聚类方法的图像分类准确度。

实施例1：

图3(a)-3(d)表示各类图像为训练测试所用图像的部分样本，其中各类样本数量为250张，图4为在不同标记样本点下的图像分类准确度趋势图，本实施例中参数选择方法为网格搜索法，参数λ的范围为{0.001,0.01,0.1,1,10}。实施例中聚类准确度为运行20次算法的最优结果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种具备鲁棒性的半监督图像聚类方法，其特征在于，包括以下步骤：步骤一：生成具备鲁棒性的半监督聚类模型，如式(8)所示：

式(8)即具备鲁棒性的半监督聚类模型可分为两部分，第一部分是基于l_2,1正则化的非负矩阵分解目标函数，把原本目标函数中的Frobenius正则化替换为l_2,1正则化来减少噪声和离群值的影响；第二部分是流形与成对约束联合正则化框架，通过参数τ的调节来合理安排流形正则化和成对约束正则化各自对整体的影响；

步骤二：利用通过步骤一的算法框架，并把数据预处理过程中处理的图像数据导入到算法模型中，得到图像的聚类结果。

2.根据权利要求1所述的一种具备鲁棒性的半监督图像聚类方法，其特征在于，所述的步骤一的算法的优化步骤包括：

(A).利用增广拉格朗日乘子法(Augmented Lagrangian Multiplier，ALM)来处理式(8)，这里有两个变量F和G,我们首先引入两个辅助变量E＝X-FG^T和H＝G，然后重写目标函数：

其中S＝(1-τ)L'+τZ'，这里μ,∧和∑都是ALM框架的参数；μ是决定不可行性惩罚的规范化系数；∧和∑都是用来惩罚目标变量和辅助变量之间的差距；μ是标量，∧和∑是两个n×k维的矩阵；

(B).优化

1)更新E

固定F，H和G，目标函数变为：

2)更新F

固定E，H和G，目标函数变为：

这是一个经典的回归问题，我们定义：

F的解变为F＝JG,由于G^TG＝I；

这就显示出给G加上正交约束的必要性，保证了解的唯一性，减少了计算量；

3)更新H

固定F，E和G，目标函数变为：

展开上式并舍弃与H无关的项得：

令

可得H的解为H_ij＝max(M_ij，0)； (29)

4)更新G

固定F，E和H，目标函数变为：

和上一部分优化H的过程相似，令

可将式(30)写为如下形式：

在此引入定理2去解决上式；

5)更新μ,∑和∧

更新完F，E，H和G四个变量之后，还需要去更新ALM框架的参数；

∧＝∧+μ(X-FG^T-E)； (38)

∑＝∑+μ(G-H)； (39)

μ＝ρμ。 (40)

3.根据权利要求1所述的一种具备鲁棒性的半监督图像聚类方法，其特征在于，所述的步骤二中的图像数据是通过原始图像的数据预处理的，包含如下步骤：

步骤一：将所有原始图像进行灰度化处理，并进行尺寸统一，并把每张图像的所有像素点作为一个样本的特征，这样得到一个初步的图像数据；

步骤二：对步骤一中的得到数据进行数据归一化，得到相应的图像数据。