CN102968639A - 基于局部线性回归的半监督图像聚类子空间学习算法 - Google Patents

Abstract

本发明公开了一种基于局部线性回归的半监督图像聚类子空间学习算法。首先采用局部线性回归模型预测训练样本在聚类子空间中的坐标，得到预测值与真实值之间的局部预测误差，进而得到总预测误差最小化的目标函数；然后根据类间离散度最大化和类内离散度最小化两个约束条件，利用标记样本和未标记样本计算类间离散度矩阵和总离散度矩阵；最后，将类间离散度矩阵和总离散度矩阵融入到总预测误差最小化的目标函数中，得到求解聚类子空间的目标函数，通过广义特征根进行函数求解，得到最优的聚类子空间。本发明充分利用了标记样本、未标记样本，以及训练数据集中的局部近邻关系，得到了较好的聚类结果。

Description

基于局部线性回归的半监督图像聚类子空间学习算法

技术领域

本发明属于半监督图像聚类子空间学习算法技术领域。特别是涉及一种基于局部线性回归的半监督图像聚类子空间学习算法。

背景技术

随着数字相机的普及和信息技术的发展，出现了越来越多的大规模的图像数据库，其中相当比例的图像是未标注、未分类的。一图胜千言，图像数据所表达的语义信息较为丰富，因此，人工标注和分类工作不仅费时费力、成本较高，而且难以做到标准统一和结果客观。这就使得对图像数据库的高效管理和有效利用十分重要且困难重重。

图像聚类算法可从底层特征中挖掘出潜在的高层语义关系，从而自动、高效地对图像数据集进行聚类是实现图像数据库有效管理的重要途径。同时，图像数据具有颜色、纹理、形状等多种底层视觉特征，而底层特征和高层语义之间的语义鸿沟问题，又使得对图像数据聚类的研究极具挑战性。

近年来，大量研究探讨了如何在图像聚类过程中缩小语义鸿沟，提出了子空间学习、谱分析方法、流形学习、张量模型等诸多较为有效的方法。这些方法通过机器学习、统计分析等相关理论和原理，对训练样本进行学习，从高维特征中挖掘出图像语义的有效表达，以提高图像聚类的效率。根据训练过程中对标记样本和未标记样本的使用，上述方法可归纳为监督式、无监督式和半监督式学习三种类型。

监督式学习要求所有的训练数据都是已标记样本，如：Fisher人脸方法在线性鉴别分析(Linear Discriminant Analysis,LDA)的基础上，对标记样本进行学习得到Fisher人脸子空间，并用于人脸图像的聚类，其结果超越了传统的“特征人脸”方法。

监督式学习方法完全依赖于标记样本，且需要有充足的标记样本才能取得较好的学习效果。而目前庞大的图像数据库中大多是未标记的数据，获得大量标记样本较为困难。因此，无监督学习被广泛使用，如：主成分分析(PrincipalComponent Analysis)方法、局部保持映射(Locality Preserving Projection)和局部线性嵌入(Locally Linear Embedding)等方法。

然而，无监督学习完全以未标记样本为学习对象，在准确率方面难以与监督式学习媲美，但监督式学习要取得理想的效果，又需要有充足的标记样本。因此，半监督学习迅速成为机器学习领域的研究热点，例如：半监督鉴别分析算法(Semi-supervised Discriminant Analysis,SDA)利用标记样本和未标记样本，计算最优离散度的聚类子空间，取得了较好的学习性能。

现有研究大都或多或少地存在一些缺陷和不足，尤其体现在如何挖掘训练数据集的几何近邻关系，分析类内和类间离散度，求解聚类子空间的最优解，从而取得较好的聚类性能。

发明内容

本发明旨在克服现有技术缺陷，目的在于提供一种基于局部线性回归的半监督图像聚类子空间学习算法，该方法在满足聚类约束条件的情况下，挖掘图像训练数据集的局部近邻关系，得到最优坐标矩阵，取得较好的聚类性能。

为实现上述目的，本发明采用的技术方案是：

第一步、特征向量x的预测误差

（1）构建训练数据集，包括标记样本和未标记样本；

（2）对训练数据集中的每幅图像，提取底层的颜色、纹理和形状特征，构成特征向量x；

（3）采用局部线性回归方法，预测特征向量x在聚类子空间中的坐标，得到预测值

z＝ψ^Tx+ξ（1）

式(1)中：ψ表示回归矩阵；

ξ表示偏向；

T表示转置运算。

（4）设特征向量x在聚类子空间中的坐标最佳取值为y，则预测值z与最佳取值y之间的差为特征向量x的预测误差

q=||z-y||²=||ψ^Tx+ξ-y||²（2）

式(2)中:||||²表示二范式。

第二步、基于近邻关系的局部预测误差之和

（1）根据欧氏距离，从训练数据集中找到与特征向量x相邻的图像5~8幅；

（2）采用第一步中第（3）和第（4）分步所述方法，得到特征向量x相邻的图像中每幅图像的预测误差q，然后对特征向量x相邻的图像中每幅图像的预测误差q进行累加，得到基于近邻关系的局部预测误差之和σ。

第三步、基于总预测误差的优化函数

（1）在整个训练数据集的范围内，对基于近邻关系的局部预测误差之和σ进行累加，得到全局范围内的总预测误差，将总预测误差最小化，得到总预测误差的优化函数

$\min \underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\left|\right|{\mathrm{\ψ}}^{T}x+\mathrm{\ξ}-y\left|\right|}^2+\mathrm{\α}{\left|\right|\mathrm{\ψ}\left|\right|}^2)---\left(3\right)$

式（3）中：min表示最小化函数；

表示从数据集中第1幅图像到第n幅图像进行累加；

n表示训练数据集中图像的总个数；

ξ表示偏向；

α为权重参数（0<α<1）；

ψ表示回归矩阵；

T表示转置运算；

x表示特征向量；

y表示特征向量x在聚类子空间中的坐标的最佳取值；

α||ψ||²是加入的正则项，以避免出现过学习现象。

（2）对式（3）中的参数ψ和参数ξ求导，根据矩阵运算规则，式（3）的总预测误差的优化函数变形为

mintr(YLY^T)（4）

式（4）中：tr表示矩阵的迹运算；

min表示最小化函数；

Y表示由所有图像样本在聚类子空间中坐标的最佳取值构成的最优坐标矩阵,即为待求解的聚类子空间；

T表示转置运算；

L为相关性矩阵，记录了图像样本之间的相邻关系。

第四步、聚类约束条件

（1）在聚类过程中，除了需要满足式（4）之外，还增加两个聚类约束条件，分别是训练数据集的类内离散度最小和训练数据集的类间离散度最大。

（2）训练数据集中标记样本的类间离散度

$b=\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{maa}}^T---\left(5\right)$

式（5）中：c为正整数，表示训练数据集中标记样本的语义类别数；

i为正整数；

a表示每个语义类别的特征均值；

m表示语义类别中标记样本的个数；

T表示转置运算。

（3）将式（5）扩展到整个训练数据集，包括标记样本和未标记样本，根据矩阵运算规则，得到训练数据集的类间离散度

B＝XLX^T    （6）

式（6）中：X表示图像视觉特征矩阵；

L为式（4）中的相关性矩阵；

T表示转置运算。

（4）训练数据集的类内离散度

W＝XX^T    （7）

式（7）中：X表示图像视觉特征矩阵；

T表示转置运算。

第五步、总目标函数的定义和求解

（1）根据式（4）、式（6）和式（7）得到总目标函数

$\underset{D}{\max }\mathrm{tr}\left[D^T\mathrm{BD}{(D^T\mathrm{WD}+{\mathrm{\&lambda;D}}^T\mathrm{XL}{X}^{T}D)}^{-1}\right]---\left(8\right)$

式（8）中：D表示聚类子空间的映射矩阵；

W表示类内离散度；

B表示类间离散度；

-1表示矩阵的逆运算；

λ表示权重参数；

T表示转置运算；

L为式（4）中的相关性矩阵；

X表示图像视觉特征矩阵；

tr表示矩阵的迹运算。

（2）用广义特征根方法求解式（8），得到2c个非零特征根，取其中c个最大的非零特征根，得出相应的c个非零特征向量d₁,d₂，...d_c，聚类子空间的映射矩阵D的最优解为[d₁，d₂,...d_c]。

（3）根据映射矩阵D的最优解[d₁，d₂,...d_c]，求解最优坐标矩阵

Y=D^TX    （9）

式(9)中：T表示转置运算；

X表示图像视觉特征矩阵。

（4）根据最优坐标矩阵Y，找到图像样本在聚类子空间中对应的坐标，采用Kmeans聚类算法，得到图像聚类结果。

由于采用上述技术方案，本发明与现有技术相比具有如下积极效果：

本发明采用局部线性回归方法，预测训练数据集中每幅图像的特征向量x在聚类子空间中的坐标，得到预测值z；进而建立了基于局部近邻关系的局部预测误差之和σ和总预测误差的优化函数。因此，既挖掘了训练数据集中的空间几何关系，又通过最小化总预测误差使得聚类子空间尽可能地保持了原有的近邻关系，提高了聚类质量；此外，还引入了两个聚类约束条件，使总目标函数的定义既在满足聚类约束条件的情况下，又使得总预测误差最小；从而从多个角度优化了聚类性能，取得的聚类效果也较好。

附图说明

图1为本发明的一种学习算法示意框图；

图2为图1所述方法对六种类别图像的聚类结果。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述，并非对其保护范围的限制。

实施例1

一种基于局部线性回归的半监督图像聚类子空间学习算法，如图1所示，其具体步骤如下：

第一步、特征向量x的预测误差

（1）构建训练数据集，包括标记样本和未标记样本；

（2）对训练数据集中的每幅图像，提取底层的颜色、纹理和形状特征，具体包括HSV颜色直方图、颜色聚合矢量和Tamura方向度，构成特征向量x。

（3）采用局部线性回归方法，预测特征向量x在聚类子空间中的坐标，得到预测值

z＝ψ^Tx+ξ（1）

式(1)中：ψ表示回归矩阵；

ξ表示偏向；

T表示转置运算。

（4）设特征向量x在聚类子空间中的坐标最佳取值为y，则预测值z与最佳取值y之间的差为特征向量x的预测误差

 q=||z-y||²=||ψ^Tx+ξ-y||²（2）

式(2)中:||||²表示二范式。

第二步、基于近邻关系的局部预测误差之和

（1）根据欧氏距离，从训练数据集中找到与特征向量x相邻的图像5~8幅。

（2）采用第一步中第（3）和第（4）分步所述方法，得到特征向量x相邻的图像中每幅图像的预测误差q，然后对特征向量x相邻的图像中每幅图像的预测误差q进行累加，得到基于近邻关系的局部预测误差之和σ。

第三步、基于总预测误差的优化函数

（1）在整个训练数据集的范围内，对基于近邻关系的局部预测误差之和σ进行累加，得到全局范围内的总预测误差，将总预测误差最小化，得到总预测误差的优化函数

$\min \underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\left|\right|{\mathrm{\&psi;}}^{T}x+\mathrm{\&xi;}-y\left|\right|}^2+\mathrm{\&alpha;}{\left|\right|\mathrm{\&psi;}\left|\right|}^2)---\left(3\right)$

式（3）中：min表示最小化函数；

表示从数据集中第1幅图像到第n幅图像进行累加；

n表示本实施例的训练数据集中图像的总个数；

ξ表示偏向；

α为权重参数（0<α<1）；

ψ表示回归矩阵；

T表示转置运算；

x表示特征向量；

y表示特征向量x在聚类子空间中的坐标的最佳取值；

α||ψ||²是加入的正则项，以避免出现过学习现象。

（2）对式（3）中的参数ψ和参数ξ求导，根据矩阵运算规则，式（3）的总预测误差的优化函数变形为

mintr(YLY^T)（4）

式（4）中：tr表示矩阵的迹运算；

min表示最小化函数；

Y表示由所有图像样本在聚类子空间中坐标的最佳取值构成的最优坐标矩阵,即为待求解的聚类子空间；

T表示转置运算；

L为相关性矩阵，记录了图像样本之间的相邻关系。

第四步、聚类约束条件

（1）在聚类过程中，除了需要满足式（4）之外，还增加两个聚类约束条件，分别是训练数据集的类内离散度最小和训练数据集的类间离散度最大。

（2）训练数据集中标记样本的类间离散度

$b=\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{maa}}^T---\left(5\right)$

式（5）中：c为正整数，表示训练数据集中标记样本的语义类别数；

i为正整数；

a表示每个语义类别的特征均值；

m表示语义类别中标记样本的个数；

T表示转置运算。

（3）将式（5）扩展到整个训练数据集，包括标记样本和未标记样本，根据矩阵运算规则，得到训练数据集的类间离散度

B＝XLX^T    （6）

式（6）中：X表示图像视觉特征矩阵；

L为式（4）中的相关性矩阵；

T表示转置运算。

（4）训练数据集的类内离散度

W＝XX^T    （7）

式（7）中：X表示图像视觉特征矩阵；

T表示转置运算。

第五步、总目标函数的定义和求解

（1）根据式（4）、式（6）和式（7）得到总目标函数

$\underset{D}{\max }\mathrm{tr}\left[D^T\mathrm{BD}{(D^T\mathrm{WD}+{\mathrm{\&lambda;D}}^T\mathrm{XL}{X}^{T}D)}^{-1}\right]---\left(8\right)$

式（8）中：D表示聚类子空间的映射矩阵；

W表示类内离散度；

B表示类间离散度；

-1表示矩阵的逆运算；

λ表示权重参数；

T表示转置运算；

L为式（4）中的相关性矩阵；

X表示图像视觉特征矩阵；

tr表示矩阵的迹运算。

（2）用广义特征根方法求解式（8），得到2c个非零特征根，取其中c个最大的非零特征根，得出相应的c个非零特征向量d₁,d₂,...d_c，聚类子空间的映射矩阵D的最优解为[d₁，d₂,...d_c]。

（3）根据映射矩阵D的最优解[d₁，d₂,...d_c]，求解最优坐标矩阵

Y＝D^TX    （9）

式(9)中：T表示转置运算；

X表示图像视觉特征矩阵。

（4）根据最优坐标矩阵Y，找到图像样本在聚类子空间中对应的坐标，采用Kmeans聚类算法，得到图像聚类结果。

实施例2

一种基于局部线性回归的半监督图像聚类子空间学习算法，其具体步骤如下：

第一步、特征向量x的预测误差

（1）收集老虎、汽车、爆炸、鸟、闪电和海豚共六种类别的图像构成训练数据集，包括标记样本和未标记样本，其中每个类别包含300幅图像。

（2）对训练数据集中的每幅图像，提取底层的颜色、纹理和形状特征，具体包括HSV颜色直方图、颜色聚合矢量和Tamura方向度，构成特征向量x。

（3）采用局部线性回归方法，预测特征向量x在聚类子空间中的坐标，得到预测值

z＝ψ^Tx+ξ（1）

式(1)中：ψ表示回归矩阵；

ξ表示偏向；

T表示转置运算。

（4）设特征向量x在聚类子空间中的坐标最佳取值为y，则预测值z与最佳取值y之间的差为特征向量x的预测误差

q=||z-y||²=||ψ^Tx+ξ-y||²（2）

式(2)中:||||²表示二范式。

第二步、基于近邻关系的局部预测误差之和

（1）根据欧氏距离，从训练数据集中找到与特征向量x相邻的图像6幅。

（2）采用第一步中第（3）和第（4）分步所述方法，得到特征向量x相邻的图像中每幅图像的预测误差q，然后对特征向量x相邻的图像中每幅图像的预测误差q进行累加，得到基于近邻关系的局部预测误差之和σ

第三步、基于总预测误差的优化函数

（1）在整个训练数据集的范围内，对基于近邻关系的局部预测误差之和σ进行累加，得到全局范围内的总预测误差，将总预测误差最小化，得到总预测误差的优化函数

$\min \underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\left|\right|{\mathrm{\&psi;}}^{T}x+\mathrm{\&xi;}-y\left|\right|}^2+\mathrm{\&alpha;}{\left|\right|\mathrm{\&psi;}\left|\right|}^2)---\left(3\right)$

式（3）中：min表示最小化函数；

表示从数据集中第1幅图像到第n幅图像进行累加；

n表示训练数据集中图像的总个数，本实施例取n为1800；

ξ表示偏向；

α为权重参数（0<α<1），本实施例取α为0.2；

ψ表示回归矩阵；

T表示转置运算；

x表示特征向量；

y表示特征向量x在聚类子空间中的坐标的最佳取值；

α||ψ||²是加入的正则项，以避免出现过学习现象。

（2）对式（3）中的参数ψ和参数ξ求导，根据矩阵运算规则，式（3）的总预测误差的优化函数变形为

mintr(YLY^T)（4）

式（4）中：tr表示矩阵的迹运算；

min表示最小化函数；

Y表示由所有图像样本在聚类子空间中坐标的最佳取值构成的最优坐标矩阵,即为待求解的聚类子空间；

T表示转置运算；

L为相关性矩阵，记录了图像样本之间的相邻关系。

第四步、聚类约束条件

（1）在聚类过程中，除了需要满足式（4）之外，还增加两个聚类约束条件，分别是训练数据集的类内离散度最小和训练数据集的类间离散度最大。

（2）训练数据集中标记样本的类间离散度

$b=\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{maa}}^T---\left(5\right)$

式（5）中：c为正整数，表示训练数据集中标记样本的语义类别数，

本实施例取c为6；

i为正整数；

a表示每个语义类别的特征均值；

m表示语义类别中标记样本的个数，本实施例取m为200；

T表示转置运算。

（3）将式（5）扩展到整个训练数据集，包括标记样本和未标记样本，根据矩阵运算规则，得到训练数据集的类间离散度

B＝XLX^T    （6）

式（6）中：X表示图像视觉特征矩阵；

L为式（4）中的相关性矩阵；

T表示转置运算。

（4）训练数据集的类内离散度

W＝XX^T    （7）

式（7）中：X表示图像视觉特征矩阵；

T表示转置运算。

第五步、总目标函数的定义和求解

（1）根据式（4）、式（6）和式（7）得到总目标函数

$\underset{D}{\max }\mathrm{tr}\left[D^T\mathrm{BD}{(D^T\mathrm{WD}+{\mathrm{\&lambda;D}}^T\mathrm{XL}{X}^{T}D)}^{-1}\right]---\left(8\right)$

式（8）中：D表示聚类子空间的映射矩阵；

W表示类内离散度；

B表示类间离散度；

-1表示矩阵的逆运算；

λ表示权重参数；

T表示转置运算；

L为式（4）中的相关性矩阵；

X表示图像视觉特征矩阵；

tr表示矩阵的迹运算。

（2）用广义特征根方法求解式（8），得到20个非零特征根，取其中10个最大的非零特征根，得出相应的10个非零特征向量d₁,d₂,...d₁₀，聚类子空间的映射矩阵D的最优解为[d₁，d₂,...d₁₀]。

（3）根据映射矩阵D的最优解[d₁，d₂,...d₁₀]，求解最优坐标矩阵

Y=D^TX    （9）

式(9)中：T表示转置运算；

X表示图像视觉特征矩阵。

（4）根据最优坐标矩阵Y，找到图像样本在聚类子空间中对应的坐标，采用Kmeans聚类算法，得到图像聚类结果，然后从每个聚类中抽取离聚类中心最近的六幅图像，排成一列，得到图2所示的六列聚类结果：在第(1)列老虎类别的聚类结果中有5个正确结果；在第(2)列海豚类别的聚类结果中有6个正确结果；在第(3)列闪电类别的聚类结果中有6个正确结果；在第(4)列汽车类别的聚类结果中有5个正确结果；在第(5)列鸟类别的聚类结果中有5个正确结果；在第(6)列爆炸类别的聚类结果中有4个正确结果。

本具体实施方式与现有技术相比具有如下积极效果：

本具体实施方式采用局部线性回归方法，预测训练数据集中每幅图像的特征向量x在聚类子空间中的坐标，得到预测值z；进而建立了基于局部近邻关系的局部预测误差之和σ和总预测误差的优化函数。因此，既挖掘了训练数据集中的空间几何关系，又通过最小化总预测误差使得聚类子空间尽可能地保持了原有的近邻关系，提高了聚类质量；此外，还引入了两个聚类约束条件，使总目标函数的定义既在满足聚类约束条件的情况下，又使得总预测误差最小；从而从多个角度优化了聚类性能，取得的聚类效果也较好。

Claims (1)

1.一种基于局部线性回归的半监督图像聚类子空间学习算法，其特征在于包括如下步骤：

第一步、特征向量x的预测误差

（1）构建训练数据集，包括标记样本和未标记样本；

（2）对训练数据集中的每幅图像，提取底层的颜色、纹理和形状特征，构成特征向量x；

（3）采用局部线性回归方法，预测特征向量x在聚类子空间中的坐标，得到预测值

z＝ψ^Tx+ξ（1）

式(1)中：ψ表示回归矩阵，

ξ表示偏向，

T表示转置运算；

（4）设特征向量x在聚类子空间中的坐标最佳取值为y，则预测值z与最佳取值y之间的差为特征向量x的预测误差

q=||z-y||²=||ψ^Tx+ξ-y||²（2）

式(2)中:||||²表示二范式；

第二步、基于近邻关系的局部预测误差之和

（1）根据欧氏距离，从训练数据集中找到与特征向量x相邻的图像5~8幅；

（2）采用第一步中第（3）和第（4）分步所述方法，得到特征向量x相邻的图像中每幅图像的预测误差q，然后对特征向量x相邻的图像中每幅图像的预测误差q进行累加，得到基于近邻关系的局部预测误差之和σ；

第三步、基于总预测误差的优化函数

（1）在整个训练数据集的范围内，对基于近邻关系的局部预测误差之和σ进行累加，得到全局范围内的总预测误差，将总预测误差最小化，得到总预测误差的优化函数

$\min \underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}({\left|\right|{\mathrm{\&psi;}}^{T}x+\mathrm{\&xi;}-y\left|\right|}^2+\mathrm{\&alpha;}{\left|\right|\mathrm{\&psi;}\left|\right|}^2)---\left(3\right)$

式（3）中：min表示最小化函数,

表示从数据集中第1幅图像到第n幅图像进行累加,

n表示训练数据集中图像的总个数；

ξ表示偏向，

α为权重参数（0<α<1），

ψ表示回归矩阵,

T表示转置运算，

x表示特征向量，

y表示特征向量x在聚类子空间中的坐标的最佳取值，

α||ψ||²是加入的正则项，以避免出现过学习现象；

（2）对式（3）中的参数ψ和参数ξ求导，根据矩阵运算规则，式（3）的总预测误差的优化函数变形为

mintr(YLY^T)（4）

式（4）中：tr表示矩阵的迹运算,

min表示最小化函数,

Y表示由所有图像样本在聚类子空间中坐标的最佳取值构成的最优坐标矩阵,即为待求解的聚类子空间，

T表示转置运算，

L为相关性矩阵，记录了图像样本之间的相邻关系；

第四步、聚类约束条件

（1）在聚类过程中，除了需要满足式（4）之外，还增加两个聚类约束条件，分别是训练数据集的类内离散度最小和训练数据集的类间离散度最大；

（2）训练数据集中标记样本的类间离散度

$b=\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{maa}}^T---\left(5\right)$

式（5）中：c为正整数，表示训练数据集中标记样本的语义类别数，

i为正整数，

a表示每个语义类别的特征均值，

m表示语义类别中标记样本的个数，

T表示转置运算；

（3）将式（5）扩展到整个训练数据集，包括标记样本和未标记样本，根据矩阵运算规则，得到训练数据集的类间离散度

B＝XLX^T    （6）

式（6）中：X表示图像视觉特征矩阵,

L为式（4）中的相关性矩阵，

T表示转置运算；

（4）训练数据集的类内离散度

W＝XX^T    （7）

式（7）中：X表示图像视觉特征矩阵,

T表示转置运算；

第五步、总目标函数的定义和求解

（1）根据式（4）、式（6）和式（7）得到总目标函数

$\underset{D}{\max }\mathrm{tr}\left[D^T\mathrm{BD}{(D^T\mathrm{WD}+{\mathrm{\&lambda;D}}^T\mathrm{XL}{X}^{T}D)}^{-1}\right]---\left(8\right)$

式（8）中：D表示聚类子空间的映射矩阵，

W表示类内离散度，

B表示类间离散度，

-1表示矩阵的逆运算，

λ表示权重参数，

T表示转置运算，

L为式（4）中的相关性矩阵，

X表示图像视觉特征矩阵,

tr表示矩阵的迹运算；

（2）用广义特征根方法求解式（8），得到2c个非零特征根，取其中c个最大的非零特征根，得出相应的c个非零特征向量d₁,d₂，...d_c，聚类子空间的映射矩阵D的最优解为[d₁，d₂,...d_c]；

（3）根据映射矩阵D的最优解[d₁，d₂,...d_c]，求解最优坐标矩阵

Y=D^TX    （9）

式(9)中：T表示转置运算，

X表示图像视觉特征矩阵；

（4）根据最优坐标矩阵Y，找到图像样本在聚类子空间中对应的坐标，采用Kmeans聚类算法，得到图像聚类结果。

Images