CN111401429A - 基于聚类自适应典型相关分析的多视角图像聚类方法 - Google Patents

Abstract

本发明公开了一种基于聚类自适应典型相关分析的多视角图像聚类方法，主要是构建多视角典型相关分析和聚类的自适应优化模型，解决聚类任务中多视角相关学习的聚类不适应性问题，从而提高多视角图像的聚类性能。实现过程为：(1)初始化原始高维样本的类标签指示矩阵；(2)迭代求解相关投影矩阵、类质心矩阵和类标签指示矩阵；(3)基于求解的类标签指示矩阵，直接获得聚类结果。与现有技术相比，本发明提出的多视角图像聚类方法更具有效性和鲁棒性。

Description

基于聚类自适应典型相关分析的多视角图像聚类方法

技术领域

本发明涉及多视角联合维数约减和图像聚类等技术领域，具体为一种基于聚类自适应典型相关分析的多视角图像聚类方法。可应用于图像检索、数据挖掘及模式识别等领域。

背景技术

在模式识别和机器学习领域，如何有效降低多视角数据的维数仍然是一个具有挑战性的研究课题。在所有解决问题的方法中，典型相关分析(Canonical CorrelationAnalysis，CCA)发挥着重要作用。该方法首先由Hotelling提出，用于分析两个变量之间的相关性。到目前为止，学者们已经提出了许多与CCA的变体，以适应不同的实际应用。作为经典的两视图降维方法，CCA难以同时处理两个以上的视图。为了突破这一局限，学者将CCA扩展到多视角CCA(Multi-view CCA，MCCA)。在不同的研究中，MCCA也称为多集CCA或多模态CCA。在许多学者的努力下，MCCA已被广泛应用于许多实际应用中，例如人类情感识别、机器人定位、医学图像分析等。为了更好地适应这些应用，学者们还提出了一些MCCA的变体，在多视角相关分析框架下的MCCA改进主要集中在判别性信息嵌入、局部结构保留、核技术和投影方向正交性等方面。

对于高维多视角数据，聚类通常是首先借助多视角相关学习方法来同时降低多视角数据的维数，然后利用聚类方法对低维数据进行分类。由于在这类方法中多视角相关学习与聚类是相互独立的，这类方法存在多视角相关学习与聚类不具有适应性的问题，这将影响最终的聚类性能。MCCA是一种经典的多视角相关学习方法，然而在聚类任务中同样存在MCCA与聚类的不适应性问题。为此，本发明构建了MCCA和聚类的自适应优化模型，并利用迭代求解直接获得类标签指示矩阵的解析解，从而实现在联合维数约减的过程中直接获得聚类结果，有效解决了聚类不适应性的问题，图像聚类的实验揭示，本发明方法能够明显提高图像聚类的聚类精准度。

发明内容

为了有效克服聚类任务中多视角相关学习的聚类不适应性。本发明提出了一种基于聚类自适应典型相关分析的多视角图像聚类方法，该方法构造了一个MCCA和聚类的自适应优化模型。不仅实现了在无监督情况下的相关投影方向的判别学习，而且能够直接获得高维多视角数据的类标签。另外，利用类标签指示矩阵的解析解，该方法能够进一步实现类标签中的样本外扩展，即对于新加入的样本，能够借助类标签指示矩阵的解析解快速获得对应的类标签。大量实验结果能够揭示该方法的有效性。本发明的具体实现步骤如下：

1、将多个视角的每幅图转化为列向量，以构成样本矩阵

其中M是视角的数量，X⁽ⁱ⁾是第i(i＝1,2,…,M)视角的样本矩阵，d_i是X⁽ⁱ⁾的样本维数，

代表X⁽ⁱ⁾第u(u＝1，2，…，N)个样本。

是对应于同一个目标x_u(u＝1，2，…,N)的M个样本；

2、构建MCCA和聚类的自适应优化模型。

构建MCCA和聚类的自适应优化模型的具体过程如下：

(2a)构建针对多视角数据的k-means优化因子：

对于样本矩阵

能够通过

将

投影到相关一致子空间中,假设每个视角都有K个质心(K是每个视角中类的数量)，B^(i)TX⁽ⁱ⁾的质心是

另外

对应的类标签指示矩阵为F＝[f₁,f₁,…,f_N]∈R^K×N，其中f_u＝[f_u1,f_u2,…,f_uK]^T∈R^K×1(u＝1,2,…,N)的定义如下：当且仅当

属于第v类时f_uv＝1，否则f_uv＝0；在相关一致子空间中针对多视角数据的k-means目标函数能够构建并等价推导为：

其中

表示X⁽ⁱ⁾中属于第v类的所有样本，从上述公式的推导观察到k-means的目标函数可以看作是

的类内散布,即MCCA和聚类的自适应优化模型中针对多视角数据的k-means优化因子能够构建

(2b)借助k-means优化因子构造MCCA和聚类的自适应优化模型；

多视角数据拥有与同一对象相对应的多种类型的数据表示形式。因此，可以从不同的视角揭示相同对象的不同统计信息，并且这些统计信息是互补的。与MCCA相似，本发明方法描述了在相关一致子空间中

的视角间相关性：

其中

通过最大化相关性，能够尽快保存来自多视角数据的补充统计信息，MCCA除了考虑视图间相关性之外，MCCA还约束了视图内散布。但是，该散布具有两个局限性：缺乏对类分离性的贡献，且忽略了鉴别散布结构。因此，本发明方法通过最大化视图间的相关性，同时最小化每个视图的类内散布，构造MCCA和聚类的自适应优化模型。具体而言，该模型为：

3、计算相关投影矩阵B⁽ⁱ⁾、类质心矩阵C⁽ⁱ⁾和类标签指示矩阵F。

(3a)固定类标签指示矩阵F，优化求解相关投影矩阵B⁽ⁱ⁾和类质心矩阵C⁽ⁱ⁾。

通过进一步固定B⁽ⁱ⁾，能够优化求解C⁽ⁱ⁾；首先构造C⁽ⁱ⁾的拉格朗日乘数函数

其中λ表示拉格朗日乘数，设定

相对于C⁽ⁱ⁾的导数设置为0，可以得到：

从上式可得

C⁽ⁱ⁾＝B^(i)TX⁽ⁱ⁾F^T(FF^T)^-1

上述式子为C⁽ⁱ⁾的解析解，该解析解由B⁽ⁱ⁾和F组成，通过将上述式子带入MCCA和聚类的自适应优化模型可得：

在固定F的前提下，能够通过以下优化模型解决相关投影矩阵

其中R⁽ⁱⁱ⁾＝X⁽ⁱ⁾X^(i)T-X⁽ⁱ⁾F^T(FF^T)^-1FX^(i)T。通过拉格朗日乘数法，能够求解优化的相关投影矩阵B⁽ⁱ⁾；具体而言，

是SR^-1的前d个最大特征值的对应的特征向量，其中S＝[S^(ij)]_M×M是块矩阵，第(i，j)个子块矩阵是S^(ij)(i≠j)或零矩阵(i＝j)，R＝diag(R⁽¹¹⁾，R⁽²²⁾，...，R^(MM))是对角矩阵。

(3b)固定相关投影矩阵B⁽ⁱ⁾和类质心矩阵C⁽ⁱ⁾，优化求解类标签指示矩阵F。

MCCA和聚类的自适应模型为：

该模型能够转化为：

其中

是CACCA的目标优化函数。当B⁽ⁱ⁾和C⁽ⁱ⁾固定时，J(B⁽ⁱ⁾，C⁽ⁱ⁾，F)的分子为常数，仅需要最小化等式的分母。由于C⁽ⁱ⁾是固定的，优化F＝[f₁，f₁，...，f_N]简化为类质心的最近邻问题，最优f_u＝[f_u1，f_u2，...，f_uK]^T(u＝1，2，...，N)为：

4、重复步骤3，直到目标函数

收敛为止。

(4a)相关投影矩阵B⁽ⁱ⁾，类质心矩阵C⁽ⁱ⁾和类标签指示矩阵F的解是每次迭代中的全局解。

当B⁽ⁱ⁾和C⁽ⁱ⁾是固定的，CACCA模型的优化问题等价于

上具有固定的类质心传统k均值，即类质心的最近邻问题。因此，在每次迭代中F的最优解都是唯一且全局的；F固定时，C⁽ⁱ⁾可以由B⁽ⁱ⁾定义，B⁽ⁱ⁾的优化问题简化为：

通过特征分解能够获得B⁽ⁱ⁾的优化全局解，由于C⁽ⁱ⁾的解析解有B⁽ⁱ⁾和F组成，所以C⁽ⁱ⁾的解也是优化的全局解。因此，B⁽ⁱ⁾、C⁽ⁱ⁾和F的解均是全局解。

(4b)CACCA的目标函数J(B⁽ⁱ⁾，C⁽ⁱ⁾，F)将在每次迭代中具有递增性。

假设B⁽ⁱ⁾(t)、C⁽ⁱ⁾(t)和F(t)是B⁽ⁱ⁾、C⁽ⁱ⁾和F第t次迭代的结果，且第(t+1)次迭代的结果分别是B⁽ⁱ⁾(t+1)、C⁽ⁱ⁾(t+1)和F(t+1)。在第(t+1)迭代中，固定F为F(t)，然后通过最大化目标函数J(B⁽ⁱ⁾(t+1)，C⁽ⁱ⁾(t+1)，F(t))，能够获得B⁽ⁱ⁾(t+1)和C⁽ⁱ⁾(t+1)。此外，从步骤(4a)可以看出，B⁽ⁱ⁾(t+1)和C⁽ⁱ⁾(t+1)是全局最优解。因此，下列不等式成立，即J(B⁽ⁱ⁾(t+1)，C⁽ⁱ⁾(t+1),F(t))≥J(B⁽ⁱ⁾(t)，C⁽ⁱ⁾(t)，F(t))

通过固定B⁽ⁱ⁾和C⁽ⁱ⁾分别为B⁽ⁱ⁾(t+1)和C⁽ⁱ⁾(t+1)，对F(t+1)进行优化求解。从F的更新规则和步骤(4a)，能够明显地观察到

J(B⁽ⁱ⁾(t+1),C⁽ⁱ⁾(t+1),F(t+1))≥J(B⁽ⁱ⁾(t+1),C⁽ⁱ⁾(t+1),F(t))

结合上述两个不等式能够得到下列不等式：

J(B⁽ⁱ⁾(t+1),C⁽ⁱ⁾(t+1)，F(t+1))≥J(B⁽ⁱ⁾(t+1)，C⁽ⁱ⁾(t+1)，F(t))

即在迭代过程中CACCA的目标函数J(B⁽ⁱ⁾,C⁽ⁱ⁾,F)具有递增性。

5、基于类标签指示矩阵F，获得聚类结果。

借助类标签指示矩阵中明确的类信息，即可快速获得聚类结果。在实际应用中往往会有新样本加入，尽管本发明方法的类标签指示矩阵学习具有样本依赖性，但是当有新样本加入时，本发明方法借助类标签指示矩阵的解析解，能够实现聚类结果的外样本库扩展，也就是当有新样本加入时，无需再次迭代求解，借助类标签指示矩阵的解析解，便可快速获得对应的聚类结果。具体实现方式如下，假设这组新样本

是属于对应于同一对象的多视角数据，借助相关投影矩阵

和类质心矩阵

可直接获得新样本的类标签

因此，本发明方法在类标签的样本外扩展方面具有良好的性能。

本发明方法的具有以下优点：

(1)本发明方法构建了MCCA和聚类的自适应优化模型。在该模型中，学习的相关一致子空间中的低维数据可以提高k-means的聚类性能，反过来，来自k-means的类标签能够进一步指导和约束相关一致子空间的学习。该模型能够在无监督情况下实现相关投影方向的鉴别学习。

(2)本发明方法不仅可以有效地同时降低不同视角的数据维数，而且能够在多视角高维数据向相关一致子空间时直接获得聚类结果。

(3)本发明方法在某种程度上是一个通用优化框架，某些现有方法可以视为该框架内的特例，此外，本发明方法在聚类结果的样本外扩展方面也具有良好的性能。

(4)本发明方法的类标签指示矩阵等优化目标是通过迭代的方式进行优化求解，本发明在理论和实验上对其收敛性进行了分析，证明了优化求解的可解性。

附图说明

图1是本发明中CACCA算法的流程图

图2是CVLAB数据集上每辆汽车的代表性图像

图3是迭代过程中目标函数值的变化曲线(a)多特征图像数据集，(b)AR数据集，(c)CBSR数据集，(d)Coil20数据集和(e)CVLAB数据集

图4是迭代过程中聚类精度估计值(ACC)的变化曲线(a)多特征图像数据集，(b)AR数据集，(c)CBSR数据集，(d)Coil20数据集和(e)CVLAB数据集

图5是迭代过程中规范化互信息值(NMI)的变化曲线(a)多特征图像数据集，(b)AR数据集，(c)CBSR数据集，(d)Coil20数据集和(e)CVLAB数据集

具体实施方式

为了阐明本发明的目的、技术方案和优点，以下结合具体实施案例以及附图，对本发明做进一步详细说明。

本发明的具体实施过程包括以下步骤：

(1)将多个视角的每幅图转化为列向量，以构成样本矩阵

其中M是视角的数量，X⁽ⁱ⁾是第i(i＝1,2,…,M)视角的样本矩阵，d_i是X⁽ⁱ⁾的样本维数，

代表X⁽ⁱ⁾第u(u＝1,2,…,N)个样本。

是对应于同一个目标x_u(u＝1,2,…,N)的M个样本。

(2)初始化类标签指示矩阵F。

利用MCCA降低多视角数据的维数，获得多视角低维融合数据，然后使用k-means获得多视角低维融合数据的类标签，本发明方法以这种多视角相关学习和聚类相互独立的方式获得的类标签指示矩阵F作为F的初始矩阵，然后借助本发明方法进一步迭代优化，以获得更加准确的聚类结果。

(3)通过优化求解下述模型来更新相关投影矩阵

的优化求解模型为：

通过拉格朗日乘数法，能够求解优化的相关投影矩阵B⁽ⁱ⁾；具体而言，

是SR^-1的前d个最大特征值的对应的特征向量，其中S＝[S^(ij)]_M×M是块矩阵，第(i,j)个子块矩阵是S^(ij)(i≠j)或零矩阵(i＝j)，R＝diag(R⁽¹¹⁾,R⁽²²⁾,…，R^(MM))是对角矩阵。

(4)由C⁽ⁱ⁾的解析解等式(即C⁽ⁱ⁾＝B^(i)TX⁽ⁱ⁾F^T(FF^T)^-1)更新类质心矩阵C⁽ⁱ⁾。

(5)由下式更新类标签指示矩阵F：

其中为f_uv类标签指示矩阵F的第(u,v)个元素。

(6)重复步骤(3)、(4)和(5)，直到收敛为止。

(7)基于类标签指示矩阵F，获得聚类结果。

本发明的效果可以通过以下实验进一步验证：

1、实验说明

为了评估和分析本发明的方法，在多类图像数据集上分别设计了针对性实验，分别是经典的多视角图像数据集(即多特征图像数据集)及各种图像数据集。此外，本发明方法是聚类自适应典型相关分析(Clustering Adaptive Canonical CorrelationAnalysis，CACCA)的多视角图像聚类方法，简写为CACCA。CACCA方法与k-means方法、鉴别嵌入式聚类(Discriminative Embedded Clustering，DEC)方法、基于k-means的MCCA方法进行比较，因为它们与本发明方法密切相关。在基于k-means的MCCA方法中，首先利用MCCA学习原始多视角数据的低维相关特征，然后借助k-means方法对通过并行融合策略获得的融合相关特征进行聚类。为了方便起见，下面将基于k-means的MCCA方法简写为MCCAKM。DEC和k-means本质上属于单视图方法，因此，这两种方法都采用通过端到端连接多视角数据而获得的数据。在实验部分，使用聚类精度估计值(Calculation of Clustering Accuracy，缩写为ACC)和标准化互信息(Normalized Mutual Information，缩写为NMI)来衡量聚类的性能。在上述所有方法中，k-means方法的初始聚类中心是必不可少的。因此，随机选择初始聚类中心，并重复随机实验十次，然后在实验部分的表格中展示十次随机实验的平均ACC值和NMI值。

2、实验结果

实验1：多特征图像数据集的实验

多特征图像数据(http://archive.ics.uci.edu/ml/datasets/Multiple+Features)是一个经典的多视角图像数集。该数据集来自UCI机器学习存储库，它包括从0到9的手写体数字图像，每个数字有200幅手写体图像。在该数据集中，如表1所示，从每幅手写体图像中提取了六个特征，即每幅图像的六个特征视角。随机选择三个特征作为每幅手写体图像的三个视角，因此共有20种组合模式。

k-means方法是在原始高维空间中实现聚类，原始高维数据包含大量噪声和冗余信息，这将严重影响聚类结果。不同于K-means方法，CACCA，MCCAKM和DEC在学习的子空间中实现聚类。在子空间中，低维数据可以有效减少噪声和冗余信息，并进一步拥有更好的聚类结构。因此在表2和表3中这三种方法具有更好的聚类性能。与MCCAKM相比，CACCA不仅可以学习相关一致子空间，而且可以有效地增强所学习子空间中的聚类结构。在CACCA中，相关一致子空间的学习和低维相关特征的聚类可以相互指导和约束，这是CACCA在表2和表3中具有MCCAKM更好的聚类性能的重要原因。与CACCA相似，DEC在学习到低维空间时同样利用k-means方法中的判别信息，但是DEC很难有效地捕获不同视图的互补信息。DEC有一个重要的参数(即平衡参数)，该参数对聚类性能有重要影响，然而在DEC方法中难以有效地确定该参数的合适值，这在一定种程度上也阻碍了DEC的聚类性能。在表2和表3中，DEC的聚类性能同样低于CACCA。

表1多特征图像数据集的六个特征

表2多特征图像数据集上所有方法的ACC值

表3多特征图像数据集上所有方法的NMI值

实验2：图像数据集实验

在该实验中选择四类图像数据集，即CBSR数据集(http//vcipl-okstate.org/pbvs/be nch/Data/07/download.html)，Coil20数据集(http://www.cs.columbia.edu/CAVE/soft ware/softlib/coil-20.php)和CVLAB数据集(https://cvlab.epfl.ch/data/pose)和AR数据集(http://cobweb.ecn.purdue.edu/～aleix/aleix_face_DB.html)，数据集的更多详细信息如下：

AR数据集是基于可见光的面部数据集。该数据集包括来自126个人的4000多个正面图像。在两个不同的阶段中拍摄具有不同表情，遮挡和照明条件的图像。在本实验中，选择了AR数据集的一个子集，该子集包含120个人，每个人均有没有遮挡的14幅图像。

CBSR数据集是近红外(Near-Infrared，简写为NIR)人脸数据集。该数据集包含3940个197人的NIR面部图像，并且这些图像是由具有近红外拍照功能的NIR相机拍摄的，图像尺寸为480 x 640像素。

Coil20数据集属于多个对象数据集。数据集包括20个不同的对象，当物体在转盘上旋转时，每个物体的图像相距5度，因此每个物体具有72幅不同角度的图像。

CVLAB数据集是多视角汽车数据集。该数据集由来自20种不同汽车的2299张汽车图像组成。通过将汽车以3-4度的间隔旋转360度来获得每辆汽车的图像序列。图2展示了每辆汽车的代表性图像。

这四个数据集的每幅图像均采用Symlets，Daubechies和Coiflets小波技术来获得每幅图像的三个视角数据。为了避免样本量小的问题，进一步采用主成分分析方法将每个视图数据的维数减少至100维。随机选择初始类中心，并将这种随机实验重复十次后，在表4和表5中展示了每个数据集的平均聚类性能。从表4和表5中可以看出，在所有方法中，k-means方法的聚类性能最低，MCCAKM能够借助多视角相关理论来利用不同视图之间的补充信息，但无法利用来自k-means方法的判别信息。在DEC中，可以使用k-means方法的判别信息来约束子空间的学习，但是视图间互补信息将被忽略。如表4和表5所示，不同数据集上MCCAKM和DEC的相对聚类性能不同。更具体而言，在AR数据集上，MCCAKM的聚类性能优于DEC，而在其他图像数据集上，DEC的聚类性能优于MCCAKM。但是在不同的数据集中CACCA始终具有最佳的聚类性能。

表4图像数据集上所有方法的ACC值

表5图像数据集上所有方法的NMI值

实验3：CACCA的迭代分析

CACCA的解决方案可以通过迭代的方式进行优化。为了分析迭代过程中CACCA的收敛性，对上述所有数据集进行了一些实验。多重特征数据集包括六个特征视角。在所有实验中，仅选择三个视角，因此在该数据集中有20个视角组合模式。在本实验中仅选择了第一种视角组合模式，即表2和表3的fac-fou-kar。图2展示了迭代过程中目标函数值(即J(B⁽ⁱ⁾，C⁽ⁱ⁾，F))的变化。从图2可以看出，在所有数据集上目标函数值能够快速收敛到，尤其是CBSR数据集和CVLAB数据集。在图2中，Coil20数据集上的迭代次数最大，但是也仅有12次迭代。为了进一步分析迭代过程中聚类性能的变化，图3和图4分别展示了CACCA在迭代过程中聚类性能指标ACC和NMI的变化。从图3和图4可以看出，随着迭代次数的增加，聚类性能逐渐提高，并且当目标函数值接近收敛时，聚类性能也变得稳定。大量的实验结果可以给出一个合理的结论，CACCA是一种能够快速收敛的有效多视角图像聚类方法。

Claims (3)

1.一种基于聚类自适应典型相关分析的多视角图像聚类方法，包括如下步骤：

(1)将多个视角的每幅图转化为列向量，以构成样本矩阵

其中M是视角的数量，X⁽ⁱ⁾是第i(i＝1,2,…,M)视角的样本矩阵，d_i是X⁽ⁱ⁾的样本维数，

代表X⁽ⁱ⁾第u(u＝1,2,…,N)个样本，

是对应于同一个目标x_u(u＝1,2,…,N)的M个样本；

(2)构建多视角典型相关分析(Multi-view Canonical Correlation Analysis，MCCA)和聚类的自适应优化模型；

(3)迭代求解相关投影矩阵B⁽ⁱ⁾、类质心矩阵C⁽ⁱ⁾和类标签指示矩阵F；

(4)重复步骤3，直到收敛为止；

(5)基于类标签指示矩阵F，获得聚类结果。

2.根据权利要求1所述的基于聚类自适应典型相关分析的多视角图像聚类方法，其特征在于，步骤(2)所述的构建MCCA和聚类的自适应优化模型按如下步骤进行：

(2a)构建针对多视角数据的k-means优化因子：

对于样本矩阵

能够通过

把

投影到相关一致子空间中,假设每个视角都有K个质心(K是每个视角中类的数量)，B^(i)TX⁽ⁱ⁾的质心是

另外

对应的类标签指示矩阵为F＝[f₁，f₂，…，f_N]∈R^K×N，其中f_u＝[f_u1，f_u2，…，f_uK]^T∈R^K×1(u＝1,2,…,N)的定义如下：当且仅当

属于第v类时f_uv＝1，否则f_uv＝0；在相关一致子空间中针对多视角数据的k-means目标函数能够构建并等价推导为：

其中，

表示X⁽ⁱ⁾中属于第v类的所有样本，从上述公式的推导观察到k-means的目标函数可以看作是

的类内散布，即MCCA和聚类的自适应优化模型中针对多视角数据的k-means优化因子能够构建

(2b)借助k-means优化因子构造MCCA和聚类的自适应优化模型：

多视角数据拥有与同一对象相对应的多种类型的数据表示形式；因此，可以从不同的视角揭示相同对象的不同统计信息，并且这些统计信息是互补的；MCCA不仅考虑了视角间相关性，而且约束了视角内散布；但是该视角内散布具有两个局限性：该散布缺乏对类分离性的贡献，且忽略了鉴别散布结构；为此，通过最大化视角间的相关性，同时最小化每个视角的类内散布，构造MCCA和聚类的自适应优化模型和聚类的自适应优化模型；具体而言，该模型为：

其中

3.根据权利要求1所述的基于聚类自适应典型相关分析的多视角图像聚类方法，其特征在于，步骤(3)所述的迭代求解相关投影矩阵B⁽ⁱ⁾、类质心矩阵C⁽ⁱ⁾和类标签指示矩阵F的具体方法如下：

(3a)通过固定类标签指示矩阵F，优化求解相关投影矩阵B⁽ⁱ⁾和类质心矩阵C⁽ⁱ⁾：

通过进一步固定B⁽ⁱ⁾，能够优化求解C⁽ⁱ⁾；首先构造C⁽ⁱ⁾的拉格朗日乘数函数

其中λ表示拉格朗日乘数，将

相对于C⁽ⁱ⁾的导数设置为0，可以得到：

从上式可得C⁽ⁱ⁾的解析解为C⁽ⁱ⁾＝B^(i)TX⁽ⁱ⁾F^T(FF^T)^-1；

通过将C⁽ⁱ⁾＝B^(i)TX⁽ⁱ⁾F^T(FF^T)^-1C⁽ⁱ⁾＝B^(i)TX⁽ⁱ⁾F^T(FF^T)^-1带入MCCA和聚类的自适应优化模型，该模型能够等价地转化为如下简化模型：

其中R⁽ⁱⁱ⁾＝X⁽ⁱ⁾X^(i)T-X⁽ⁱ⁾F^T(FF^T)^-1FX^(i)T；利用拉格朗日乘数法，能够求解优化的相关投影矩阵B⁽ⁱ⁾；具体而言，

是SR^-1的前d个最大特征值的对应的特征向量，其中S＝[S^(ij)]_M×M是块矩阵，第(i,j)个子块矩阵是S^(ij)(i≠j)或零矩阵(i＝j)，R＝diag(R⁽¹¹⁾，R⁽²²⁾，…，R^(MM))是对角矩阵；

(3b)通过固定相关投影矩阵B⁽ⁱ⁾和类质心矩阵C⁽ⁱ⁾，优化求解类标签指示矩阵F：

类似于MCCA，该模型的优化问题能够转化为：

其中

当B⁽ⁱ⁾和C⁽ⁱ⁾固定时，分子为常数，仅需要最小化等式的分母；因为C⁽ⁱ⁾是固定的，优化F＝[f₁,f₁,…,f_N]简化为类质心的最近邻问题，即优化的f_u＝[f_u1,f_u2,…,f_uK]^T(u＝1，2，…，N)为：

Images