CN103400143A - 一种基于多视角的数据子空间聚类方法 - Google Patents

Abstract

本发明公开一种基于多视角的数据子空间聚类方法，其包括：提取多视角数据库中的多视角特征；对于所述多视角数据库，选择特定的线性重构表示方法，并确定所述线性重构表示方法相对应的正则化约束方式；确定所述多视角特征中每个视角特征的重构误差权重；根据所选定的重构表示方法和所获得的不同视角特征的重构误差权重，学习得到对所述多视角数据库中所有样本进行重构的线性表示矩阵；所述线性表示矩阵用于表示数据库中样本之间的关系，元素值表示其所在行对应的样本重构其所在列对应样本的重构系数；将所述线性表示矩阵进行相应处理得到度量所述多视角数据库中样本相似性的亲和矩阵；利用谱聚类算法对所述亲和矩阵进行分割得到多视角数据子空间。

Description

一种基于多视角的数据子空间聚类方法

技术领域

本发明涉及模式识别技术领域，尤其是一种基于多视角的数据子空间聚类方法。

背景技术

现实中的数据往往具有多种视角。比如网页数据既包含图片信息，又包含文本信息；视频数据同时包含音频信息和图片信息。多视角学习的根本任务是利用不同视角之间的互补信息来提高学习的性能。多视角聚类是多视角学习的一个基本任务，传统的多视角聚类方法大多以谱聚类为基础，在度量不同视角表示下的样本点相似性时以欧氏距离为主。但是数据中的样本点其本征表示往往处于不同的子空间中，其高维表示下样本点的欧氏距离并不能有效的反映数据的结构信息。因此传统的多视角聚类并不能有效地进行多视角子空间的聚类。

发明内容

鉴于以往的方法不能有效的满足多视角的子空间聚类的需要，本发明提出了一种基于稀疏，低秩等约束的线性重构的方法来挖掘多视角数据内在结构的方法。该方法用不同的正则项来约束重构系数以便深入挖掘出子空间的结构，并且可以利用数据不同视角表示的互补信息进行多视角的子空间聚类。

为了解决现有技术存在的空缺，本发明的目的是提供一种基于多视角的数据子空间聚类方法，包括步骤：

步骤S1，提取多视角数据库中的多视角特征；

步骤S2，对于所述多视角数据库，选择特定的线性重构表示方法，并确定所述线性重构表示方法相对应的正则化约束方式；

步骤S3，确定所述多视角特征中每个视角特征的重构误差权重；

步骤S4，根据所选定的重构表示方法和所获得的不同视角特征的重构误差权重，学习得到对所述多视角数据库中所有样本进行重构的线性表示矩阵；所述线性表示矩阵用于表示数据库中样本之间的关系，其元素值表示其所在行对应的样本重构其所在列对应样本的重构系数；

步骤S5，将所述线性表示矩阵进行相应处理，得到度量所述多视角数据库中样本相似性的亲和矩阵；

步骤S6，利用谱聚类算法对所述亲和矩阵进行分割，得到多视角数据子空间。

本发明还公开了一种基于多视角的数据子空间聚类装置，其包括：

特征提取模块，其用于提取多视角数据库中的多视角特征；

线性重构选择模块，其用于对于所述多视角数据库，选择特定的线性重构表示方法，并确定所述线性重构表示方法相对应的正则化约束方式；

重构误差权重确定模块，其用于确定所述多视角特征中每个视角特征的重构误差权重；

线性表示矩阵获取模块，其用于根据所选定的重构表示方法和所获得的不同视角特征的重构误差权重，学习得到对所述多视角数据库中所有样本进行重构的线性表示矩阵；所述线性表示矩阵用于表示数据库中样本之间的关系，其元素值表示其所在行对应的样本重构其所在列对应样本的重构系数；

亲和矩阵获取模块，其用于将所述线性表示矩阵进行相应处理，得到度量所述多视角数据库中样本相似性的亲和矩阵；

多视角数据子空间聚类模块，其用于利用谱聚类算法对所述亲和矩阵进行分割，得到多视角数据子空间。

本发明提出的上述方案能够广泛的应用于聚类分析问题。在上述方案中，首先提取数据集(包含若干子空间)不同视角下的特征；然后利用稀疏，低秩等约束的数据线性重构的方法求得每一个样本点在不同视角下相同的重构系数。在确定重构系数时依据先验信息，对不同视角的重构误差给予不同的权重来衡量视角的重要性。最后通过所有数据点的重构系数构造度量数据相似性的亲和矩阵(affinity matrix)，并利用通用的聚类算法分割此亲和矩阵，完成子空间的聚类。该方法假设数据集中不同视角的数据共享相同的子空间结构，令样本集中数据点在不同视角下具有相同的重构系数，以此来利用多视角数据信息的互补性。同时采用数据重构的方法有助于挖掘出数据中子空间的结构信息。本发明方法将不同约束的数据线性重构方法纳入到统一的子空间聚类框架中，并提出了一种有效的算法进行目标函数的优化。根据本发明的方法，可以挖掘出同一子空间中样本点的相似关系，并且尽可能减小不同子空间中样本点的相似性。同时，可以利用数据集中样本点不同视角描述的信息的互补性来增强子空间聚类的效果。

附图说明

图1是本发明中基于多视角的数据子空间聚类方法流程图。

图2是本发明中在图像和文本两个视角下子空间聚类的具体模型图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明基于多视角的数据子空间聚类方法流程图，如图1所示，该方法包括以下步骤：

步骤S1，收集多视角数据组成的数据库，多视角数据即同一数据有不同的表现形式，比如视频数据可以由音频和图像流组成，图片数据可以由图像本身视觉信息和标记单词信息组成。对不同视角的数据分别提取特征，如图片视觉信息的GIST特征，标记单词的词频特征等。

步骤S2，针对不同的数据库，选择特定的线性重构表示方法，如稀疏表示或者低秩表示，进而确定相对应的正则化约束。

在该步骤中，常用的线性重构方法可以是稀疏表示重构，低秩表示重构和岭回归表示重构。其对应的正则化约束分别为1范数约束，核范数约束和F范数约束。以Z表示步骤S3中的线性表示矩阵，则正则化约束写为

其对应的对线性表示矩阵的约束依次为||Z||₁，||Z||_*和

通过对线性表示矩阵增加不同的正则化约束，使得线性表示矩阵满足不同的特性，以挖掘出数据本身的结构信息。如增加核范数约束，使得所述矩阵满足低秩的特点，以体现数据库样本多个子空间的结构信息。在选择时一般选择稀疏表示重构，因为其计算相对于低秩表示重构简单，且效果上一般会优于岭回归表示重构。

步骤S3，针对所提取的数据库中不同视角的特征，根据先验信息确定不同视角重构误差的权重ω^υ，即第υ视角的权重。这里先验信息指的是不同视角特征对于数据表示能力的强弱。

在该步骤中，对于不同视角数据重构的权重，一般高层语义特征的权重要大于底层语义特征的权重。比如标记词的词频特征权重高于图像的GIST特征的权重。

步骤S4，根据S2中选择的重构方法和S3中确定的不同视角重构误差的权重对数据库中的每一样本在不同视角下学习得到相同的重构系数列向量，将所述列向量按求解顺序排列，即得到所有样本被数据库中所有样本进行重构的线性表示矩阵Z，所求矩阵反映了数据库中样本之间的关系，其元素值表示其所在行对应的样本重构其所在列对应样本的重构系数。

在该步骤中，具体优化的目标函数为：

其中，X^υ是数据库X中第υ视角的特征矩阵，每一列表示一个样本点的视角特征向量，

为数据库中第υ视角的重构误差，γ为预设的比例系数，用于控制重构误差项和正则项的比例。重构方法是线性重构，故称Z为线性表示矩阵，其每一列为对应列的样本点被以此视角下数据库进行重构的重构系数。

采用增广拉格朗日乘子法优化上述问题，目标函数(1)等价为：

其中，Ｊ为中间变量，Y为拉格朗日乘子项，μ为预定系数，初始为较小的正数，tr为trace的缩写，即求矩阵的迹。对于优化目标(2)，令μ逐渐增大，并交替求解J，Z和Y，直至优化目标收敛于Z＝J，即可求得线性表示矩阵Z。首先初始化目标(2)相关参数，令Z和Y为同维度的全零矩阵，μ为较小的正数，如10^-6，γ可取值为1。目标(2)优化的具体步骤如下：

步骤S4.1，求解J：

步骤S4.2，求解Z：

tmp＝2∑_υω^υ(X^υ)^TX^υ，Z＝(tmp+μI)^-1(tmp-Y+μJ) (4)

其中，tmp为中间矩阵，I为与tmp矩阵维度相同的单位矩阵。

步骤S4.3，更新μ：μ＝min(ρμ，μ_max)，其中ρ为增长速率，来控制收敛速度，其取值大于1，但不宜取得过大，μ_max为μ的最大值。

步骤S4.4，求解Y：Y＝Y+μ(Z-J)。

交替求解S4.1-S4.4，直至算法收敛于Z＝J。

步骤S4.1中，不同的正则化约束，求解如下：

采用软阈值求解：J＝S_γ/μ(Z+Y/μ)，其中S_γ/μ(Z+Y/μ)是将矩阵Z+Y/μ的每一元素，这里记为M_ij＝k，与γ/μ进行比较的一种运算，具体定义为：J_ij＝S_γ/μ(k)＝(|k|-γ/μ)₊sgn(k)，其中，(|k|-γ/μ)+表示括号内若为正值则返回正值，否则返回零，sgn(k)表示返回k的符号。

采用奇异值分解求解：J＝D_γ/μ(Z+Y/μ)＝UD_γ/μ(∑)V^*，这里，(Z+Y/μ)＝U∑V^*，即奇异值分解；D_γ/μ(∑)＝diag(σ_i-γ/μ)₊，其中，diag()表示对角矩阵，此矩阵对角线第i元素为(σ_i-γ/μ)₊，σ_i为前面奇异值分解后对角矩阵∑的第i元素，()₊操作符与

中所遇到的操作符求解一致。

F范数约束，直接得到解析形式解：J＝μ/(2γ+μ)*(Z+Y/μ)。

步骤S5，将S4中线性表示矩阵Z进行非负和对称化处理，得到度量多视角数据相似性的亲和矩阵。

在该步骤中，W＝1/2*(|Z|+|Z^T|)，其中Z^Ｔ为Z的转置矩阵，经过上述处理，可以得到非负对称矩阵W，即度量多视角数据库中样本相似性的亲和矩阵。

步骤S6，利用谱聚类算法对S5中的亲和矩阵进行分割，找到各数据点所在的子空间。

在该步骤中，可以利用Normalized Cuts算法对亲和矩阵进行分割，该算法根据需要分割的块数，将亲和矩阵所对应的数据库样本集合分割成不同的聚类，每一个聚类即代表了一个子空间。

为了验证本发明的实施效果，接下来以Pascal VOC2007数据库为例进行说明。该数据库包含5,011和4,952训练和测试图像标记词对，即图像和文本两个视角。这里选择训练集进行验证，共计20类，即对应20个子空间，结合图2，这里仅给出两类子空间聚类的示意图，具体步骤如下：

步骤S1，将训练集中多类别的图片以及没有标记词对应的图片去除，得到2799图像和标记词对。提取图片的GIST特征以及标记词的词频特征。这里多类别的图片是指Pascal VOC2007数据库中类别标记多于2的图片。对应图2中，空心方框和三角代表图片，实心方框和三角代表对应的文本，这里以二维空间为例进行样本不同视角的表示。

步骤S2，选择稀疏线性重构的方法，即

步骤S3，词频特征代表高层语义信息，GIST特征是图像底层语义言息，于是选择词频特征重构误差的权重选择0.7，GIST特征重构误差的权重选择0.3，即图2中ω＝0.3。

步骤S4，令

并将S3中的权重带入优化目标(1)中，求解线性表示矩阵Z。在步骤S4.1-S4.4中，取初值μ＝10^-6，J＝Z＝Y＝0，增长速率ρ＝1.1，μ_max＝10⁸，γ取值为1，收敛条件为

这里Z以图2中的虚线表示，相连代表样本之间关系密切，后续亲和矩阵对应元素值大。

步骤S5，利用S3中得到的线性表示矩阵Z求解度量多视角数据相似性的亲和矩阵W：W＝1/2*(|Z|+|Z^T|)。

步骤S6，利用Normalized Cuts将亲和矩阵切割为20块，每一块对应一个子空间。对应图2中，两类子空间以两个聚类进行表示。

以上所述的具体实施例，对本发明的目的、技术方案和效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多视角的数据子空间聚类方法，包括步骤：

步骤S1，提取多视角数据库中的多视角特征；

步骤S2，对于所述多视角数据库，选择特定的线性重构表示方法，并确定所述线性重构表示方法相对应的正则化约束方式；

步骤S3，确定所述多视角特征中每个视角特征的重构误差权重；

步骤S4，根据所选定的重构表示方法和所获得的不同视角特征的重构误差权重，学习得到对所述多视角数据库中所有样本进行重构的线性表示矩阵；所述线性表示矩阵用于表示数据库中样本之间的关系，其元素值表示其所在行对应的样本重构其所在列对应样本的重构系数；

步骤S5，将所述线性表示矩阵进行相应处理，得到度量所述多视角数据库中样本相似性的亲和矩阵；

步骤S6，利用谱聚类算法对所述亲和矩阵进行分割，得到多视角数据子空间。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，所述线性重构表示方法包括1范数约束的稀疏表示方法、核范数约束的低秩表示方法以及F范数约束的岭回归表示方法。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中，根据不同视角特征对于数据表示能力的强弱确定视角特征的重构误差权重。

4.根据权利要求1所述的方法，其特征在于，所述步骤S4中，线性表示矩阵的每一列对应当前视角下样本被数据库所有样本进行重构的系数列向量，每一列的元素值表示元素所在行所对应数据库中的样本的重构系数。

5.根据权利要求1所述的方法，其特征在于，步骤S4中学习获得线性表示矩阵的目标函数如下表示：

其中，X^υ是多视角数据库中第υ视角的特征矩阵，每一列表示一个样本的视觉特征向量，

为第υ视角的重构误差，γ为预设的比例系数，Z为线性表示矩阵，

为线性表示矩阵的正则化约束表示；ω^υ为第υ视角的权重。

6.根据权利要求5所述的方法，其特征在于，步骤S4中采用增广拉格朗日乘子法优化上述目标函数，得到优化后的目标函数如下所示：

其中，J为中间变量，Y为拉格朗日乘子项，μ预设系数，tr为trace的缩写，即求矩阵的迹。

7.根据权利要求6所述的方法，其特征在于，步骤S4中所述优化后的目标函数如下求解：

步骤S41，求解J：

步骤S42，求解Z：

tmp＝2∑_υω^υ(X^υ)^TX^υ，Z＝(tmp+μI)^-1(tmp-Y+μJ)

其中，tmp为中间矩阵，I为tmp矩阵维度相同的单位矩阵；

步骤S43，增加μ的值，并求解Y，其中，Y＝Y+μ(Z-J)，转步骤S41，直至Z＝J。

8.根据权利要求7所述的方法，其特征在于，所述正则化约束包括1范数约束表示||Z||₁、核范数约束表示||Z||_*和F范数约束表示

其中，

时，采用软阈值求解：J_ij＝(|k|-γ/μ)₊sgn(k)，J_ij为所求矩阵J中的元素，k为矩阵Z+Y/μ中对应的元素，其中，(|k|-γ/μ)₊表示括号内若为正值则返回正值，否则返回零，sgn(k)表示返回k的符号；

时，采用奇异值分解求解得到：J＝D_γ/μ(Z+Y/μ)＝UD_γ/μ(∑)V^*，(Z+Y/μ)＝U∑V^*，D_γ/μ(∑)＝diag(σ_i-γ/μ)₊，其中，diag()表示对角矩阵，其对角线第i元素为(σ_i-γ/μ)₊，σ_i对角矩阵∑的第i元素；

时，直接得到解析形式解：J＝μ/(2γ+μ)*(Z+Y/μ)。

9.根据权利要求1所述的方法，其特征在于，所述步骤S5中对所述线性表示矩阵进行非负和对称化处理得到所述亲和矩阵；在步骤S6中，采用Normalized Cuts聚类方法对亲和矩阵进行分割。

10.一种基于多视角的数据子空间聚类装置，其包括：

特征提取模块，其用于提取多视角数据库中的多视角特征；

线性重构选择模块，其用于对于所述多视角数据库，选择特定的线性重构表示方法，并确定所述线性重构表示方法相对应的正则化约束方式；

重构误差权重确定模块，其用于确定所述多视角特征中每个视角特征的重构误差权重；

线性表示矩阵获取模块，其用于根据所选定的重构表示方法和所获得的不同视角特征的重构误差权重，学习得到对所述多视角数据库中所有样本进行重构的线性表示矩阵；所述线性表示矩阵用于表示数据库中样本之间的关系，其元素值表示其所在行对应的样本重构其所在列对应样本的重构系数；

亲和矩阵获取模块，其用于将所述线性表示矩阵进行相应处理，得到度量所述多视角数据库中样本相似性的亲和矩阵；

多视角数据子空间聚类模块，其用于利用谱聚类算法对所述亲和矩阵进行分割，得到多视角数据子空间。

Images