CN111488900A - 一种基于非负矩阵分解的多视图相关特征学习模型 - Google Patents

Abstract

一种基于非负矩阵分解的多视图相关特征学习模型，属于计算机技术领域。首先，对多视图数据集进行归一化和特殊值预处理。其次，通过双图正则化和视图特定特征的组合，在数据流形和特征流形中模拟对象分布，并为每一个视图添加权重因子，用l_1,2‑norm来约束公共子空间的稀疏性。再次，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵，更新视图权重因子。最后，判断本次模型收敛值和上一次模型收敛值之间的差异，迭代更新各公式直至满足模型收敛条件。本发明依照上述特征所构建的模型推导出了一种行之有效的算法来处理上述问题，通过大量实验验证，本发明所得到的数据表示性能优于现阶段相关模型。

Description

一种基于非负矩阵分解的多视图相关特征学习模型

技术领域

本发明属于计算机技术领域，涉及一种基于非负矩阵分解的多视图相关特征学习模型，尤其涉及一种引用数据空间和特征空间的双图正则化的多视图非负相关特征学习模型。

背景技术

如何提取关键信息以及如何在这些海量数据之间建立关联成为一个紧迫的问题。多视图数据是这些情况之一，不同视图可以分别描述它们在不同维度上的基本特征，从而产生异构数据。通过学习这些基本特征所表达的共同子空间，它可以帮助本发明从海量数据中提取关键信息或在不同视图之间建立桥梁，以过滤掉不重要信息的影响。

非负矩阵分解(NMF)是在多视图学习中获得基于部分的公共子空间的有效方式。它是将部件集成到一个整体中，提供与原始数据空间的良好近似。遵循这个想法,多视图NMF是通过制定联合矩阵分解来生成一个共同的表示。不幸的是，这些模型仍存在一些缺点。他们并未对数据项进行约束，同业没有运用到数据空间本身的性质。通过这种方式拟合出的数据空间过于理想，在实际使用中结果往往不够理想。

为了解决上述缺点，蔡等人[Cai D,He X,Han J,et al.Graph RegularizedNonnegative Matrix Factorization for Data Representation[J].IEEE Transactionson Pattern Analysis&Machine Intelligence,2011, 33(8):1548-1560.]通过对数据流行空间中局部几何结构的利用，通过图正则化对数据进行约束，更好地拟合样本数据空间，以此达到更好的实验效果，但该类模型并未考虑特征空间的有益作用。受“不同空间具有不同表现”现象[Shang F,Jiao LC,Wang Fei(2012)Graph dual regularization non-negative matrix factorization for co-clustering.Pattern Recognit 45:2237–2250.]的启发，Shang等人 [Shang F,Jiao LC,Wang Fei(2012)Graph dualregularization non-negative matrix factorization for co-clustering. PatternRecognit 45:2237–2250.]提出了通过引入两个度量空间来分析共享表示中的对象之间的关系，以减少单视图学习中的噪声干扰的模型。然而，这类模型没有考虑到不相关特征对拟合数据空间的不良影响，而是将所有数据项进行处理，忽略了不相关特征对获取潜在公共子空间的影响。此外，有一些研究人员利用特征选择来进行筛选，以避免不同视图中噪声特征对实验结果的影响。比如，赵等人[Zhao L,Chen Z,Wang Z J.Unsupervised Multi-ViewNon-Negative Correlated Feature Learning for Data Clustering[J].IEEE SignalProcessing Letters,2017,vol.25,no.1,pp.60-64.] 通过将数据特征分为视图特定特征和视图共享特征两部分来达到降低不相关特征对实验结果的影响。但这种模型没有参考特征空间对获取潜在空间的有益影响。

因此，在视图特定特征和目前对双图正则化模型研究的启发下，本发明提出了一种新的非负模型，即自适应双图正则化的多视图非负特征学习(ADMFL)。

发明内容

针对现有技术存在的问题，本发明提供一种基于非负矩阵分解的多视图相关特征学习模型。构建利用双图正则化的思想，同时拟合数据空间和特征空间的几何结构，从多方面构建对样本空间的拟合重现；为每一个视图添加权重因子，通过对模型的设置使每个视图自适应的更新自身权重，达到区分对潜在公共子空间的影响的目的；用l_1,2-norm来约束公共子空间的稀疏性。

为了达到上述目的，本发明采用的技术方案为：

一种基于非负矩阵分解的多视图相关特征学习模型，具体包括如下步骤：

第一步，对多视图数据集进行归一化和特殊值预处理

在模型的初始阶段，对多视图数据集进行预处理，对所有数据属性值设置为一种线性转换的非负属性值。

第二步，构建基于非负矩阵分解的多视图相关特征学习模型，来拟合数据项的实际分布情况，包括：

首先，通过双图正则化和视图特定特征的组合，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征，同时通过学习视图特定特征和视图共享特征来减少不同视图中不相关特征对模型结果的影响。其次，为每一个视图添加权重因子，通过对模型的设置使每个视图自适应的更新自身权重，达到区分对潜在公共子空间的影响的目的。最后，用l_1,2-norm来约束公共子空间的稀疏性，保证在公共子空间上的特征不会出现0列项，进一步保证公共子空间的现实意义。

第三步，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵，更新视图权重因子，包括：

根据梯度下降原理，推导出优化模型中各个相关矩阵和权重因子的更新公式，对其进行更新迭代，以获得局部最优解。

第四步，判断本次模型公式结果和上一次模型公式结果之间的差异，迭代更新第三步直至满足模型收敛条件，包括：

根据数据集对所有特征矩阵，映射矩阵以及权重因子等更新结束后，通过比较连续两次模型公式结果判断模型是否收敛。如果满足模型收敛条件，当前所得的视图共享特征结果为模型执行最终结果；否则，更新模型公式结果为当前计算得到的模型公式结果，重新执行特征提取过程。

本发明的有益效果为：本发明依照上述特征所构建的模型推导出了一种行之有效的算法来处理上述问题。通过大量实验验证，本发明所得到的数据表示性能要优于现阶段相关模型。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实例中的一种基于非负矩阵分解的多视图相关特征学习模型的整体结构示意图；

图2是本发明展示的一种基于非负矩阵分解的多视图相关特征学习模型在现实数据集的 PUR性能效果。图(a)到图(d)为ADMFL模型在四个不同数据集上的PUR性能结果。

图3是本发明流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种基于非负矩阵分解的多视图相关特征学习模型，具体包括如下步骤：

第一步，对多视图数据集进行归一化和特殊值预处理

对于给定的数据项，可以获得各种特征来构造多视图数据集

其中K为总视图数，N为总实例数，

表示具有M_v维特征的第v个视图的特征矩阵，

为具有非负约束的实数数据矩阵。对于每一个属性，利用min-max标准化方法将对应的所有对象的属性值映射到[0-1]区间。对于每个对象包含的所有缺失属性值，利用1-数值对其进行初始化填补。

第二步，构造基于非负矩阵分解的多视图相关特征学习模型，来拟合数据项的实际分布情况，图1示出了本发明实施例中的一种基于非负矩阵分解的多视图相关特征学习模型的结构示意图，具体包括以下子步骤：

首先，将特征矩阵分为视图特定特征矩阵和视图共享特征矩阵，并引入双图正则化思想，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征：如图1所示，来自所有视图的数据特征可以利用视图特定映射矩阵

和视图共享映射矩阵

转化成唯一视图共享特征矩阵H_C和每个视图对应的视图特定特征矩阵

分别设置视图共享特征矩阵H_C的维度为mc和第v个视图的视图特定特征矩阵

的维度为

基本的多视图学习模型如下：

其中，

是第v视图的视图特定权重矩阵，

是第v视图的共享权重矩阵，

和

K为总视图数，X^(v)为第v视图的特征矩阵。||·||_F表示 Frobenius范数，

表示当前Frobenius范数的平方，s.t.表示约束条件。本发明通过分别学习视图特定特征矩阵以及视图共享特征矩阵，消除不同视图中不相关特征对学习公共子空间特征的不良影响。

本发明利用热核加权方案构造p-最近邻图，其顶点对应于数据空间中的每个数据。本发明将数据权重矩阵定义为：

其中，

为数据权重矩阵

的第i行第j列的数值。

是数据实例

和

之间的欧几里德距离。

表示

的p个最近邻居实例的集合。

为第v个视图的第i 个数据实例，

为第v个视图的第j个数据实例，σ为样本数据的标准差，用来表示数据的离散程度。对原始数据空间中每个视图的相似度矩阵

和共享子空间中的相似性度量进行积分。通过最小化图正则化项

来保证在第v个视图中是邻居的两个数据实例

和

在学习的潜在子空间中也同样是邻居。其中

是第v个视图在数据空间上的拉普拉斯矩阵，

为

的对角矩阵，Tr(·)表示矩阵的迹，上标T表示矩阵的转置。

类似地，本发明利用热核加权方案来构造p-最近邻图，其顶点表示特征空间中的每个特征。因此，本发明将特征权重矩阵定义为：

其中，

为特征权重矩阵

的第i行第j列的数值。

是特征实例f_i ^(v)和f_j ^(v)之间的欧几里德距离。N_p(f_i ^(v))表示f_i ^(v)的p个最近邻居实例的集合；f_i ^(v)为第v个视图的第i 个特征实例；f_j ^(v)为第v个视图的第j个特征实例。与数据空间类似，本发明将每个视图中的特征空间正则化为

其中

是第v个视图在特征空间中的拉普拉斯矩阵，

是

的对角矩阵。

其次，为各视图添加自适应权重因子(α^(v))^γ，其中，α^(v)为第v个视图的权重因子，γ为控制权重分散程度的参数。自动更新自身视图权重，约束不同视图对潜在子空间的影响；

最后，利用l_1,2-norm来规范每个数据项的稀疏性，l_1,2-norm是l₂-norm和l₁-norm的混合物，l_1,2-norm定义为：

其中，(H_C)_i,j为视图共享特征矩阵H_C的第j个数据实例的第i个特征值。本发明可以最小化||H_C||_1,2项，以保证每个数据中不重要的特征是零值，而在H_C中不存在零列。本发明所构建的模型公式如下所示：

其中，λ为数据空间中局部结构正则化的控制参数，η为特征空间中局部结构正则化的控制参数，μ为控制视图共享特征矩阵稀疏化程度的控制参数。

第三步，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵以及更新视图权重因子。根据梯度下降原理，推导出优化模型中各个相关矩阵和权重因子的更新公式，对其进行更新迭代，以获得局部最优解。具体包括以下子步骤：

当

和α^(v)被聚合在一起时，目标函数不为凸函数。在这种情况下，无法获得全局最小值。因此，本发明通过在固定其他变量的同时更新变量来获得局部最优解。具体如下：

①优化

和

当

和α^(v)固定时，

和

的优化对于不同的视图是独立的。α^(v)是一个加权因子，其存在不影响参数更新，因此本发明在下一个推导中暂时忽略它。因此，子问题可以表述为：

方程(5)的问题是非负二次规划问题，可以通过传统的NMF模型得到最优解[12]。优化方程(5)，

和φ^(v)分别是约束

和

的拉格朗日乘数。之后，拉格朗日函数是：

和

的Lagrange函数的偏导数分别为：

KKT条件

和

本发明得到

和

的更新规则：

其中，(·)_ij表示当前矩阵的第i行第j列的数值。

②优化

当

和α^(v)固定时，

的目标函数的子问题可以简化为：

与上述方程(5)的优化规则类似，本发明可以实现

的更新规则：

③优化H_C：当

和α^(v)固定时，H_C的子问题可以重写为：

受之前优化规则方程(5)的影响，本发明可以实现H_C的更新规则：

④优化α^(v)：当

和

固定时，子函数可以重写为：

其中：F^(v)＝Tr{(WX^(v)-H)(WX^(v)-H)^T}

因此，方程(15)的拉格朗日函数是：

其中，ζ为约束

的拉格朗日乘数。为了获得前面提到的问题的最优解，本发明设定方程(17)的导数相对于α^(v)为零。则有：

接下来，通过在方程(18)中代入结果α^(v)进入约束

更新表达式为：

本发明使用参数γ来讨论权重因子对所有视图的影响。通过方程(19)，本发明发现当γ→∞时本发明可以获得相等的权重因子。当γ→1时，本发明将具有F^(v)最小值的视图的加权因子设置为1，其他设置为0。在这种处理模式中，本发明只能使用一个参数γ来控制更新权重因子使得本发明有效地减少了所提出模型中的使用参数。

第四步，收敛性判断

判断本次模型公式结果和上一次模型公式结果(当前更新结束的结果跟跟上一次结果进行比对)之间的差异，迭代更新第三步直至满足模型收敛条件，每次更新后均会获得一个模型公式结果包括：

根据数据集对所有特征矩阵，映射矩阵以及权重因子等更新结束后，通过比较连续两次模型公式结果判断模型是否收敛。如果满足模型收敛条件，当前所得的视图共享特征矩阵为模型执行最终结果；否则，将模型公式结果更新为当前计算得到的模型公式结果，重新执行特征提取过程。所述的判断本次模型与上一次模型的目标函数值是否小于10^-4，如果小于，则满足收敛条件。

结合本发明的方案，进行实验分析如下：

为了验证本发明提出模型ADMFL的有效性，将ADMFL和目前较为重要的多视图学习模型BSV，MultiNMF，MultiGNMF，UMCFL和DNMF进行对比。同时，本发明模型的变体ADMFL-LC，(即没有l_1,2-norm约束的ADMFL)，ADMFL-LP，(即没有自适应参数调整的 ADMFL)，以及ADMFL-LCP，(即没有l_1,2-norm约束和参数调整的ADMFL)。验证数据集为 UCI标准数据集，如表1所示。

表1数据集描述

实验硬件环境配置为：在具体实验中，本发明为各个对比模型给出潜在共同表示的维度 m_c。因此，当类别的数量小于所有视图的维度时，本发明将维度设置为类别的数量，否则是最小视图维度。此外，每个视图的学习视图特定要素的尺寸设置为

表2和3分别显示了实验模型的NMI和ACC结果以及图2显示了每个数据集的PUR结果。实验表明ADMFL在每个数据集上明显优于其他模型。本发明不仅利用双图正则化模型来模拟数据流形和特征流形中的局部几何结构，而且还学习视图特定特征来消除不相关项目和噪声项目的影响。更重要的是，ADMFL引入权重因子来平衡潜在公共子空间中视图之间的关系，并利用l_1,2-norm来约束公共子空间并保持潜在表示的稀疏性。总之，本发明的ADMFL模型在NMI，PUR和ACC方面优于其他比较模型。

表3：数据集上的聚类性能(ACC)

表2：数据集上的聚类性能(NMI)

以上对本发明实施所提供的一种基于非负矩阵分解的多视图相关特征学习模型进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的模型及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于非负矩阵分解的多视图相关特征学习模型，其特征在于，包括如下步骤：

第一步，对多视图数据集进行归一化和特殊值预处理，包括：在模型的初始阶段，对多视图数据集进行预处理，对所有数据属性值设置为一种线性转换的非负属性值；

第二步，构建基于非负矩阵分解的多视图相关特征学习模型，来拟合数据项的实际分布情况，包括：首先，通过双图正则化和视图特定特征的组合，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征，同时通过学习视图特定特征和视图共享特征来减少不同视图中不相关特征对模型结果的影响；其次，为每一个视图添加权重因子，通过对模型的设置使每个视图自适应的更新自身权重，达到区分对潜在公共子空间的影响的目的；最后，采用l_1,2-norm约束公共子空间的稀疏性，保证在公共子空间上的特征不会出现0列项；

第三步，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵，更新视图权重因子，包括：根据梯度下降原理，推导出优化模型中各个相关矩阵和权重因子的更新公式，对其进行更新迭代，以获得局部最优解；

第四步，判断本次模型公式结果和上一次模型公式结果之间的差异，迭代更新第三步直至满足模型收敛条件，包括：根据数据集对所有特征矩阵，映射矩阵以及权重因子更新结束后，比较连续两次模型公式结果判断模型是否收敛：如果满足模型收敛条件，当前所得的视图共享特征结果为模型执行最终结果；否则，更新模型公式结果为当前计算得到的模型公式结果，重新执行特征提取过程。

2.根据权利要求1所述的一种基于非负矩阵分解的多视图相关特征学习模型，其特征在于，所述的第一步具体内容为：

根据给定的数据项获得各种特征，构造多视图数据集

其中K为总视图数，

表示具有M_v维特征的第v个视图的特征矩阵，

为具有非负约束的实数数据矩阵，N为总实例数，对于每一个属性，利用min-max标准化方法将对应的所有对象的属性值映射到[0-1]区间；对于每个对象包含的所有缺失属性值，利用1-数值对其进行初始化填补。

3.根据权利要求1所述的一种基于非负矩阵分解的多视图相关特征学习模型，其特征在于，所述的第二步具体内容为：

首先，将特征矩阵分为视图特定特征矩阵和视图共享特征矩阵，并引入双图正则化思想，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征：来自所有视图的数据特征可以利用视图特定映射矩阵

和视图共享映射矩阵

转化成唯一视图共享特征矩阵H_C和每个视图对应的视图特定特征矩阵

分别设置视图共享特征矩阵H_C的维度为m_c，第v个视图的视图特定特征矩阵

的维度为

基本的多视图学习模型如下：

其中，

是第v视图的视图特定权重矩阵，

是第v视图的共享权重矩阵，

和

K为总视图数，X^(v)为第v视图的特征矩阵；通过分别学习视图特定特征矩阵以及视图共享特征矩阵，消除不同视图中不相关特征对学习公共子空间特征的不良影响；

利用热核加权方案来构造p-最近邻图，其顶点表示特征空间中的每个特征；

将数据权重矩阵定义为：

其中，

为数据权重矩阵

的第i行第j列的数值；

是数据实例

和

之间的欧几里德距离；

表示

的p个最近邻居实例的集合；

为第v个视图的第i个数据实例，

为第v个视图的第j个数据实例，σ为样本数据的标准差，用来表示数据的离散程度；对原始数据空间中每个视图的相似度矩阵

和共享子空间中的相似性度量进行积分；通过最小化图正则化项

来保证在第v个视图中是邻居的两个数据实例

和

在学习的潜在子空间中也同样是邻居；其中

是第v个视图在数据空间上的拉普拉斯矩阵，

为

的对角矩阵；

将特征权重矩阵定义为：

其中，

为特征权重矩阵

的第i行第j列的数值；

是特征实例f_i ^(v)和

之间的欧几里德距离；N_p(f_i ^(v))表示f_i ^(v)的p个最近邻居实例的集合；f_i ^(v)为第v个视图的第i个特征实例；

为第v个视图的第j个特征实例；与数据空间类似，本发明将每个视图中的特征空间正则化为

其中

是第v个视图在特征空间中的拉普拉斯矩阵，

是

的对角矩阵；

其次，为各视图添加自适应权重因子(α^(v))^γ，其中，α^(v)为第v个视图的权重因子，γ为控制权重分散程度的参数；自动更新自身视图权重，约束不同视图对潜在子空间的影响；

最后，利用l_1,2-norm规范每个数据项的稀疏性，l_1,2-norm是l₂-norm和l₁-norm的混合物，l_1,2-norm定义为：

其中，(H_C)_i,j为视图共享特征矩阵H_C的第j个数据实例的第i个特征值；本发明可以最小化||H_C||_1,2项，以保证每个数据中不重要的特征是零值，而在H_C中不存在零列；本发明所构建的模型公式如下所示：

其中，λ为数据空间中局部结构正则化的控制参数，η为特征空间中局部结构正则化的控制参数，μ为控制视图共享特征矩阵稀疏化程度的控制参数。

4.根据权利要求1所述的一种基于非负矩阵分解的多视图相关特征学习模型，其特征在于，所述的第三步包括以下内容：

当

和α^(v)被聚合在一起时，目标函数不为凸函数；在这种情况下，无法获得全局最小值，因此，通过在固定其他变量的同时更新变量来获得局部最优解：

①优化

和

当

和α^(v)固定时，

和

的优化对于不同的视图是独立的；α^(v)是一个加权因子，其存在不影响参数更新，在下一个推导中暂时忽略；因此，子问题可以表述为：

方程(5)的问题是非负二次规划问题，通过传统的NMF模型得到最优解；优化方程(5)，

和φ^(v)分别是约束

和

的拉格朗日乘数；之后，拉格朗日函数是：

和

的Lagrange函数的偏导数分别为：

KKT条件

和

得到

和

的更新规则：

其中，(﹒)_ij表示当前矩阵的第i行第j列的数值；

②优化

当

和α^(v)固定时，

的目标函数的子问题可以简化为：

与上述方程(5)的优化规则类似，可以实现

的更新规则：

③优化H_C：当

和α^(v)固定时，H_C的子问题可以重写为：

受之前优化规则方程(5)的影响，可以实现H_C的更新规则：

④优化α^(v)：当

和

固定时，子函数可以重写为：

其中：

因此，方程(15)的拉格朗日函数是：

其中，ζ为约束

的拉格朗日乘数；为了获得前面提到的问题的最优解，本发明设定方程(17)的导数相对于α^(v)为零；则有：

接下来，通过在方程(18)中代入结果α^(v)进入约束

更新表达式为：

使用参数γ讨论权重因子对所有视图的影响；通过方程(19)可知，当γ→∞时本发明可以获得相等的权重因子；当γ→1时，将具有F^(v)最小值的视图的加权因子设置为1，其他设置为0。

5.根据权利要求1所述的一种基于非负矩阵分解的多视图相关特征学习模型，其特征在于，所述的第四步收敛条件为：判断本次模型与上一次模型的目标函数值是否小于10^-4，如果小于，则满足收敛条件。

Images