CN111488900B - 一种基于非负矩阵分解的多视图相关特征学习方法 - Google Patents
一种基于非负矩阵分解的多视图相关特征学习方法 Download PDFInfo
- Publication number
- CN111488900B CN111488900B CN201910180790.9A CN201910180790A CN111488900B CN 111488900 B CN111488900 B CN 111488900B CN 201910180790 A CN201910180790 A CN 201910180790A CN 111488900 B CN111488900 B CN 111488900B
- Authority
- CN
- China
- Prior art keywords
- view
- matrix
- feature
- data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims description 18
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 claims description 4
- 230000002411 adverse Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000452 restraining effect Effects 0.000 claims description 2
- 238000011524 similarity measure Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 abstract description 6
- 238000002474 experimental method Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Complex Calculations (AREA)
- Machine Translation (AREA)
Abstract
一种基于非负矩阵分解的多视图相关特征学习模型，属于计算机技术领域。首先，对多视图数据集进行归一化和特殊值预处理。其次，通过双图正则化和视图特定特征的组合，在数据流形和特征流形中模拟对象分布，并为每一个视图添加权重因子，用l1,2‑norm来约束公共子空间的稀疏性。再次，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵，更新视图权重因子。最后，判断本次模型收敛值和上一次模型收敛值之间的差异，迭代更新各公式直至满足模型收敛条件。本发明依照上述特征所构建的模型推导出了一种行之有效的算法来处理上述问题，通过大量实验验证，本发明所得到的数据表示性能优于现阶段相关模型。
Description
技术领域
本发明属于计算机技术领域，涉及一种基于非负矩阵分解的多视图相关特征学习方法，尤其涉及一种引用数据空间和特征空间的双图正则化的多视图非负相关特征学习模型。
背景技术
如何提取关键信息以及如何在这些海量数据之间建立关联成为一个紧迫的问题。多视图数据是这些情况之一，不同视图可以分别描述它们在不同维度上的基本特征，从而产生异构数据。通过学习这些基本特征所表达的共同子空间，它可以帮助本发明从海量数据中提取关键信息或在不同视图之间建立桥梁，以过滤掉不重要信息的影响。
非负矩阵分解(NMF)是在多视图学习中获得基于部分的公共子空间的有效方式。它是将部件集成到一个整体中，提供与原始数据空间的良好近似。遵循这个想法,多视图NMF是通过制定联合矩阵分解来生成一个共同的表示。不幸的是，这些模型仍存在一些缺点。他们并未对数据项进行约束，同业没有运用到数据空间本身的性质。通过这种方式拟合出的数据空间过于理想，在实际使用中结果往往不够理想。
为了解决上述缺点，蔡等人[Cai D,He X,Han J,et al.Graph RegularizedNonnegative Matrix Factorization for Data Representation[J].IEEE Transactionson Pattern Analysis&Machine Intelligence,2011,33(8):1548-1560.]通过对数据流行空间中局部几何结构的利用，通过图正则化对数据进行约束，更好地拟合样本数据空间，以此达到更好的实验效果，但该类模型并未考虑特征空间的有益作用。受“不同空间具有不同表现”现象[Shang F,Jiao LC,Wang Fei(2012)Graph dual regularization non-negative matrix factorization for co-clustering.Pattern Recognit 45:2237–2250.]的启发，Shang等人[Shang F,Jiao LC,Wang Fei(2012)Graph dualregularization non-negative matrix factorization for co-clustering.PatternRecognit 45:2237–2250.]提出了通过引入两个度量空间来分析共享表示中的对象之间的关系，以减少单视图学习中的噪声干扰的模型。然而，这类模型没有考虑到不相关特征对拟合数据空间的不良影响，而是将所有数据项进行处理，忽略了不相关特征对获取潜在公共子空间的影响。此外，有一些研究人员利用特征选择来进行筛选，以避免不同视图中噪声特征对实验结果的影响。比如，赵等人[Zhao L,Chen Z,Wang Z J.Unsupervised Multi-ViewNon-Negative Correlated Feature Learning for Data Clustering[J].IEEE SignalProcessing Letters,2017,vol.25,no.1,pp.60-64.]通过将数据特征分为视图特定特征和视图共享特征两部分来达到降低不相关特征对实验结果的影响。但这种模型没有参考特征空间对获取潜在空间的有益影响。
因此，在视图特定特征和目前对双图正则化模型研究的启发下，本发明提出了一种新的非负模型，即自适应双图正则化的多视图非负特征学习(ADMFL)。
发明内容
针对现有技术存在的问题，本发明提供一种基于非负矩阵分解的多视图相关特征学习方法。构建利用双图正则化的思想，同时拟合数据空间和特征空间的几何结构，从多方面构建对样本空间的拟合重现；为每一个视图添加权重因子，通过对模型的设置使每个视图自适应的更新自身权重，达到区分对潜在公共子空间的影响的目的；用l1,2-norm来约束公共子空间的稀疏性。
为了达到上述目的，本发明采用的技术方案为：
一种基于非负矩阵分解的多视图相关特征学习方法，具体包括如下步骤：
第一步，对多视图数据集进行归一化和特殊值预处理
在模型的初始阶段，对多视图数据集进行预处理，对所有数据属性值设置为一种线性转换的非负属性值。
第二步，构建基于非负矩阵分解的多视图相关特征学习模型，来拟合数据项的实际分布情况，包括：
首先，通过双图正则化和视图特定特征的组合，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征，同时通过学习视图特定特征和视图共享特征来减少不同视图中不相关特征对模型结果的影响。其次，为每一个视图添加权重因子，通过对模型的设置使每个视图自适应的更新自身权重，达到区分对潜在公共子空间的影响的目的。最后，用l1,2-norm来约束公共子空间的稀疏性，保证在公共子空间上的特征不会出现0列项，进一步保证公共子空间的现实意义。
第三步，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵，更新视图权重因子，包括：
根据梯度下降原理，推导出优化模型中各个相关矩阵和权重因子的更新公式，对其进行更新迭代，以获得局部最优解。
第四步，判断本次模型公式结果和上一次模型公式结果之间的差异，迭代更新第三步直至满足模型收敛条件，包括：
根据数据集对所有特征矩阵，映射矩阵以及权重因子等更新结束后，通过比较连续两次模型公式结果判断模型是否收敛。如果满足模型收敛条件，当前所得的视图共享特征结果为模型执行最终结果；否则，更新模型公式结果为当前计算得到的模型公式结果，重新执行特征提取过程。
本发明的有益效果为：本发明依照上述特征所构建的模型推导出了一种行之有效的算法来处理上述问题。通过大量实验验证，本发明所得到的数据表示性能要优于现阶段相关模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实例中的一种基于非负矩阵分解的多视图相关特征学习模型的整体结构示意图；
图2是本发明展示的一种基于非负矩阵分解的多视图相关特征学习模型在现实数据集的PUR性能效果。图(a)到图(d)为ADMFL模型在四个不同数据集上的PUR性能结果。
图3是本发明流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种基于非负矩阵分解的多视图相关特征学习方法，具体包括如下步骤：
第一步，对多视图数据集进行归一化和特殊值预处理
对于给定的数据项，可以获得各种特征来构造多视图数据集其中K为总视图数，N为总实例数，/>表示具有Mv维特征的第v个视图的特征矩阵，/>为具有非负约束的实数数据矩阵。对于每一个属性，利用min-max标准化方法将对应的所有对象的属性值映射到[0-1]区间。对于每个对象包含的所有缺失属性值，利用1-数值对其进行初始化填补。
第二步，构造基于非负矩阵分解的多视图相关特征学习模型，来拟合数据项的实际分布情况，图1示出了本发明实施例中的一种基于非负矩阵分解的多视图相关特征学习模型的结构示意图，具体包括以下子步骤：
首先，将特征矩阵分为视图特定特征矩阵和视图共享特征矩阵，并引入双图正则化思想，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征：如图1所示，来自所有视图的数据特征可以利用视图特定映射矩阵和视图共享映射矩阵/>转化成唯一视图共享特征矩阵HC和每个视图对应的视图特定特征矩阵/>分别设置视图共享特征矩阵HC的维度为mc和第v个视图的视图特定特征矩阵/>的维度为/>基本的多视图学习模型如下：
其中，是第v视图的视图特定权重矩阵，/>是第v视图的共享权重矩阵，/>和/>K为总视图数，X(v)为第v视图的特征矩阵。||·||F表示Frobenius范数，/>表示当前Frobenius范数的平方，s.t.表示约束条件。本发明通过分别学习视图特定特征矩阵以及视图共享特征矩阵，消除不同视图中不相关特征对学习公共子空间特征的不良影响。
本发明利用热核加权方案构造p-最近邻图，其顶点对应于数据空间中的每个数据。本发明将数据权重矩阵定义为：
其中，为数据权重矩阵/>的第i行第j列的数值。/>是数据实例/>和之间的欧几里德距离。/>表示/>的p个最近邻居实例的集合。/>为第v个视图的第i个数据实例，/>为第v个视图的第j个数据实例，σ为样本数据的标准差，用来表示数据的离散程度。对原始数据空间中每个视图的相似度矩阵/>和共享子空间中的相似性度量进行积分。通过最小化图正则化项/>来保证在第v个视图中是邻居的两个数据实例/>和/>在学习的潜在子空间中也同样是邻居。其中/> 是第v个视图在数据空间上的拉普拉斯矩阵，/>为/>的对角矩阵，Tr(·)表示矩阵的迹，上标T表示矩阵的转置。
类似地，本发明利用热核加权方案来构造p-最近邻图，其顶点表示特征空间中的每个特征。因此，本发明将特征权重矩阵定义为：
其中，为特征权重矩阵/>的第i行第j列的数值。/>是特征实例fi (v)和之间的欧几里德距离。Np(fi (v))表示fi (v)的p个最近邻居实例的集合；fi (v)为第v个视图的第i个特征实例；/>为第v个视图的第j个特征实例。与数据空间类似，本发明将每个视图中的特征空间正则化为/>其中/> 是第v个视图在特征空间中的拉普拉斯矩阵，/>是/>的对角矩阵。
其次，为各视图添加自适应权重因子(α(v))γ，其中，α(v)为第v个视图的权重因子，γ为控制权重分散程度的参数。自动更新自身视图权重，约束不同视图对潜在子空间的影响；
最后，利用l1,2-norm来规范每个数据项的稀疏性，l1,2-norm是l2-norm和l1-norm的混合物，l1,2-norm定义为：
其中，(HC)i,j为视图共享特征矩阵HC的第j个数据实例的第i个特征值。本发明可以最小化||HC||1,2项，以保证每个数据中不重要的特征是零值，而在HC中不存在零列。本发明所构建的模型公式如下所示：
其中，λ为数据空间中局部结构正则化的控制参数，η为特征空间中局部结构正则化的控制参数，μ为控制视图共享特征矩阵稀疏化程度的控制参数。
第三步，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵以及更新视图权重因子。根据梯度下降原理，推导出优化模型中各个相关矩阵和权重因子的更新公式，对其进行更新迭代，以获得局部最优解。具体包括以下子步骤：
当HC,和α(v)被聚合在一起时，目标函数不为凸函数。在这种情况下，无法获得全局最小值。因此，本发明通过在固定其他变量的同时更新变量来获得局部最优解。具体如下：
①优化和/>当HC,/>和α(v)固定时，/>和/>的优化对于不同的视图是独立的。α(v)是一个加权因子，其存在不影响参数更新，因此本发明在下一个推导中暂时忽略它。因此，子问题可以表述为：
方程(5)的问题是非负二次规划问题，可以通过传统的NMF模型得到最优解[12]。优化方程(5)，和φ(v)分别是约束/>和/>的拉格朗日乘数。之后，拉格朗日函数是：
和/>的Lagrange函数的偏导数分别为：
KKT条件和/>本发明得到/>和/>的更新规则：
其中，(﹒)ij表示当前矩阵的第i行第j列的数值。
②优化当HC,/>和α(v)固定时，/>的目标函数的子问题可以简化为：
与上述方程(5)的优化规则类似，本发明可以实现的更新规则：
③优化HC：当和α(v)固定时，HC的子问题可以重写为：
受之前优化规则方程(5)的影响，本发明可以实现HC的更新规则：
④优化α(v)：当HC,和/>固定时，子函数可以重写为：
其中：
因此，方程(15)的拉格朗日函数是：
其中，ζ为约束的拉格朗日乘数。为了获得前面提到的问题的最优解，本发明设定方程(17)的导数相对于α(v)为零。则有：
接下来，通过在方程(18)中代入结果α(v)进入约束更新表达式为：
本发明使用参数γ来讨论权重因子对所有视图的影响。通过方程(19)，本发明发现当γ→∞时本发明可以获得相等的权重因子。当γ→1时，本发明将具有F(v)最小值的视图的加权因子设置为1，其他设置为0。在这种处理模式中，本发明只能使用一个参数γ来控制更新权重因子使得本发明有效地减少了所提出模型中的使用参数。
第四步，收敛性判断
判断本次模型公式结果和上一次模型公式结果(当前更新结束的结果跟跟上一次结果进行比对)之间的差异，迭代更新第三步直至满足模型收敛条件，每次更新后均会获得一个模型公式结果包括：
根据数据集对所有特征矩阵，映射矩阵以及权重因子等更新结束后，通过比较连续两次模型公式结果判断模型是否收敛。如果满足模型收敛条件，当前所得的视图共享特征矩阵为模型执行最终结果；否则，将模型公式结果更新为当前计算得到的模型公式结果，重新执行特征提取过程。所述的判断本次模型与上一次模型的目标函数值是否小于10-4，如果小于，则满足收敛条件。
结合本发明的方案，进行实验分析如下：
为了验证本发明提出模型ADMFL的有效性，将ADMFL和目前较为重要的多视图学习模型BSV，MultiNMF，MultiGNMF，UMCFL和DNMF进行对比。同时，本发明模型的变体ADMFL-LC，(即没有l1,2-norm约束的ADMFL)，ADMFL-LP，(即没有自适应参数调整的ADMFL)，以及ADMFL-LCP，(即没有l1,2-norm约束和参数调整的ADMFL)。验证数据集为UCI标准数据集，如表1所示。
表1数据集描述
实验硬件环境配置为：在具体实验中，本发明为各个对比模型给出潜在共同表示的维度mc。因此，当类别的数量小于所有视图的维度时，本发明将维度设置为类别的数量，否则是最小视图维度。此外，每个视图的学习视图特定要素的尺寸设置为
表2和3分别显示了实验模型的NMI和ACC结果以及图2显示了每个数据集的PUR结果。实验表明ADMFL在每个数据集上明显优于其他模型。本发明不仅利用双图正则化模型来模拟数据流形和特征流形中的局部几何结构，而且还学习视图特定特征来消除不相关项目和噪声项目的影响。更重要的是，ADMFL引入权重因子来平衡潜在公共子空间中视图之间的关系，并利用l1,2-norm来约束公共子空间并保持潜在表示的稀疏性。总之，本发明的ADMFL模型在NMI，PUR和ACC方面优于其他比较模型。
表3：数据集上的聚类性能(ACC)
表4：数据集上的聚类性能(NMI)
以上对本发明实施所提供的一种基于非负矩阵分解的多视图相关特征学习方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的模型及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种基于非负矩阵分解的多视图相关特征学习方法，其特征在于，包括如下步骤：
第一步，对多视图数据集进行归一化和特殊值预处理，包括：在模型的初始阶段，对多视图数据集进行预处理，对所有数据属性值设置为一种线性转换的非负属性值；
第二步，构建基于非负矩阵分解的多视图相关特征学习模型，来拟合数据项的实际分布情况，包括：首先，通过双图正则化和视图特定特征的组合，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征，同时通过学习视图特定特征和视图共享特征来减少不同视图中不相关特征对模型结果的影响；其次，为每一个视图添加权重因子，通过对模型的设置使每个视图自适应的更新自身权重，达到区分对潜在公共子空间的影响的目的；最后，采用l1,2-norm约束公共子空间的稀疏性，保证在公共子空间上的特征不会出现0列项；所述的第二步具体内容为：
首先，将特征矩阵分为视图特定特征矩阵和视图共享特征矩阵，并引入双图正则化思想，通过数据流形和特征流形两种数据空间中的几何结构模拟对象的分布特点，更加贴合原始空间的数据部分特征：来自所有视图的数据特征可以利用视图特定映射矩阵和视图共享映射矩阵/>转化成唯一视图共享特征矩阵HC和每个视图对应的视图特定特征矩阵分别设置视图共享特征矩阵HC的维度为mc，第v个视图的视图特定特征矩阵/>的维度为/>基本的多视图学习模型如下：
其中，是第v视图的视图特定权重矩阵，/>是第v视图的共享权重矩阵，/>和/>K为总视图数，X(v)为第v视图的特征矩阵；通过分别学习视图特定特征矩阵以及视图共享特征矩阵，消除不同视图中不相关特征对学习公共子空间特征的不良影响；
利用热核加权方案来构造p-最近邻图，其顶点表示特征空间中的每个特征；
将数据权重矩阵定义为：
其中，为数据权重矩阵/>的第i行第j列的数值；/>是数据实例/>和/>之间的欧几里德距离；/>表示/>的p个最近邻居实例的集合；/>为第v个视图的第i个数据实例，/>为第v个视图的第j个数据实例，σ为样本数据的标准差，用来表示数据的离散程度；对原始数据空间中每个视图的相似度矩阵/>和共享子空间中的相似性度量进行积分；通过最小化图正则化项/>来保证在第v个视图中是邻居的两个数据实例和/>在学习的潜在子空间中也同样是邻居；其中/>是第v个视图在数据空间上的拉普拉斯矩阵，/>为/>的对角矩阵；
将特征权重矩阵定义为：
其中，为特征权重矩阵/>的第i行第j列的数值；/>是特征实例fi (v)和/>之间的欧几里德距离；/>表示fi (v)的p个最近邻居实例的集合；fi (v)为第v个视图的第i个特征实例；/>为第v个视图的第j个特征实例；与数据空间类似，本发明将每个视图中的特征空间正则化为/>其中/>是第v个视图在特征空间中的拉普拉斯矩阵，/>是/>的对角矩阵；
其次，为各视图添加自适应权重因子(α(v))γ，其中，α(v)为第v个视图的权重因子，γ为控制权重分散程度的参数；自动更新自身视图权重，约束不同视图对潜在子空间的影响；
最后，利用l1,2-norm规范每个数据项的稀疏性，l1,2-norm是l2-norm和l1-norm的混合物，l1,2-norm定义为：
其中，(HC)i,j为视图共享特征矩阵HC的第j个数据实例的第i个特征值；本发明可以最小化||HC||1,2项，以保证每个数据中不重要的特征是零值，而在HC中不存在零列；本发明所构建的模型公式如下所示：
其中，λ为数据空间中局部结构正则化的控制参数，η为特征空间中局部结构正则化的控制参数，μ为控制视图共享特征矩阵稀疏化程度的控制参数；
第三步，根据模型优化结果，依次更新各个视图的视图特定映射矩阵和视图特定特征矩阵，更新视图共享映射矩阵与视图共享特征矩阵，更新视图权重因子，包括：根据梯度下降原理，推导出优化模型中各个相关矩阵和权重因子的更新公式，对其进行更新迭代，以获得局部最优解；
第四步，判断本次模型公式结果和上一次模型公式结果之间的差异，迭代更新第三步直至满足模型收敛条件，包括：根据数据集对所有特征矩阵，映射矩阵以及权重因子更新结束后，比较连续两次模型公式结果判断模型是否收敛：如果满足模型收敛条件，当前所得的视图共享特征结果为模型执行最终结果；否则，更新模型公式结果为当前计算得到的模型公式结果，重新执行特征提取过程。
2.根据权利要求1所述的一种基于非负矩阵分解的多视图相关特征学习方法，其特征在于，所述的第一步具体内容为：
根据给定的数据项获得各种特征，构造多视图数据集其中K为总视图数，表示具有Mv维特征的第v个视图的特征矩阵，/>为具有非负约束的实数数据矩阵，N为总实例数，对于每一个属性，利用min-max标准化方法将对应的所有对象的属性值映射到[0-1]区间；对于每个对象包含的所有缺失属性值，利用1-数值对其进行初始化填补。
3.根据权利要求1所述的一种基于非负矩阵分解的多视图相关特征学习方法，其特征在于，所述的第三步包括以下内容：
当HC,和α(v)被聚合在一起时，目标函数不为凸函数；在这种情况下，无法获得全局最小值，因此，通过在固定其他变量的同时更新变量来获得局部最优解：
①优化和/>当HC,/>和α(v)固定时，/>和/>的优化对于不同的视图是独立的；α(v)是一个加权因子，其存在不影响参数更新，在下一个推导中暂时忽略；因此，子问题可以表述为：
方程(6)的问题是非负二次规划问题，通过传统的NMF模型得到最优解；优化方程(6)，和φ(v)分别是约束/>和/>的拉格朗日乘数；之后，拉格朗日函数是：
和/>的Lagrange函数的偏导数分别为：
KKT条件和/>得到/>和/>的更新规则：
其中，(﹒)ij表示当前矩阵的第i行第j列的数值；
②优化当HC,/>和α(v)固定时，/>的目标函数的子问题可以简化为：
与上述方程(6)的优化规则类似，可以实现的更新规则：
③优化HC：当和α(v)固定时，HC的子问题可以重写为：
受之前优化规则方程(6)的影响，可以实现HC的更新规则：
④优化α(v)：当HC,和/>固定时，子函数可以重写为：
其中：
因此，方程(16)的拉格朗日函数是：
其中，ζ为约束的拉格朗日乘数；为了获得前面提到的问题的最优解，本发明设定方程(18)的导数相对于α(v)为零；则有：
接下来，通过在方程(19)中代入结果α(v)进入约束更新表达式为：
使用参数γ讨论权重因子对所有视图的影响；通过方程(20)可知，当γ→∞时本发明可以获得相等的权重因子；当γ→1时，将具有F(v)最小值的视图的加权因子设置为1，其他设置为0。
4.根据权利要求1所述的一种基于非负矩阵分解的多视图相关特征学习方法，其特征在于，所述的第四步收敛条件为：判断本次模型与上一次模型的目标函数值是否小于10-4，如果小于，则满足收敛条件。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019100837076 | 2019-01-29 | ||
| CN201910083707 | 2019-01-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111488900A CN111488900A (zh) | 2020-08-04 |
| CN111488900B true CN111488900B (zh) | 2023-08-04 |
Family
ID=71812371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910180790.9A Active CN111488900B (zh) | 2019-01-29 | 2019-03-11 | 一种基于非负矩阵分解的多视图相关特征学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111488900B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705337B (zh) * | 2021-07-15 | 2024-03-22 | 南京林业大学 | 一种基于独立共享空间距离度量学习的无人机多视图火人烟识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853239A (zh) * | 2010-05-06 | 2010-10-06 | 复旦大学 | 一种用于聚类的基于非负矩阵分解的降维方法 |
| CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
| CN107341510A (zh) * | 2017-07-05 | 2017-11-10 | 西安电子科技大学 | 基于稀疏正交的双图非负矩阵分解的图像聚类方法 |
| CN108776812A (zh) * | 2018-05-31 | 2018-11-09 | 西安电子科技大学 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
| CN109063725A (zh) * | 2018-06-13 | 2018-12-21 | 江苏理工学院 | 面向多视图聚类的多图正则化深度矩阵分解方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8990128B2 (en) * | 2012-06-05 | 2015-03-24 | International Business Machines Corporation | Graph-based framework for multi-task multi-view learning |
| US9542654B2 (en) * | 2014-07-24 | 2017-01-10 | Xerox Corporation | Overlapping trace norms for multi-view learning |
-
2019
- 2019-03-11 CN CN201910180790.9A patent/CN111488900B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853239A (zh) * | 2010-05-06 | 2010-10-06 | 复旦大学 | 一种用于聚类的基于非负矩阵分解的降维方法 |
| CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
| CN107341510A (zh) * | 2017-07-05 | 2017-11-10 | 西安电子科技大学 | 基于稀疏正交的双图非负矩阵分解的图像聚类方法 |
| CN108776812A (zh) * | 2018-05-31 | 2018-11-09 | 西安电子科技大学 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
| CN109063725A (zh) * | 2018-06-13 | 2018-12-21 | 江苏理工学院 | 面向多视图聚类的多图正则化深度矩阵分解方法 |
Non-Patent Citations (1)
| Title |
|---|
| 何梦娇.基于非负矩阵分解的多视图聚类研究.基于非负矩阵分解的多视图聚类研究.2017,22. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111488900A (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nogneng et al. | Informative descriptor preservation via commutativity for shape matching | |
| Sun et al. | What and how: generalized lifelong spectral clustering via dual memory | |
| Wang et al. | Distance metric learning for soft subspace clustering in composite kernel space | |
| CN110188228B (zh) | 基于草图检索三维模型的跨模态检索方法 | |
| CN109615452B (zh) | 一种基于矩阵分解的产品推荐方法 | |
| CN111191719B (zh) | 一种基于自表示和图谱约束的非负矩阵分解的图像聚类方法 | |
| Tyagi et al. | Optimal Conjugate Gradient Algorithm for Generalization of Linear Discriminant Analysis Based on L1 Norm. | |
| Aaron et al. | Dynamic incremental k-means clustering | |
| Yang et al. | Efficient and robust MultiView clustering with anchor graph regularization | |
| Hansen et al. | The factor-lasso and k-step bootstrap approach for inference in high-dimensional economic applications | |
| CN110717519A (zh) | 训练、特征提取、分类方法、设备及存储介质 | |
| CN111488900B (zh) | 一种基于非负矩阵分解的多视图相关特征学习方法 | |
| Tang et al. | Robust local-coordinate non-negative matrix factorization with adaptive graph for robust clustering | |
| Zhao et al. | Tensorized incomplete multi-view clustering with intrinsic graph completion | |
| CN113920210A (zh) | 基于自适应图学习主成分分析方法的图像低秩重构方法 | |
| You et al. | Robust structure low-rank representation in latent space | |
| Peng et al. | Adaptive graph regularization method based on least square regression for clustering | |
| CN111144579A (zh) | 一种基于非负矩阵分解的多模态鲁邦特征学习模型 | |
| Zhang et al. | The role of knowledge creation-oriented convolutional neural network in learning interaction | |
| Zhao et al. | Graph attribute embedding via Riemannian submersion learning | |
| CN110688150A (zh) | 一种基于张量运算的二进制文件代码搜索检测方法及系统 | |
| Zhao et al. | Multi-view graph regularized deep autoencoder-like NMF framework | |
| Du et al. | Cluster ensembles via weighted graph regularized nonnegative matrix factorization | |
| Liu et al. | Affinity matrix with large eigenvalue gap for graph-based subspace clustering and semi-supervised classification | |
| CN113326791B (zh) | 基于鲁棒性自适应图结构学习算法的人脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |