CN110781972A - 一种增量无监督多模态相关特征学习模型 - Google Patents

一种增量无监督多模态相关特征学习模型 Download PDF

Info

Publication number
CN110781972A
CN110781972A CN201911048971.2A CN201911048971A CN110781972A CN 110781972 A CN110781972 A CN 110781972A CN 201911048971 A CN201911048971 A CN 201911048971A CN 110781972 A CN110781972 A CN 110781972A
Authority
CN
China
Prior art keywords
matrix
model
data
modal
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911048971.2A
Other languages
English (en)
Inventor
赵亮
杨韬
孙婷婷
张洁
陈志奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911048971.2A priority Critical patent/CN110781972A/zh
Publication of CN110781972A publication Critical patent/CN110781972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供一种增量无监督多模态相关特征学习模型，属于计算机技术领域。首先，获取已完成特征学习实例的相关数据，对新到来的多模态数据实例进行归一化和特殊值预处理。其次，构建基于非负矩阵分解的增量无监督多模态相关特征学习模型。再次，根据模型推导出模型中模态投影矩阵和新实例模态私有特征和共享特征的更新公式，对其进行联合优化。最后，计算模型值，判断本次模型值与上次模型值的变化幅度是否满足收敛条件，若满足，则计算得到的新实例的低维共享特征为模型的执行结果；否则重复第三步直至收敛。本发明构建一种行之有效的模型来解决增量多模态数据特征学习的问题，通过大量实验验证，本发明所学习到的特征表示性能要优于现阶段相关模型。

Description

一种增量无监督多模态相关特征学习模型
技术领域
本发明属于计算机技术领域，具体涉及多模态数据融合中的一种增量无监督多模态相关特征学习模型。
背景技术
在现实世界中，数据可以由不同的数据源采集而来，形成多个模态或视图来共同描述同一物体在不同方面的特征。比如说一张图片，可以由颜色矩、小波纹理、边界直方图等可视特征来表示；一个文档可以被翻译成多种不同的语言。这种多个模态表示同一物品的特征相互兼容和互补，使得同时对这多个模态进行特征学习将更加全面有效。
为了处理大量无标记多模态数据，许多学习算法被提出来。其中非常重要的一类算法为基于非负矩阵分解的算法，其核心是期望找到两个低维矩阵的乘积逼近原高维数据矩阵，从而得到原数据的低维空间表示。例如，传统的非负矩阵分解(Non-negative MatrixFactorization,NMF)能够通过梯度下降的方法寻找融合矩阵的局部最优解；另外，在NMF的基础上，图正则化非负矩阵分解(Graph Regularized Non-negative MatrixFactorization,GNMF)，融合原始数据空间最近邻图的信息，能够得到更优的融合效果。基于此，融合多模态数据和非负矩阵分解模型，多模态非负矩阵分解利用联合非负矩阵分解学习得到多模态数据的共享特征，进而完成多模态数据的分析、挖掘。然而，在现有的多模态非负矩阵分解模型中，直接将模态原始特征进行转化，忽略了模态私有特征对融合结果的影响。为了解决此问题，无监督多模态非负相关特征融合学习模型(UnsupervisedMultimodal Non-Negative Correlated Feature Learning,UMCFL)被提出来，在利用最近邻图信息的基础上通过模态私有特征和公有特征的共学习，得到更好的特征融合效果。
在实际应用当中存在这样的情况，所有数据并不是一次收集完成而是一个长时间的过程。比如网站的用户注册，用户不会是一天全部注册完毕，所以每一天都会有新的用户信息。图片网站也是每一天都有新的图片上传。如果每次变动都重新使用上述非增量算法重新计算聚类会有较大的时间开销。为解决这样的问题，各种增量算法被提出。其中，增量非负矩阵分解(Incremental Non-negative Matrix Factorization,INMF),增量图正则化非负矩阵分解(Incremental graph regulated non-negative matrix factorization,IGNMF)是分别基于NMF,GNMF的增量模型，它们通过只利用新到来的数据更新其对应的低维特征而不是所有低维特征来降低计算开销。虽然上述增量特征学习算法已经取得了良好的效果，但在学习过程中,没有考虑数据中的特征不相关信息，致使学习效果较差。因此，在增量算法的启发下，本发明将基于UMCFL模型提出其对应的增量模型：增量无监督多模态非负相关特征学习模型(Incremental Unsupervised Multimodal Non-Negative CorrelatedFeature Learning,IUMCFL)，通过增量的方式牺牲一定聚类性能来降低计算开销。
发明内容
针对现有技术存在的问题，本发明提供一种基于非负矩阵分解的增量无监督多模态相关特征学习模型。基于图正则化和增量的思想，增量构建数据空间的几何结构。同时，增量构建多模态非相关和相关子空间，实现增量模态非相关和相关特征的共学习。
为了达到上述目的，本发明采用的技术方案为：
一种增量无监督多模态相关特征学习模型，包括以下步骤：
第一步，获取已完成特征学习实例的相关数据，对新到来的多模态数据实例进行归一化和特殊值预处理。
在增量的初始阶段，获取已经完成特征学习实例的相关数据，包括其多模态数据集，跨模态共享特征和模态私有特征，私有特征投影矩阵，共享特征投影矩阵，模态私有投影矩阵，模态实例图结构矩阵、模态实例对角矩阵、模态实例图的拉普拉斯矩阵。对于新到来实例的多模态数据集进行预处理，对所有数据属性值设置为一种线性转换的非负属性值。
第二步，构建基于非负矩阵分解的增量无监督多模态相关特征学习模型，包括：
增量扩展非负矩阵分解(NMF,Nonnegative Matrix Factorization)模型，将每个模态新数据特征矩阵分解成每个模态独有的低维不相关特征矩阵，即模态私有特征，和跨模态共享相关特征矩阵，即跨模态共享特征，与第一步获取的已完成特征学习实例的跨模态共享相关特征和模态私有特征矩阵进行拼接。同时运用图正则化的思想，对每个模态新实例的数据在所有数据，即新实例的数据加上给定的已完成计算的实例数据，集合空间上的分布特点进行拟合，保证每个模态新实例和所有实例间的分布结构，与新实例和所有实例间的跨模态共享特征的分布结构相似。最后，用l2,1范数来约束所有投影矩阵的稀疏性。这样结合起来就构建了增量多模态数据相关特征学习模型。
第三步，根据模型，推导出模型中模态投影矩阵和新实例模态私有特征和共享特征的更新公式，对其进行联合优化。其中，为保证新实例与其他数据实例低维特征映射在相近的子空间，使用原有投影矩阵作为新投影矩阵的初始值。
第四步，计算模型值，判断本次模型值(既目标损失函数值)与上次模型值的变化幅度是否满足收敛条件。如果满足，那么计算得到的新实例的低维共享特征为模型的执行结果；否则重复第三步直至目标函数收敛。
本发明的有益效果为：本发明依照上述步骤构建了一种行之有效的模型来解决增量多模态数据特征学习的问题。通过大量实验验证，本发明所学习到的特征表示性能要优于现阶段相关模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实例中的一种增量无监督多模态相关特征学习模型的整体结构示意图；
图2是本发明模型流程图。
图3为时间开销图(在Multilpe Features上的结果分析)；
图4为时间开销图(无MultiNMF模型)(在Multilpe Features上的结果分析)；
图5为聚类准确度图(在Multilpe Features上的结果分析)；
图6为聚类互信息量图(在Multilpe Features上的结果分析)；
图7为聚类纯度图(在Multilpe Features上的结果分析)；
图8为时间开销图(在数据集Aloi上的结果分析)；
图9为时间开销图(无MultiNMF模型)(在数据集Aloi上的结果分析)；
图10为聚类准确度图(在数据集Aloi上的结果分析)；
图11为聚类互信息量图(在数据集Aloi上的结果分析)；
图12为聚类纯度图(在数据集Aloi上的结果分析)；
图13为时间开销图(在数据集YouTube上的结果分析)；
图14为时间开销图(无MultiNMF模型)(在数据集YouTube上的结果分析)；
图15为聚类准确度图(在数据集YouTube上的结果分析)；
图16为聚类互信息量图(在数据集YouTube上的结果分析)；
图17为聚类纯度图(在数据集YouTube上的结果分析)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例中的一种增量无监督多模态相关特征学习模型，具体包括如下步骤：
第一步，在增量的初始阶段，获取已完成计算实例的相关数据，对新到来的多模态数据实例进行归一化和特殊值预处理。
在增量的初始阶段，给定已完成特征学习的多模态数据实例的相关数据，包括其数据集k为实例数，Mv为模态属性维数，V为总模态数,
Figure BDA0002254831560000042
为第v个模态的包含k个数据实例的Mv维数据矩阵，
Figure BDA0002254831560000043
为具有非负约束的实数数据矩阵；以及对应的已经完成计算的相关矩阵共享特征投影矩阵
Figure BDA0002254831560000044
Mc为共享特征维度，
Figure BDA0002254831560000045
为第v个模态的共享特征投影矩阵；模态私有特征投影矩阵集
Figure BDA0002254831560000046
MI为私有特征维度，
Figure BDA0002254831560000047
为第v个模态的私有特征投影矩阵；模态私有特征矩阵
Figure BDA0002254831560000048
k为实例数，为第v个模态包含k个数据实例的私有特征矩阵；包含k个实例的模态实例图结构矩阵
Figure BDA00022548315600000410
模态实例对角矩阵
Figure BDA00022548315600000411
模态实例图的拉普拉斯矩阵
Figure BDA00022548315600000413
Figure BDA00022548315600000414
为第v个模态下包含k个实例的对应的矩阵；包含k个数据实例的Mc维跨模态共享特征矩阵
Figure BDA00022548315600000415
用于第二步模型构建使用。
对于新到来的多模态数据进行预处理，对所有数据属性值设置为一种线性转换的非负属性值。
对于新到来实例的多模态数据集
Figure BDA00022548315600000416
的每一个属性，利用min-max标准化方法将对应的所有对象的属性值映射到[0-1]区间，对于每个对象包含的所有缺失属性值，利用1数值对其进行初始化填补，其中，
Figure BDA00022548315600000417
表示新实例具有Mv维属性的第v个模态的数据矩阵，l为新到来实例数。
第二步，构建基于非负矩阵分解的增量无监督多模态相关特征学习模型，包含以下子步骤：
2.1)首先，增量扩展非负矩阵分解(NMF,Nonnegative Matrix Factorization)模型，将每个模态新实例特征矩阵分成模态私有特征矩阵和跨模态共享特征矩阵，并与第一步获取的已完成特征学习的多模态数据实例的跨模态共享特征矩阵和模态私有特征矩阵进行拼接。这样新实例多模态数据通过模态映射矩阵可以得到新实例低维共享空间中的多模态特征表示。基本模型如下：
Figure BDA00022548315600000418
其中，
Figure BDA00022548315600000419
[Vck,vc]＝Vck+l (3)
Figure BDA0002254831560000051
其中，
Figure BDA0002254831560000052
为全局数据集，
Figure BDA0002254831560000053
表示包含已完成特征学习的前k个数据实例和新到来的l个数据实例，也就是总共k+l个实例，在第v个模态的数据矩阵，在
Figure BDA0002254831560000054
中的第k+i列数据表示新实例中的第i个数据实例在第v个模态中的数据。同理，为这k+l个实例，在第v个模态的Mc维跨模态共享特征矩阵。
Figure BDA0002254831560000056
为这k+l个实例，在第v个模态的MI维私有特征矩阵。
Figure BDA0002254831560000057
和
Figure BDA0002254831560000058
分别为新实例在共享空间中的模态共享特征和私有特征，即相关和不相关特征。和
Figure BDA00022548315600000510
为各模态对于这k+l个实例的对应的投影矩阵，||·||F表示Frobenius范数，
Figure BDA00022548315600000511
表示当前Frobenius范数的平方，s.t.表示约束条件。Vck和
Figure BDA00022548315600000512
见第一步。
2.2)在基本模型的基础上运用图正则化思想，采用热核加权方案构造p-最近邻图，对每个模态新实例在所有实例集合空间上的分布特点进行拟合，保证新实例和所有实例间的分布结构，与新实例和所有实例间的跨模态共享特征的分布结构相似。
利用热核加权方案构造p-最近邻图，其顶点对应于数据空间中的每个数据。在本发明步骤2.1)的基本模型中，沿用已完成特征学习数据的最近邻图而不重新计算，只计算新实例与所有实例那部分的最近邻图，如此实现增量的p-最近邻图构建，得到图结构矩阵。图结构矩阵
Figure BDA00022548315600000513
表示包含这k+l个实例在第v个模态的图结构矩阵，其中的值我们这样计算：
Figure BDA00022548315600000514
其中，
Figure BDA00022548315600000515
为图结构矩阵的第i行第j列的数值。是数据实例和
Figure BDA00022548315600000519
之间的欧氏距离。
Figure BDA00022548315600000520
表示
Figure BDA00022548315600000521
的p个最近邻居实例的集合，
Figure BDA00022548315600000522
表示
Figure BDA00022548315600000523
的p个最近邻居实例的集合。
Figure BDA00022548315600000524
为第v个模态的第i个数据实例。
Figure BDA00022548315600000525
为第v个模态的第j个数据实例。σ为新实例与所有实例欧式距离的均值。
Figure BDA00022548315600000526
为图结构矩阵的第i行第j列的数值。
这样就得到了增量的p-最近邻图。相似地，在共享特征中也可以利用欧氏距离度量两个数据实例共享特征
Figure BDA00022548315600000528
和
Figure BDA00022548315600000529
的相似性。接着通过最小化图正则化项
Figure BDA00022548315600000530
辅助新实例的低维共享特征学习，这使得新实例学习到的低维共享特征向着与它们在所有实例空间中相近的实例的低维共享特征的方向进行调整。
在基本模型上增加图正则化项后，模型可以进一步写为：
Figure BDA0002254831560000061
其中，
Figure BDA0002254831560000062
Figure BDA0002254831560000063
是增量构建的第v个模态在数据空间上的拉普拉斯矩阵，
Figure BDA0002254831560000064
是对角矩阵，上边的每一个元素为对应上每一行或者列的加和。Tr(·)表示矩阵的迹，上标T表示矩阵的转置。α为参数，表示图规则化控制因子。
2.3)在步骤2.2)的基础上，对投影矩阵的稀疏性作出限制，采用l2,1范数来约束所有投影矩阵的稀疏性：
其中，Uij为矩阵U上第i行第j列的值。
步骤2.2)的基础上，加上对所有投影矩阵的稀疏性的约束，最终得到增量无监督多模态相关特征学习模型：
Figure BDA0002254831560000067
其中，β为参数，表示投影矩阵稀疏性控制因子。
第三步，根据第二步得到的增量无监督多模态相关特征学习模型，通过梯度下降原理推导出模型中模态投影矩阵和新数据模态私有特征和共有特征的更新公式，联合优化更新各矩阵变量使得模型值最小，学习到新实例的低维共享特征矩阵。其中在更新之前，各变量初始化过程中，为保证新实例与其他数据实例低维特征映射在相近的子空间，使用
Figure BDA0002254831560000068
作为
Figure BDA0002254831560000069
的初始值。更新公式推导包括以下步骤：
当变量
Figure BDA00022548315600000610
vc,
Figure BDA00022548315600000611
耦合在一起时，增量无监督多模态相关特征学习模型(8)的最小优化是一个非凸问题，寻找全局最优解十分困难。因此，采取更新某一变量时固定无关变量这一策略来寻求增量无监督多模态相关特征学习模型的局部最优解，计算过程如下：
(1)给定
Figure BDA00022548315600000612
更新vc
因为保持已经完成计算的数据实例低维特征Vck不再改变，也就是Vck与vc无关。记
Figure BDA00022548315600000613
为
Figure BDA0002254831560000071
那么最小化增量无监督多模态相关特征学习模型(8)可以简化为：
Figure BDA0002254831560000072
利用拉格朗日优化函数对公式(10)进行优化表示得到：
其中
Figure BDA0002254831560000074
为限定条件vc>0对应的拉格朗日乘子。用公式(11)对vc求偏导得到：
公式(12)中
Figure BDA0002254831560000076
包含了
Figure BDA0002254831560000077
的第k+1列至第k+l列。
通过KKT(Karush-Kuhn-Tucher)条件
Figure BDA0002254831560000078
得到vc的更新规则为：
公式(13)中包含了
Figure BDA00022548315600000711
的第k+1列至第k+l列； 包含了
Figure BDA00022548315600000714
的第k+1列至第k+l列，在第三步中出现的所有形同(A)ij的表示中的下标ij均表示的是矩阵A中第i行第j列的值。
(2)给定
Figure BDA00022548315600000715
vc更新
Figure BDA00022548315600000716
从模型(8)可以看出，各模态的私有特征
Figure BDA00022548315600000717
相互独立，同时维持
Figure BDA00022548315600000718
不变，那么模型可以简化成：
Figure BDA00022548315600000719
利用拉格朗日优化函数对公式(14)进行优化表示得到：
Figure BDA00022548315600000720
其中
Figure BDA00022548315600000721
为限定条件
Figure BDA00022548315600000722
对应的拉格朗日乘子。用公式(15)对
Figure BDA00022548315600000723
求偏导得到：
Figure BDA0002254831560000081
通过KKT(Karush-Kuhn-Tucher)条件
Figure BDA0002254831560000082
得到
Figure BDA0002254831560000083
的更新规则为：
Figure BDA0002254831560000084
(3)给定
Figure BDA0002254831560000085
vc更新
Figure BDA0002254831560000086
从模型(8)可以看出，
Figure BDA0002254831560000087
与
Figure BDA0002254831560000088
的优化是互相独立的，那么模型可以简化为：
Figure BDA0002254831560000089
同理，与(1)(2)中求解过程类似，利用拉格朗日优化函数对公式(18)进行优化表示，求导后利用KKT条件得到更新公式：
Figure BDA00022548315600000810
其中为对角矩阵，其中第k个元素表示为
Figure BDA00022548315600000812
(·)k表示矩阵的第k行，||·||2表示矩阵的2范数。
(4)给定
Figure BDA00022548315600000813
vc更新
Figure BDA00022548315600000814
同(3)中计算过程类似，得到
Figure BDA00022548315600000815
的更新公式为：
Figure BDA00022548315600000816
其中
Figure BDA00022548315600000817
为对角矩阵，其中第k个元素表示为
Figure BDA00022548315600000818
第四步，计算模型值，判断本次模型值与上次模型值的变化幅度是否满足收敛条件。
在完成一次第三步，即对所有变量进行一次更新过程得到它们的新值。将新值代回模型计算得到当前模型的值。将当前模型的值与上一次更新得到的模型的值进行差值计算，计算差值的绝对值占上一次模型值的百分比得到变化幅度。如果变化幅度小于10-1，那么判断为模型收敛，计算得到的新数据的低维特征矩阵为模型的执行最终结果；否则，将模型各变量矩阵更新为新值，重新执行第三步直至判断模型值收敛。
结合本发明的方案，进行实验分析如下：
为了验证本发明提出模型的有效性，将其与目前较有代表性的非增量多模态特征学习模型UMCFL，MultiGNMF，MultiNMF和增量多模态特征学习模型MultiIGNMF，MultiINMF进行比较分析。最终学习到的低维特征均通过Kmeans聚类，在精度、标准化互信息和纯度三个指标上来验证各模型的学习效果。通过计算时间来比较各模型的时间开销。实验数据集如表1所示。
表1数据集描述
Figure BDA0002254831560000091
关于实验模型参数的设定，对于不同的数据集设定其低维共享特征的维度统一为数据集的类数，其余参数均按照其原始文中最好的参数设定。本发明提出的模型取值为具有最优性能时的取值。
实验当中，每次我们非重复地取1/10数据集的实例作为新到来的实例运行模型学习其低维共享特征，那么运行10次之后，就完成了对整个数据集的特征学习。对于增量算法，每次学习新实例的低维共享特征后，记录学习时间，与已经完成特征学习的实例的低维共享特征一起进行聚类分析验证学习效果，新实例归入已完成学习的实例集合中，保存所有相关数据；对于非增量算法，新实例和已完成特征学习的实例一起进行特征学习，记录学习时间，将学习到的所有实例的低维共享特征进行聚类分析验证学习效果，新实例归入已完成学习的实例集合中，只保存多模态数据集。这样对于每次模型运行，我们都能得到其时间开销，聚类精度、标准化互信息和纯度，我们重复运行20次取它们的均值作图。
图3至图17给出了本发明模型与其他比较模型在三个数据集上的时间开销以及聚类精度、标准化互信息量和纯度的比较结果。
接下来以图5为例子，进一步解释说明图的内容。
图5表示的是上述6种模型在数据集Multilpe Features上聚类准确度的比较。数据集Multilpe Features上有2000个实例，每次我们非重复地取1/10数据集的实例，也就是200个实例作为新到来的实例。图中横坐标表示的就是已完成特征学习的实例数，纵坐标表示的就是聚类的准确度。折线A上的点(x,y)意思是对于模型A，在完成x-200个实例的学习后，对于新到来的200个新实例进行特征学习。对于增量算法，学习到的新实例低维共享特征和已完成特征学习实例的低维共享特征进行聚类，重复运行模型20次得到的平均聚类准确度为y。对于非增量算法，完成学习后得到的所有实例低维共享特征进行聚类，重复运行模型20次得到的平均聚类准确度为y。折线A表示的就是模型A在处理数据集MultilpeFeatures上随着新实例的不断到来，学习到其低维共享特征聚类准确度的变化。
上述实验表明本发明模型在时间开销上均明显优于非增量算法，在前两个数据集特征学习效果上优于其他增量算法。第三个数据集特征学习效果虽然在数据量较少时稍微差于MultiIGNMF算法，但是随着新样本的不断到来，本发明算法学习效果相比于MultiIGNMF算法不断变好，最终优于该算法。说明了本发明模型通过增量共学习模态间的私有和跨模态共享特征能够排除掉新实例模态中的不相关信息达到更好的增量学习效果。
以上对本发明实施所提供的一种增量无监督多模态相关特征学习模型进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种增量无监督多模态相关特征学习模型，其特征在于，包括以下步骤：
第一步，在增量的初始阶段，获取已完成计算实例的相关数据，对新到来的多模态数据实例进行归一化和特殊值预处理；
在增量的初始阶段，给定已完成特征学习的多模态数据实例的相关数据，包括其数据集
Figure FDA0002254831550000011
其中，k为实例数，Mv为模态属性维数，V为总模态数，
Figure FDA0002254831550000012
为第v个模态的包含k个数据实例的Mv维数据矩阵，
Figure FDA0002254831550000013
为具有非负约束的实数数据矩阵；以及对应的已经完成计算的相关矩阵共享特征投影矩阵
Figure FDA0002254831550000014
其中，Mc为共享特征维度，
Figure FDA0002254831550000015
为第v个模态的共享特征投影矩阵；模态私有特征投影矩阵集
Figure FDA0002254831550000016
其中，MI为私有特征维度，
Figure FDA0002254831550000017
为第v个模态的私有特征投影矩阵；模态私有特征矩阵
Figure FDA0002254831550000018
其中，
Figure FDA00022548315500000110
为第v个模态包含k个数据实例的私有特征矩阵；包含k个实例的模态实例图结构矩阵
Figure FDA00022548315500000111
模态实例对角矩阵
Figure FDA00022548315500000112
模态实例图的拉普拉斯矩阵
Figure FDA00022548315500000113
Figure FDA00022548315500000114
Figure FDA00022548315500000115
为第v个模态下包含k个实例的对应的矩阵；包含k个数据实例的Mc维跨模态共享特征矩阵用于第二步模型构建使用；
对于新到来实例的多模态数据集
Figure FDA00022548315500000117
的每一个属性，利用min-max标准化方法将对应的所有对象的属性值映射到[0-1]区间，对于每个对象包含的所有缺失属性值，利用1数值对其进行初始化填补，其中，
Figure FDA00022548315500000118
表示新实例具有Mv维属性的第v个模态的数据矩阵，l为新到来实例数；
第二步，构建基于非负矩阵分解的增量无监督多模态相关特征学习模型，包含以下步骤：
2.1)首先，增量扩展非负矩阵分解NMF模型，将每个模态新实例特征矩阵分成模态私有特征矩阵和跨模态共享特征矩阵，并与第一步获取的已完成特征学习的多模态数据实例的跨模态共享特征矩阵和模态私有特征矩阵进行拼接；新实例多模态数据通过模态映射矩阵可以得到新实例低维共享空间中的多模态特征表示；基本模型如下：
Figure FDA00022548315500000119
其中，
Figure FDA00022548315500000120
[Vck,vc]＝Vck+l (3)
Figure FDA00022548315500000121
其中，
Figure FDA0002254831550000021
为全局数据集，
Figure FDA0002254831550000022
表示包含已完成特征学习的前k个数据实例和新到来的l个数据实例，也就是总共k+l个实例，在第v个模态的数据矩阵，在中的第k+i列数据表示新实例中的第i个数据实例在第v个模态中的数据；同理，
Figure FDA0002254831550000024
为这k+l个实例，在第v个模态的Mc维跨模态共享特征矩阵；
Figure FDA0002254831550000025
为这k+l个实例，在第v个模态的MI维私有特征矩阵；
Figure FDA0002254831550000026
和
Figure FDA0002254831550000027
分别为新实例在共享空间中的模态共享特征和私有特征，即相关和不相关特征；
Figure FDA0002254831550000028
和
Figure FDA0002254831550000029
为各模态对于这k+l个实例的对应的投影矩阵；
2.2)在基本模型的基础上运用图正则化思想，采用热核加权方案构造p-最近邻图，对每个模态新实例在所有实例集合空间上的分布特点进行拟合，保证新实例和所有实例间的分布结构，与新实例和所有实例间的跨模态共享特征的分布结构相似；
利用热核加权方案构造p-最近邻图，其顶点对应于数据空间中的每个数据；在步骤2.1)的基本模型中，沿用已完成特征学习数据的最近邻图而不重新计算，只计算新实例与所有实例那部分的最近邻图，实现增量的p-最近邻图构建，得到图结构矩阵
Figure FDA00022548315500000210
表示包含这k+l个实例在第v个模态的图结构矩阵，其计算：
Figure FDA00022548315500000211
其中，
Figure FDA00022548315500000212
为图结构矩阵
Figure FDA00022548315500000213
的第i行第j列的数值；
Figure FDA00022548315500000214
是数据实例
Figure FDA00022548315500000215
和之间的欧氏距离；表示
Figure FDA00022548315500000218
的p个最近邻居实例的集合，表示的p个最近邻居实例的集合；
Figure FDA00022548315500000221
为第v个模态的第i个数据实例；
Figure FDA00022548315500000222
为第v个模态的第j个数据实例；σ为新实例与所有实例欧式距离的均值；
Figure FDA00022548315500000223
为图结构矩阵
Figure FDA00022548315500000224
的第i行第j列的数值；
得到增量的p-最近邻图；相似地，在共享特征中也可以利用欧氏距离度量两个数据实例共享特征
Figure FDA00022548315500000225
和
Figure FDA00022548315500000226
的相似性；通过最小化图正则化项
Figure FDA00022548315500000227
辅助新实例的低维共享特征学习，使新实例学习到的低维共享特征向着与它们在所有实例空间中相近的实例的低维共享特征的方向进行调整；
在基本模型上增加图正则化项后，模型进一步写为：
Figure FDA00022548315500000228
其中，
Figure FDA0002254831550000031
Figure FDA0002254831550000032
是增量构建的第v个模态在数据空间上的拉普拉斯矩阵，
Figure FDA0002254831550000033
是对角矩阵，上边的每一个元素为对应
Figure FDA0002254831550000034
上每一行或者列的加和；Tr(·)表示矩阵的迹，上标T表示矩阵的转置；α为参数，表示图规则化控制因子；
2.3)在步骤2.2)的基础上，对投影矩阵的稀疏性作出限制，采用l2,1范数约束所有投影矩阵的稀疏性：
Figure FDA0002254831550000035
其中，Uij为矩阵U上第i行第j列的值；
步骤2.2)的基础上，加上对所有投影矩阵的稀疏性的约束，最终得到增量无监督多模态相关特征学习模型：
其中，β为参数，表示投影矩阵稀疏性控制因子；
第三步，根据第二步得到的增量无监督多模态相关特征学习模型，通过梯度下降原理推导出模型中模态投影矩阵和新数据模态私有特征和共有特征的更新公式，联合优化更新各矩阵变量使得模型值最小，学习到新实例的低维共享特征矩阵；其中在更新之前，各变量初始化过程中，为保证新实例与其他数据实例低维特征映射在相近的子空间，使用
Figure FDA0002254831550000037
作为的初始值；
第四步，计算模型值，判断本次模型值与上次模型值的变化幅度是否满足收敛条件；
在完成一次第三步的步骤后，对所有变量进行一次更新过程得到它们的新值；将新值代回模型计算得到当前模型的值；将当前模型的值与上一次更新得到的模型的值进行差值计算，计算差值的绝对值占上一次模型值的百分比得到变化幅度；如果变化幅度小于10-1，那么判断为模型收敛，计算得到的新数据的低维特征矩阵为模型的执行最终结果；否则，将模型各变量矩阵更新为新值，重新执行第三步直至判断模型值收敛。
2.根据权利要求1所述的一种增量无监督多模态相关特征学习模型，其特征在于，所述的第三步中，当变量
Figure FDA0002254831550000039
vc,
Figure FDA00022548315500000310
耦合在一起时，采取更新某一变量时固定无关变量这一策略来寻求增量无监督多模态相关特征学习模型的局部最优解，计算过程如下：
(1)给定
Figure FDA00022548315500000311
更新vc
最小化增量无监督多模态相关特征学习模型(8)简化为：
利用拉格朗日优化函数对公式(10)进行优化，并对vc求偏导后，得到vc的更新规则为：
Figure FDA0002254831550000042
其中，
Figure FDA0002254831550000043
包含了
Figure FDA0002254831550000044
的第k+1列至第k+l列；
Figure FDA0002254831550000045
包含了
Figure FDA0002254831550000046
的第k+1列至第k+l列；
(2)给定
Figure FDA0002254831550000047
vc更新
Figure FDA0002254831550000048
从模型(8)可以看出，各模态的私有特征
Figure FDA0002254831550000049
相互独立，同时维持
Figure FDA00022548315500000410
不变，那么模型简化成：
Figure FDA00022548315500000411
利用拉格朗日优化函数对公式(14)进行优化，并对求偏导后，通过KKT(Karush-Kuhn-Tucher)条件
Figure FDA00022548315500000413
得到
Figure FDA00022548315500000414
的更新规则为：
Figure FDA00022548315500000415
(3)给定vc更新
从模型(8)可以看出，
Figure FDA00022548315500000418
与
Figure FDA00022548315500000419
的优化是互相独立的，模型简化为：
Figure FDA00022548315500000420
同理，与(1)(2)中求解过程类似，利用拉格朗日优化函数对公式(18)进行优化表示，求导后利用KKT条件得到更新公式：
其中，为对角矩阵，其中第k个元素表示为
Figure FDA00022548315500000423
(4)给定
Figure FDA00022548315500000424
vc更新
Figure FDA00022548315500000425
同(3)中计算过程类似，得到的更新公式为：
Figure FDA0002254831550000051
其中，为对角矩阵，其中第k个元素表示为
Figure FDA0002254831550000053
CN201911048971.2A 2019-10-31 2019-10-31 一种增量无监督多模态相关特征学习模型 Pending CN110781972A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911048971.2A CN110781972A (zh) 2019-10-31 2019-10-31 一种增量无监督多模态相关特征学习模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911048971.2A CN110781972A (zh) 2019-10-31 2019-10-31 一种增量无监督多模态相关特征学习模型

Publications (1)

Publication Number Publication Date
CN110781972A true CN110781972A (zh) 2020-02-11

Family

ID=69387957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911048971.2A Pending CN110781972A (zh) 2019-10-31 2019-10-31 一种增量无监督多模态相关特征学习模型

Country Status (1)

Country Link
CN (1) CN110781972A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326289A (zh) * 2021-08-02 2021-08-31 山东大学 面向携带新类别的增量数据的快速跨模态检索方法及系统
CN117576568A (zh) * 2023-12-08 2024-02-20 成都理工大学 一种基于增量学习的深度鲁棒非负矩阵分解方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326289A (zh) * 2021-08-02 2021-08-31 山东大学 面向携带新类别的增量数据的快速跨模态检索方法及系统
CN117576568A (zh) * 2023-12-08 2024-02-20 成都理工大学 一种基于增量学习的深度鲁棒非负矩阵分解方法
CN117576568B (zh) * 2023-12-08 2024-07-05 成都理工大学 一种基于增量学习的深度鲁棒非负矩阵分解方法

Similar Documents

Publication Publication Date Title
CN112836672B (zh) 一种基于自适应近邻图嵌入的无监督数据降维方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN108171279B (zh) 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
CN111191719B (zh) 一种基于自表示和图谱约束的非负矩阵分解的图像聚类方法
CN108776812A (zh) 基于非负矩阵分解和多样-一致性的多视图聚类方法
CN115494865B (zh) 基于时空图卷积网络的无人机集群态势分析方法及介质
CN110378423A (zh) 特征提取方法、装置、计算机设备及存储介质
CN109670418B (zh) 结合多源特征学习和组稀疏约束的无监督物体识别方法
CN110516533B (zh) 一种基于深度度量的行人再辨识方法
CN109063725B (zh) 面向多视图聚类的多图正则化深度矩阵分解方法
CN110781972A (zh) 一种增量无监督多模态相关特征学习模型
CN103927554A (zh) 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法
CN111027582A (zh) 基于低秩图学习的半监督特征子空间学习方法及装置
You et al. Robust structure low-rank representation in latent space
CN110276049A (zh) 一种半监督自适应图正则化判别非负矩阵分解方法
CN117671666A (zh) 一种基于自适应图卷积神经网络的目标识别方法
CN113920210A (zh) 基于自适应图学习主成分分析方法的图像低秩重构方法
CN108009570A (zh) 一种基于核正负标签传播的数据分类方法及系统
CN109614581B (zh) 基于对偶局部学习的非负矩阵分解聚类方法
CN111488900A (zh) 一种基于非负矩阵分解的多视图相关特征学习模型
Jiang et al. A massive multi-modal perception data classification method using deep learning based on internet of things
CN113139556B (zh) 基于自适应构图的流形多视图图像聚类方法及系统
CN116383441A (zh) 社群检测方法、装置、计算机设备和存储介质
CN115631361A (zh) 一种融合低秩核学习和自适应超图的图像聚类方法
CN115169436A (zh) 一种基于模糊局部判别分析的数据降维方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211