CN113221974B - 一种交叉图匹配不完整多视图聚类方法及装置 - Google Patents

Abstract

本申请公开了一种交叉图匹配不完整多视图聚类方法及装置，方法包括：建立不完整多模态数据的缺失值填充模型，多模态数据包括网页数据或者多媒体数据；建立不完整多模态数据的交叉图匹配模型；结合缺失值填充模型和交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；将交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；采用迭代算法求解三个子问题直到三个子问题收敛，求得最优解。本申请在减少缺失数据的影响的同时，利用模态间一致和互补的信息来使得聚类效果得到提升。

Description

一种交叉图匹配不完整多视图聚类方法及装置

技术领域

本申请涉及图像聚类技术领域，尤其涉及一种交叉图匹配不完整多视图聚类方法及装置。

背景技术

在大数据时代，数据采集渠道与特征提取的种类日益多样，使得同一对象可以从多种数据源、特征进行描述，产生多模态数据，例如一个网页数据可以由文本来刻画，同时也可以由指向该页面的超链接来描述；一个多媒体片段数据可以由其视频和音频信号同时描述。在实际应用中，由于标签采集费时费力，往往只能采集到少量监督信息，而多模态半监督聚类方法能将有限的监督信息与大量的无监督信息结合起来学习，大大地提升了聚类效果。

然而在实际应用中，由于数据采集器的临时失效或者人为失误，导致某些模态的数据缺失，往往会得到不完整的多视图数据。现有的多模态聚类算法大多基于完整数据而设计，无法直接处理不完整多模态数据，因此不完整多模态聚类应运而生，旨在减少缺失数据的影响的同时，利用模态间一致和互补的信息来使得聚类效果得到提升。

发明内容

本申请实施例提供了一种交叉图匹配不完整多视图聚类方法及装置，使得在减少缺失数据的影响的同时，利用模态间一致和互补的信息来使得聚类效果得到提升。

有鉴于此，本申请第一方面提供了一种交叉图匹配不完整多视图聚类方法，所述方法包括：

建立不完整多模态数据的缺失值填充模型，所述多模态数据包括网页数据或者多媒体数据；

建立不完整多模态数据的交叉图匹配模型；

结合所述缺失值填充模型和所述交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；

将所述交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；

采用迭代算法求解所述三个子问题直到三个子问题收敛，求得最优解。

可选的，所述缺失值填充模型的目标函数为：

式中，X^(v)为不完整模态数据，X^(v)∈R^dv×N，d_v是第v个模态的特征维度，{E⁽¹⁾，E⁽²⁾，...，E^(m)}表示多个模态的缺失数据，其中E^(v)∈R^dv×nv，n_v是第v个模态的缺失样本数，(N-n_v)是第v个模态实际样本数；关系矩阵W^(v)∈R^nv×N，如果E^(v)中第i个节点是X^(v)中第j个节点，那么

反之为0；U^(v)∈R^dv×N，v＝1，2，...，m表示多模态数据的映射空间；λ₁＞0是权衡参数；

是G^(v)的拉普拉斯矩阵，特征相似性矩阵G^(v)∈R^dv×dv由互knn图构建。

可选的，所述交叉图匹配模型的目标函数为：

式中，λ₂＞0是权衡参数；

和

分别表示映射空间U的第i列和第j列；

表示连接矩阵S的中的元素，

行和为1；ε表示数据样本集合；S^(v)和S^(w)表示任意两个视角的连接图。

可选的，所述交叉图匹配不完整多视图聚类模型的目标函数为：

可选的，所述采用迭代算法求解所述三个子问题直到三个子问题收敛，求得最优解，包括：

初始化连接矩阵S；

固定映射空间U^(v)和连接矩阵S^(v)，更新缺失矩阵E^(v)；

固定缺失矩阵E^(v)和连接矩阵S^(v)，更新映射空间U^(v)；

固定缺失矩阵E^(v)和映射空间U^(v)，通过迭代算法求解连接矩阵S^(v)的目标方程。

可选的，所述初始化连接矩阵S包括：

其中，

定义为：

式中，

为采用实际样本数据X^(v)∈R^dv×N-nv构建相似图

可选的，所述固定映射空间U^(v)和连接矩阵S^(v)，更新缺失矩阵E^(v)，包括：

可选的，所述固定缺失矩阵E^(v)和连接矩阵S^(v)，更新映射空间U^(v)，包括

可选的，固定缺失矩阵E^(v)和映射空间U^(v)，通过迭代算法求解连接矩阵S^(v)的目标方程，包括：

式中，

表示两个节点

和

的距离，

和

表示同一个视角中的两个数据。

本申请第二方面提供一种交叉图匹配不完整多视图聚类装置，所述装置包括：

第一建立单元，用于建立不完整多模态数据的缺失值填充模型，所述多模态数据包括网页数据或者多媒体数据；

第二建立单元，用于建立不完整多模态数据的交叉图匹配模型；

第三建立单元，用于结合所述缺失值填充模型和所述交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；

分解单元，用于将所述交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；

求解单元，用于采用迭代算法求解所述三个子问题直到三个子问题收敛求得最优解。

从以上技术方案可以看出，本申请具有以下优点：

本申请中，提供了一种交叉图匹配不完整多视图聚类方法及装置，方法包括：建立不完整多模态数据的缺失值填充模型，多模态数据包括网页数据或者多媒体数据；建立不完整多模态数据的交叉图匹配模型；结合缺失值填充模型和交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；将交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；采用迭代算法求解三个子问题直到三个子问题收敛，求得最优解。

本申请将缺失数据作为优化量，使得缺失值满足视图的潜在特征结构，从而降低缺失数据对聚类的影响。同时运用图学习方法，创新性地将可能变化的视图表示转化为具有不变性的图连接强度，并最小化不同视图之间的成对连接图的差异达到视图共识目标，从而有效的减少缺失数据的影响的同时，利用模态间一致和互补的信息来使得聚类效果得到提升。

附图说明

图1为本申请一种交叉图匹配不完整多视图聚类方法的一个实施例中的方法流程图；

图2为本申请一种交叉图匹配不完整多视图聚类装置的一个实施例的装置结构图；

图3为本申请实施例中采用交叉图匹配不完整多视图聚类算法的流程实例图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请一种交叉图匹配不完整多视图聚类方法的一个实施例的方法流程图，如图1所示，图1中包括：

101、建立不完整多模态数据的缺失值填充模型，多模态数据包括网页数据或者多媒体数据；

需要说明的是，本申请中的多模态数据可以包括网页数据或者多媒体数据等，例如一个网页数据可以由文本来刻画，同时也可以由指向该页面的超链接来描述；一个多媒体片段数据可以由其视频和音频信号同时描述。本申请就是对这一类数据进行聚类处理。

具体的，对于给定具有N个样本、m个模态的多模态数据{X⁽¹⁾，X⁽²⁾，...，X^(m)}，其中X^(v)∈R^dv×N，d_v是第v个模态的特征维度，每个模态的缺失样本用0表示。{E⁽¹⁾，E⁽²⁾，...，E^(m)}表示多个模态的缺失数据，其中E^(v)∈R^dv×nv，n_v是第v个模态的缺失样本数，(N-n_v)是第v个模态实际样本数。

本申请可以将缺失数据{E^(v)，v＝1，2，...，m}看作可优化变量，使其在聚类的同时，遵循各自模态下的特征分布进行优化更新，即利用了缺失数据隐藏的语义信息。缺失值填充模型为：

其中，缺失值{E^(v)，v＝1，2，...，m}可以初始化为相关模态的平均值。关系矩阵W^(v)∈R^nv×N，如果E^(v)中第i个节点是X^(v)中第j个节点，那么

反之为0。

即E^(v)W^(v)可以正好对应于模态缺失数据，即对应图3左半部分所示的缺失部分，由图3可知，X(v)+E^(v)W^(v)可以表示填充后的完整模态信息。

表示缺失矩阵的第i行，表示v模态下第i个特征，

表示特征i和特征j之间的相似度。公式中

的作用是，约束在实际样本条件下相似性强度大的任意两个特征，在缺失样本中其特征也相近。特征相似性矩阵G^(v)∈R^dv×dv由互knn图构建，计算方法是，如果不完整模态数据第v个模态的第i个特征是第j个特征的最相近的k个特征并且第j个特征是第i个特征的最相近的k个特征，那么

其具有鲁棒性。

可以简写成

其中

是G^(v)的拉普拉斯矩阵，因此，上式可以变形为：

102、建立不完整多模态数据的交叉图匹配模型；

需要说明的是，可以令{U^(v)∈R^dv×N，v＝1，2，...，m}表示多模态的映射空间。这种方式将原始特征作为表示学习的重要依据，U^(v)应与X^(v)相近，否则会破坏拓扑结构。此外，还应考虑每个样本之间的相似性：如果两个样本在一个模态中具有较高的相似度，那么它们的表示

和

也很相近。由于不同模态的表示不尽相同，为避免在实现共识目标的时候强制得到共同表示而导致失真的情况，将可能变化的视图表示转化为具有不变性的图连接强度。同样的，图学习需要考虑样本表示之间的关系，如果任意两个样本之间的表示

和

在v模态中相近，那么

应该也比较大。由此可见，表达性和连接性的学习是相互影响的一个过程。根据上述讨论，对每个模态构图为：

其中，

和

分别表示映射空间U的第i列和第j列；λ₁，λ₂＞0是权衡参数。另外，使用概率来衡量连接强度；

表示连接矩阵S的中的元素，

行和为1。

和多视图聚类一样，不完整多视图聚类仍要解决两个挑战：1)如何挖掘一致的信息；2)如何表达视图之间的关系。本申请中通过约束映射空间构建的多个连接图之间两两匹配，即最小化任意两个连接图之间的差异，构建视图共识。最小化视图间差异：

即所述交叉图匹配模型的目标函数为：

103、结合缺失值填充模型和交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；

104、将交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；

需要说明的是，本申请可以将交叉图匹配不完整多视图聚类模型分解为三个子问题，分别包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S。

105、采用迭代算法求解三个子问题直到三个子问题收敛，求得最优解。

需要说明的是，本申请可以采用迭代算法求解三个子问题直到三个子问题收敛，求得最优解，包括：

501、初始化连接矩阵S；

需要说明的是，本申请首先可以初始化连接矩阵S，具体的，为减少缺失值对构图的影响，可以采用实际样本数据X^(v)∈R^dv×N-nv构建相似图

初始化目标方程为：

若两个节点

和

的距离

越近，相似度

越大，

和

表示同一个视角中的两个数据。第二项对

的L₂正则使得相似矩阵

稀疏。令k为最近邻居的个数，初始化

为：

由于最终需要更新完整视图S^(v)，因此为得到完整图S^(v)，对

进行转换操作：

其中，

定义为：

502、固定映射空间U^(v)和连接矩阵S^(v)，更新缺失矩阵E^(v)；

需要说明的是，不完整多模态数据矩阵X^(v)中对应于缺失矩阵E^(v)中的缺失部分均为0，因此更新E^(v)的目标方程式可改为：

求

的偏导为：

使得偏导

得到E^(v)的闭式解：

503、固定缺失矩阵E^(v)和连接矩阵S^(v)，更新映射空间U^(v)；

需要说明的是，求解U^(v)的目标方程为：

其中

是S^(v)的拉普拉斯矩阵。与求解E^(v)的方式类似，可以得到U^(v)的闭式解：

504、固定缺失矩阵E(v)和映射空间U(v)，通过迭代算法求解连接矩阵S(v)的目标方程。

需要说明的是，求解S^(v)的目标方程式为：

令

上述公式可以改写为：

可以通过迭代方法求解出S^(v)，直到连接矩阵收敛S^(v)。

本申请将缺失数据作为优化量，使得缺失值满足视图的潜在特征结构，从而降低缺失数据对聚类的影响。同时运用图学习方法，创新性地将可能变化的视图表示转化为具有不变性的图连接强度，并最小化不同视图之间的成对连接图的差异达到视图共识目标，从而有效的减少缺失数据的影响的同时，利用模态间一致和互补的信息来使得聚类效果得到提升。

以上是本申请的方法的实施例，本申请还提供了一种交叉图匹配不完整多视图聚类装置的实施例，如图2所示，图2中包括：

201、第一建立单元，用于建立不完整多模态数据的缺失值填充模型，多模态数据包括网页数据或者多媒体数据；

202、第二建立单元，用于建立不完整多模态数据的交叉图匹配模型；

203、第三建立单元，用于结合缺失值填充模型和交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；

204、分解单元，用于将交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；

205、求解单元，用于采用迭代算法求解三个子问题直到三个子问题收敛，求得最优解。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种交叉图匹配不完整多视图聚类方法，其特征在于，包括：

建立不完整多模态数据的缺失值填充模型，所述多模态数据包括网页数据或者多媒体数据；

其中，利用了缺失数据隐藏的语义信息，通过将缺失数据看作可优化变量，使其在聚类的同时，遵循各自模态下的特征分布进行优化更新，所述缺失值填充模型的目标函数为：

式中，X^(v)为不完整模态数据，X^(v)∈R^dv×N，d_v是第v个模态的特征维度，{E⁽¹⁾，E⁽²⁾，...，E^(m)}表示多个模态的缺失数据，其中E^(v)∈R^dv×nv，n_v是第v个模态的缺失样本数，(N-n_v)是第v个模态实际样本数；关系矩阵W^(v)∈R^nv×N，如果E^(v)中第i个节点是X^(v)中第j个节点，那么

反之为0；U^(v)∈R^dv×N，v＝1，2，...，m表示多模态数据的映射空间；λ₁>0是权衡参数；

是G^(v)的拉普拉斯矩阵，特征相似性矩阵G^(v)∈R^dv×dv由互knn图构建

建立不完整多模态数据的交叉图匹配模型；其中，将可能变化的视图表示转化为具有不变性的图连接强度；具体为，通过约束映射空间构建的多个连接图之间两两匹配，构建视图共识；所述交叉图匹配模型的目标函数为：

式中，λ₂>0是权衡参数；

和

分别表示映射空间U的第i列和第j列；

表示连接矩阵S的中的元素，

行和为1；ε表示数据样本集合；S^(v)和S^(w)表示任意两个视角的连接图；

结合所述缺失值填充模型和所述交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；其中，所述交叉图匹配不完整多视图聚类模型的目标函数为：

将所述交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；

采用迭代算法求解所述三个子问题直到三个子问题收敛，求得最优解，包括：

初始化连接矩阵S；其中，为减少缺失值对构图的影响，采用实际样本数据构建相似图；

固定映射空间U^(v)和连接矩阵S^(v)，更新缺失矩阵E^(v)；

固定缺失矩阵E^(v)和连接矩阵S^(v)，更新映射空间U^(v)；

固定缺失矩阵E^(v)和映射空间U^(v)，通过迭代算法求解连接矩阵S^(v)的目标方程。

2.根据权利要求1所述的交叉图匹配不完整多视图聚类方法，其特征在于，所述初始化连接矩阵S包括：

其中，

定义为：

式中，

为采用实际样本数据X^(v)∈R^dv×N-nv构建相似图

3.根据权利要求1所述的交叉图匹配不完整多视图聚类方法，其特征在于，所述固定映射空间U^(v)和连接矩阵S^(v)，更新缺失矩阵E^(v)，包括：

4.根据权利要求1所述的交叉图匹配不完整多视图聚类方法，其特征在于，所述固定缺失矩阵E^(v)和连接矩阵S^(v)，更新映射空间U^(v)，包括

式中，

是S(v)的拉普拉斯矩阵。

5.根据权利要求1所述的交叉图匹配不完整多视图聚类方法，其特征在于，固定缺失矩阵E^(v)和映射空间U^(v)，通过迭代算法求解连接矩阵S^(v)的目标方程，包括：

式中，

表示两个节点

和

的距离，

和

表示同一个视角中的两个数据。

6.一种交叉图匹配不完整多视图聚类装置，其特征在于，包括：

第一建立单元，用于建立不完整多模态数据的缺失值填充模型，所述多模态数据包括网页数据或者多媒体数据；

其中，利用了缺失数据隐藏的语义信息，通过将缺失数据看作可优化变量，使其在聚类的同时，遵循各自模态下的特征分布进行优化更新，所述缺失值填充模型的目标函数为：

式中，X^(v)为不完整模态数据，X^(v)∈R^dv×N，d_v是第v个模态的特征维度，{E⁽¹⁾，E⁽²⁾，...，E^(m)}表示多个模态的缺失数据，其中E^(v)∈R^dv×nv，n_v是第v个模态的缺失样本数，(N-n_v)是第v个模态实际样本数；关系矩阵W^(v)∈R^nv×N，如果E^(v)中第i个节点是X^(v)中第j个节点，那么

反之为0；U^(v)∈R^dv×N，v＝1，2，...，m表示多模态数据的映射空间；λ₁>0是权衡参数；

是G^(v)的拉普拉斯矩阵，特征相似性矩阵G^(v)∈R^dv×dv由互knn图构建

第二建立单元，用于建立不完整多模态数据的交叉图匹配模型；

其中，将可能变化的视图表示转化为具有不变性的图连接强度；具体为，通过约束映射空间构建的多个连接图之间两两匹配，构建视图共识；所述交叉图匹配模型的目标函数为：

式中，λ₂>0是权衡参数；

和

分别表示映射空间U的第i列和第j列；

表示连接矩阵S的中的元素，

行和为1；ε表示数据样本集合；S^(v)和S^(w)表示任意两个视角的连接图；

第三建立单元，用于结合所述缺失值填充模型和所述交叉图匹配模型的目标函数，建立交叉图匹配不完整多视图聚类模型；其中，所述交叉图匹配不完整多视图聚类模型的目标函数为：

分解单元，用于将所述交叉图匹配不完整多视图聚类模型分解为三个子问题，包括优化缺失矩阵E，求解映射空间U以及更新连接矩阵S；

求解单元，用于采用迭代算法求解所述三个子问题直到三个子问题收敛，求得最优解，包括：

初始化连接矩阵S；其中，为减少缺失值对构图的影响，采用实际样本数据构建相似图；

固定映射空间U^(v)和连接矩阵S^(v)，更新缺失矩阵E^(v)；

固定缺失矩阵E^(v)和连接矩阵S^(v)，更新映射空间U^(v)；

固定缺失矩阵E^(v)和映射空间U^(v)，通过迭代算法求解连接矩阵S^(v)的目标方程。

Images