CN116662833A - 基于高斯混合模型的多视图动态迁移聚类方法及系统 - Google Patents
基于高斯混合模型的多视图动态迁移聚类方法及系统 Download PDFInfo
- Publication number
- CN116662833A CN116662833A CN202310589312.XA CN202310589312A CN116662833A CN 116662833 A CN116662833 A CN 116662833A CN 202310589312 A CN202310589312 A CN 202310589312A CN 116662833 A CN116662833 A CN 116662833A
- Authority
- CN
- China
- Prior art keywords
- view
- clustering
- gaussian mixture
- mixture model
- dynamic migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 93
- 230000005012 migration Effects 0.000 title claims abstract description 93
- 239000000203 mixture Substances 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 6
- 238000005065 mining Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 26
- 238000013526 transfer learning Methods 0.000 description 7
- 241000220225 Malus Species 0.000 description 5
- 241000234295 Musa Species 0.000 description 5
- 235000021016 apples Nutrition 0.000 description 5
- 235000021015 bananas Nutrition 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 240000009088 Fragaria x ananassa Species 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000021012 strawberries Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于高斯混合模型的多视图动态迁移聚类方法及系统，该方法包括：获取待聚类的多视图数据集，预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值；分别对每个视图中的数据样本进行聚类，根据聚类结果计算获取每一视图的高斯混合模型参数初始值以及每一视图中每一数据属于每一簇的隶属度；根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子；以更新后的值为最新值，对每个视图进行隶属度迭代计算，直至迭代结束；根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。本发明通过动态迁移学习技术实现多视图间互补信息的深入挖掘，提高多视图数据的聚类性能。
Description
技术领域
本发明涉及多视图聚类技术领域，尤其涉及一种基于高斯混合模型的多视图动态迁移聚类方法及系统。
背景技术
随着云计算和大数据的快速发展，发掘海量数据潜在的信息已经成为提高各企业核心竞争力的重要手段。聚类分析是一种广泛使用的无监督机器学习方法，被广泛应用于图像分割、内容检索和数据挖掘等领域。聚类分析方法根据数据之间的相似程度将一组数据划分成不同的簇。基于簇划分的结构特征，聚类算法主要包括原型聚类、密度聚类和层次聚类等方法。高斯混合模型(Gaussian Mixture Model，GMM)是目前应用最广泛、最具代表性的一种模型聚类算法。这一模型聚类算法假设每个簇均为单个高斯分布，用多个有限高斯分布混合组成的模型来表示数据样本的整体。由于GMM求解算法简单可靠、数学证明严谨，在许多科学领域已经得到广泛应用，例如目标识别、图像分割、信号处理、流数据处理以及实时系统等。
随着多媒体技术的兴起，信息来源和数据呈现的方式变得越来越多样化和多源化。如图1所示，一则新闻可能被多个国家用多种语言报道，并且伴随大量图片、视频和文字资料；同样，一张图片可以用多种方式进行特征表示；而一辆自动驾驶汽车需要从雷达、视频、声音等多个领域进行信息采集。这使得单一特征集组成的单视图数据变得不再适用于现代多源数据或多视图数据。因此，需要运用多视图聚类方法来应对这种数据趋势，目前常见的多视图聚类方法包括基于协同训练的多视图聚类、基于多核的多视图聚类、多视图子空间聚类、多视图图聚类等方法。其中，协同多视图聚类方法作为一种实现简单、易于应用且计算复杂度可观的方法，相较于其他方法更加注重于迭代过程中视图间互补信息的挖掘，协同多视图聚类算法能够最大化多个视图的一致性，利用先验知识和视图间的信息交互来实现聚类。然而，现有的协同训练算法大多是基于划分聚类拓展而来的，其精度往往相较于像GMM这种基于模型的聚类算法的精度低，而且多视图协同算法并未考虑不同视图之间的差异，并不能很好地利用多视图之间的潜在信息，而且也往往需要大量参数以确保有效性。
随着迁移学习在深度学习领域中广泛应用，通过将预训练模型的参数迁移到目标模型上，能够提高目标模型的训练效率。然而，传统聚类算法在处理样本数量不足的数据集时，聚类效果普遍较差。因此，研究人员引入了迁移学习的概念，提出了多种新的迁移聚类算法。这些算法的基本思想是利用源域聚类的知识来提高目标域数据的聚类性能。虽然迁移学习可以有效解决传统聚类方法在样本数量不足的情况下聚类效果差的问题，但是，大多数基于高斯混合模型的迁移学习聚类算法都是针对单视图数据进行聚类，而不适用于多视图数据的聚类任务，现有技术并未有针对多视图数据聚类的基于高斯混合模型的迁移学习聚类算法。
发明内容
为解决上述现有技术的不足，本发明提供了一种基于高斯混合模型的多视图动态迁移聚类方法及系统，该方法针对多视图数据，能够通过动态迁移学习技术实现多视图间互补信息的深入挖掘，提高多视图数据的聚类性能。
第一方面，本公开提供了一种基于高斯混合模型的多视图动态迁移聚类方法。
一种基于高斯混合模型的多视图动态迁移聚类方法，包括：
获取待聚类的多视图数据集，预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值；
分别对每个视图数据集中的数据样本进行聚类，获取每个视图的聚类结果；
根据聚类结果，计算获取每个视图的高斯混合模型参数的初始值；
根据高斯混合模型参数，计算获取每个视图中每一数据样本属于每一簇的隶属度；
根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子；
以更新后的高斯混合模型参数、视图权重和动态迁移学习因子为最新值，对每个视图进行隶属度迭代计算，直至迭代结束；
根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。
第二方面，本公开提供了一种基于高斯混合模型的多视图动态迁移聚类系统。
一种基于高斯混合模型的多视图动态迁移聚类系统，包括：
数据获取模块，用于获取待聚类的多视图数据集；
数据预处理模块，用于预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值；分别对每个视图数据集中的数据样本进行聚类，获取每个视图的聚类结果；根据聚类结果，计算获取每个视图的高斯混合模型参数的初始值；
隶属度迭代计算模块，用于根据高斯混合模型参数，计算获取每个视图中每一数据样本属于每一簇的隶属度；根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子；以更新后的高斯混合模型参数、视图权重和动态迁移学习因子为最新值，对每个视图进行隶属度迭代计算，直至迭代结束；
多视图动态迁移聚类模块，用于根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种基于高斯混合模型的多视图动态迁移聚类方法及系统，以隶属度为迁移对象，引入学习因子来控制多个视图之间的迁移学习，促进了多视图间潜在信息的深入挖掘，解决传统多视图聚类算法无法充分挖掘视图间互补信息的问题，提高多视图聚类性能。
2、本发明提出了一种动态迁移学习方法，设计了参数自调整策略，使学习因子能够在聚类过程中自动调整，提高了方法的普适性，解决多视图聚类算法在初始参数影响下可行性较差的问题。
3、本发明通过对视图加权，并利用最大熵正则化方法自动优化视图的权重分布，抑制了不可靠视图对迁移学习和全局聚类的过多影响，从而进一步提高了多视图数据的聚类性能。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为多视图数据集的示意图；
图2为本发明实施例所述基于高斯混合模型的多视图动态迁移聚类方法的流程图；
图3为本发明实施例中动态迁移学习技术的示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
针对传统多视图聚类算法无法充分挖掘视图间互补信息的问题，本实施例基于高斯混合聚类和多视图数据的特点，提供了一种普适性强、聚类精度高的基于高斯混合模型的多视图动态迁移(Multi-View Adaptive Transfer Clustering Algorithm based onGaussian Mixture Model,MAT-GMM)聚类方法，该方法以隶属度为迁移对象，引入动态迁移学习因子来控制多个视图之间的迁移学习，进而实现多视图间潜在信息的深入挖掘，提高了多视图聚类的精度及性能。本实施例所述方法具体包括以下步骤：
获取待聚类的多视图数据集，预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值；
分别对每个视图数据集中的数据样本进行聚类，获取每个视图的聚类结果；
根据聚类结果，计算获取每个视图的高斯混合模型参数的初始值；
根据高斯混合模型参数，计算获取每个视图中每一数据样本属于每一簇的隶属度；
根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子；
以更新后的高斯混合模型参数、视图权重和动态迁移学习因子为最新值，对每个视图进行隶属度迭代计算，直至迭代结束；
根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。
如图2所示，通过下述具体步骤来进一步说明本实施例所提出的基于高斯混合模型的多视图动态迁移聚类方法。
步骤S1、获取待聚类的多视图数据集，预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值。具体的，读入一组待聚类的包含L个视图的多视图数据集X＝{X1,...,,Xl,...,XL}，对于每一个视图而言，第l个视图数据集为Xl＝{xl1,...,xli,...,xlI}并且其中I表示当前视图数据集中数据样本的数量，xli表示第l个视图中第i个数据样本，Dl表示第l个视图的数据维度。
预设聚类数K，将Φ＝{φlk；l＝1,…,L,k＝1,…,K}定义为MAT-GMM算法的高斯混合模型参数集合，且φlk＝{μlk,Σlk}，其中μlk表示第l个视图第k类的簇均值，Σlk表示第l个视图第k类的簇协方差矩阵；预设每个视图的初始权重为wl＝1/L，预设最大迭代次数T，并将迭代计数器t置为0，预设动态迁移学习因子ξll′的初始值为1/(L-1)。
步骤S2、分别对每个视图数据集中的数据进行聚类，获取每个视图的聚类结果。具体的，对每个视图数据集中的数据样本进行K-means++算法，得到初始的聚类划分结果。
步骤S3、根据每个视图的聚类结果，计算获取每个视图的高斯混合模型参数的初始值，即计算获取每个视图中每一类的数据样本均值和数据样本协方差矩阵。具体的，计算获取第l个视图中第k类(或簇，簇即是聚类中“类”的表示)的数据样本均值将其作为MAT-GMM算法的初始簇均值，计算获取第l个视图中第k类(或簇)的数据样本协方差矩阵/>将其作为MAT-GMM算法的初始簇协方差矩阵，以此得到MAT-GMM算法的初始高斯混合模型参数Φ(0)。进一步的，可计算每个簇的逆数据样本协方差矩阵/>
将迭代计数器t加1，开始第一次迭代。在第t次迭代时，，执行步骤S4。
步骤S4、根据每个视图的聚类结果和上述步骤S3获取的高斯混合模型参数的初始值，计算每个视图中每一数据样本属于当前视图中K个聚类簇的隶属度。具体的，以第l个视图为例，在该视图中逐一计算第i个数据样本属于第k个簇的隶属度ulik，最终得到该视图的隶属度矩阵U。其中，利用动态迁移学习因子来控制多个视图之间的知识迁移。
上述步骤中，每个视图逐一计算第i个数据样本属于第k个簇的隶属度ulik，包括以下两个步骤：
步骤S4.1、通过下述公式逐一计算每个视图中每一数据样本属于当前视图中多个聚类簇的隶属度，即计算第i个数据样本属于第k个聚类簇的隶属度ulik，该公式为：
上式中，ωl为第l个视图的权重(初始状态下为1/L)，D表示视图的维度，flk表示一个函数，/>表示wl次方的flk，在计算时首先计算flk，再计算flk的wl次方，进而得到/>同样的，/>表示ξll'wl'次方的fl'k；ξll′为第l个视图(即当前视图)从第l′个视图(即其他视图)进行知识迁移的学习因子；l′为除第l个视图之外的其他视图；pll′ik为更新隶属度所必需的拉格朗日乘子(其在初始状态时被设置为0)，β是取值范围为[0.1,1]的隶属度熵项参数；1≤l≤L，1≤i≤I，1≤k≤K，{l′|1≤l′≤L且l′≠l}；
步骤S4.2、基于隶属度，利用公式pll'ik＝pll'ik+ρ(ulik-ul'ik)逐一计算并更新拉格朗日乘子，将更新后的拉格朗日乘子作为下一次迭代过程中的拉格朗日乘子，其中ρ为迭代步长，在本实施例中设置为10-6。
步骤S5、结合步骤S4得到的隶属度，更新高斯混合模型参数、视图权重和动态迁移学习因子，具体包括以下步骤：
步骤S5.1、根据计算得到的隶属度，逐一计算并更新每个视图中的模型参数集合φlk，得到聚类中心矩阵Φ。具体的，每个视图中每个簇均值的计算公式为：
式中，ulik和ul′ik为所述步骤S4中得到的样本点的隶属度，其中ulik为第l个视图中第i个样本点(即数据样本)相对于第k个聚类簇的隶属度，ul′ik为第l′个视图中第i个样本点相对于第k个聚类簇的隶属度；1≤l≤L，1≤i≤I，1≤k≤K，{l′|1≤l′≤L且l′≠l}；
上述步骤S4中每个视图中每个簇协方差矩阵的计算公式为：
式中，ulik和ul′ik为所述步骤S4中得到的样本点的隶属度，其中ulik为第l个视图中第i个样本点相对于第k个聚类簇的隶属度，ul′ik为第l′个视图中第i个样本点相对于第k个聚类簇的隶属度；1≤l≤L，1≤i≤I，1≤k≤K，{l′|1≤l′≤L且l′≠l}。
步骤S5.2、根据计算得到的隶属度矩阵和聚类中心矩阵，逐一计算并更新每个视图的视图权重wl，得到视图权重向量Ω。其中，视图权重的计算公式为：
式中，wl为第l个视图的权重，η是一个非负的正则化参数，在本实施例中取值为10-4；1≤l≤L，1≤i≤I，1≤k≤K，{l′|1≤l′≤L且l′≠l}；
步骤S5.3、根据更新后的视图权重，计算并更新当前视图与其他视图之间的动态迁移学习因子，即计算并更新第l个视图和第l′个视图的迁移学习因子ξll′。具体的，首先基于隶属度和更新后的视图权重，利用公式求得多个视图的近似全局隶属度；然后，基于第l个视图和第l′个视图的隶属度和全局隶属度，利用公式和公式/>分别计算第l个视图和第l′个视图隶属度与全局隶属度的KL散度值；之后，利用公式/>计算两个KL散度的比值τ，以此作为多个视图之间评估知识参考价值的重要依据；最后，根据KL散度比值和初始动态迁移学习因子，利用公式ξll′＝ξll′+θξll′[1-2(1-τ)]逐一计算并更新第l个视图和第l′个视图之间的动态迁移学习因子，其中θ为大于0的更新步长，在本实施例中取10-3。
步骤S6、以更新后高斯混合模型参数、视图权重和动态迁移学习因子为最新值，对每个视图进行隶属度迭代计算，直至迭代结束。在步骤S6中，将更新后的高斯混合模型参数、视图权重和动态迁移学习因子作为最新的值，进行步骤S4和步骤S5的循环迭代计算，直至迭代结束，得到最终的动态迁移学习因子。该迭代的判据为：计算第t次迭代所得到的目标函数值F(t)，根据第t次迭代所得到的目标函数值F(t)和第t-1次迭代所得到的目标函数值F(t-1)之间的差值进行判断，若差值满足|F(t)-F(t-1)|<ε，，或者迭代次数t>T，即若差值小于设定的迭代收敛阈值或当前迭代次数大于设定次数，则终止迭代；若不满足，则继续进行迭代。其中，ε为迭代收敛阀值。
其中，上述步骤中，计算第t次迭代的目标函数值F(t)的公式为：
步骤S7、根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。如图3所示，三个视图在聚类过程中均可以作为源域和目标域，迁移学习发生在任意两个视图之间。如图3中的第一个视图view1聚类时需要从第二个视图view2和第三个视图view3中学习知识来促进自身的聚类，此时view1可视为目标域，view2和view3则被视为源域；而当view2和view3进行聚类时，也需要借鉴来自于view1的互补知识，此时view1又可视为源域，view2和view3则被视为目标域。随着聚类的执行，每个视图均会在源域和目标域两个角色中来回切换，直到聚类任务结束。在本实施例中，以当前视图为源域，以其他视图为目标域，根据计算获取的当前视图与其他视图之间的动态迁移学习因子，学习其他视图的聚类结果，进而实现各视图结果趋于一致，提高聚类结果的精度和聚类性能。举例来说，将苹果、香蕉、草莓这三种水果按照形状、颜色、营养价值进行数据可视化，分成三个视图，在每个视图中，利用本实施例上述方法将每个视图中的数据分为3类(即分为苹果、香蕉、草莓这3类)，由于分类时单一视图中的数据可能存在比较接近的两类难以区分的情况，如“形状”视图中，苹果和香蕉的数据(如面积数据)可能接近，无法很好地区分，此时，通过本实施例上述方法获取“形状”视图与其他视图之间的动态迁移学习因子，“形状”视图的分类结果可以从“颜色”视图中关于苹果和香蕉的分类结果(苹果的红色和香蕉的黄色分类明确)进行学习，其中该学习的程度取决于学习因子的大小。以此类推，各视图之间相互学习，最终达到隶属度全视图的一致。
针对传统多视图聚类算法无法充分挖掘视图间互补信息的问题，本实施例基于高斯混合聚类和多视图数据的特点，提出了一种新的多视图迁移学习方法，该方法以隶属度为迁移对象，引入学习因子来控制多个视图之间的迁移学习，从而促进了多视图间潜在信息的深入挖掘；
多视图数据中视图存在多样性，迁移学习的程度应该是不同的，在多视图迁移聚类算法中，学习因子是一个全局超参数，该参数一旦确定，那么每个视图对其他视图的学习率就固定了，从而在迭代过程中无法充分发挥迁移学习的优势。为了解决多视图聚类算法在初始参数影响下可行性较差的问题，本实施例提出了动态迁移学习方法，设计了参数自调整策略，使学习因子能够在聚类过程中自动调整，提高了方法的普适性；
同时，视图之间的学习率影响当前视图的聚类性能，多视图聚类的性能通常受部分视图的影响较大。然而，多视图数据的收集设备或来源越复杂，数据的多样化特征就越明显，其中不妨有数据不可靠的视图存在，在这种情况下，受不可靠视图的影响聚类精度往往不高。因此，考虑到视图间的差异性，本实施例进一步探究了对视图的加权，并利用最大熵正则化方法自动优化视图的权重分布，以抑制不可靠视图对迁移学习和全局聚类的过多影响，从而进一步提高了多视图数据的聚类性能。
实施例二
本实施例提供了一种基于高斯混合模型的多视图动态迁移聚类系统，包括：
数据获取模块，用于获取待聚类的多视图数据集；
数据预处理模块，用于预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值；分别对每个视图数据集中的数据样本进行聚类，获取每个视图的聚类结果；根据聚类结果，计算获取每个视图的高斯混合模型参数的初始值；
隶属度迭代计算模块，用于根据高斯混合模型参数，计算获取每个视图中每一数据样本属于每一簇的隶属度；根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子；以更新后的高斯混合模型参数、视图权重和动态迁移学习因子为最新值，对每个视图进行隶属度迭代计算，直至迭代结束；
多视图动态迁移聚类模块，用于根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的基于高斯混合模型的多视图动态迁移聚类方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的基于高斯混合模型的多视图动态迁移聚类方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于高斯混合模型的多视图动态迁移聚类方法，其特征是，包括：
获取待聚类的多视图数据集，预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值；
分别对每个视图数据集中的数据样本进行聚类，获取每个视图的聚类结果；
根据聚类结果，计算获取每个视图的高斯混合模型参数的初始值；
根据高斯混合模型参数，计算获取每个视图中每一数据样本属于每一簇的隶属度；
根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子；
以更新后的高斯混合模型参数、视图权重和动态迁移学习因子为最新值，对每个视图进行隶属度迭代计算，直至迭代结束；
根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。
2.如权利要求1所述的基于高斯混合模型的多视图动态迁移聚类方法，其特征是，所述高斯混合模型参数包括簇均值和簇协方差矩阵；所述簇均值为每个视图中聚类后每一类的数据样本均值，所述簇协方差矩阵为每个视图聚类后每一类的数据样本协方差矩阵。
3.如权利要求1所述的基于高斯混合模型的多视图动态迁移聚类方法，其特征是，第l个视图中第i个数据样本属于第k个聚类簇的隶属度ulik，计算公式为：
上式中，ωl为第l个视图的视图权重，D表示视图的维度，/>表示wl次方的flk，/>表示ξll'wl'次方的fl'k；ξll′为第l个视图从第l′个视图进行知识迁移的学习因子；l′为除第l个视图之外的其他视图；pll′ik为拉格朗日乘子，β是取值范围为[0.1,1]的隶属度熵项参数；1≤l≤L，1≤i≤I，1≤k≤K，{l′1≤l′≤L且l′≠l}。
4.如权利要求1所述的基于高斯混合模型的多视图动态迁移聚类方法，其特征是，根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子，包括：
根据计算得到的隶属度，逐一计算并更新每个视图中的高斯混合模型参数集合，得到聚类中心矩阵；
根据计算得到的隶属度矩阵和聚类中心矩阵，逐一计算并更新每个视图的视图权重，得到视图权重向量；
根据更新后的视图权重，计算并更新当前视图与其他视图之间的动态迁移学习因子。
5.如权利要求4所述的基于高斯混合模型的多视图动态迁移聚类方法，其特征是，计算并更新当前视图与其他视图之间的动态迁移学习因子，包括：
基于隶属度和更新后的视图权重，计算获取多个视图的全局隶属度；
基于第l个视图和第l′个视图的隶属度和全局隶属度，计算第l个视图和第l′个视图隶属度与全局隶属度的KL散度值；
计算两个KL散度值的比值；
根据KL散度值比值和初始动态迁移学习因子，计算并更新第l个视图和第l′个视图之间的动态迁移学习因子。
6.如权利要求1所述的基于高斯混合模型的多视图动态迁移聚类方法，其特征是，所述迭代的判据为：
计算当前迭代所得到的目标函数值；
根据当前迭代所得到的目标函数值和上一次迭代所得到的目标函数值之间的差值进行判断，若差值小于设定的迭代收敛阈值或当前迭代次数大于设定次数，则终止迭代；反之则继续进行迭代计算。
7.一种基于高斯混合模型的多视图动态迁移聚类系统，其特征是，包括：
数据获取模块，用于获取待聚类的多视图数据集；
数据预处理模块，用于预设每个视图的视图权重和各视图之间的动态迁移学习因子的初始值；分别对每个视图数据集中的数据样本进行聚类，获取每个视图的聚类结果；根据聚类结果，计算获取每个视图的高斯混合模型参数的初始值；
隶属度迭代计算模块，用于根据高斯混合模型参数，计算获取每个视图中每一数据样本属于每一簇的隶属度；根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子；以更新后的高斯混合模型参数、视图权重和动态迁移学习因子为最新值，对每个视图进行隶属度迭代计算，直至迭代结束；
多视图动态迁移聚类模块，用于根据最终迭代获取的动态迁移学习因子进行各视图之间的聚类学习，得到各视图趋于一致的聚类结果。
8.如权利要求7所述的基于高斯混合模型的多视图动态迁移聚类系统，其特征是，根据隶属度更新高斯混合模型参数、视图权重和动态迁移学习因子，包括：
根据计算得到的隶属度，逐一计算并更新每个视图中的高斯混合模型参数集合，得到聚类中心矩阵；
根据计算得到的隶属度矩阵和聚类中心矩阵，逐一计算并更新每个视图的视图权重，得到视图权重向量；
根据更新后的视图权重，计算并更新当前视图与其他视图之间的动态迁移学习因子。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6中任一项所述的一种基于高斯混合模型的多视图动态迁移聚类方法的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-6中任一项所述的一种基于高斯混合模型的多视图动态迁移聚类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310589312.XA CN116662833A (zh) | 2023-05-22 | 2023-05-22 | 基于高斯混合模型的多视图动态迁移聚类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310589312.XA CN116662833A (zh) | 2023-05-22 | 2023-05-22 | 基于高斯混合模型的多视图动态迁移聚类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116662833A true CN116662833A (zh) | 2023-08-29 |
Family
ID=87725374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310589312.XA Pending CN116662833A (zh) | 2023-05-22 | 2023-05-22 | 基于高斯混合模型的多视图动态迁移聚类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662833A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828377A (zh) * | 2024-03-01 | 2024-04-05 | 齐鲁工业大学(山东省科学院) | 一种基于公平加权因子的教育感知聚类方法及系统 |
-
2023
- 2023-05-22 CN CN202310589312.XA patent/CN116662833A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828377A (zh) * | 2024-03-01 | 2024-04-05 | 齐鲁工业大学(山东省科学院) | 一种基于公平加权因子的教育感知聚类方法及系统 |
| CN117828377B (zh) * | 2024-03-01 | 2024-05-10 | 齐鲁工业大学(山东省科学院) | 一种基于公平加权因子的教育感知聚类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Multi-attention Meta Learning for Few-shot Fine-grained Image Recognition. | |
| CN110163258B (zh) | 一种基于语义属性注意力重分配机制的零样本学习方法及系统 | |
| Kim et al. | Attract, perturb, and explore: Learning a feature alignment network for semi-supervised domain adaptation | |
| CN109615014B (zh) | 一种基于kl散度优化的3d物体数据分类系统与方法 | |
| CN109359725B (zh) | 卷积神经网络模型的训练方法、装置、设备及计算机可读存储介质 | |
| CN111027576B (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| US11366989B2 (en) | Negative sampling algorithm for enhanced image classification | |
| CN113963165B (zh) | 一种基于自监督学习的小样本图像分类方法及系统 | |
| CN113361645B (zh) | 基于元学习及知识记忆的目标检测模型构建方法及系统 | |
| CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
| CN110188812A (zh) | 一种快速处理缺失异构数据的多核聚类方法 | |
| Zhang et al. | Extracting useful knowledge from noisy web images via data purification for fine-grained recognition | |
| CN113487629A (zh) | 一种基于结构化场景和文本描述的图像属性编辑方法 | |
| CN116662833A (zh) | 基于高斯混合模型的多视图动态迁移聚类方法及系统 | |
| Wang et al. | Lightn: Light-weight transformer network for performance-overhead tradeoff in point cloud downsampling | |
| CN115080749B (zh) | 一种基于自监督训练的弱监督文本分类方法、系统和装置 | |
| CN115147632A (zh) | 基于密度峰值聚类算法的图像类别自动标注方法及装置 | |
| CN113704534A (zh) | 图像处理方法、装置及计算机设备 | |
| CN113723540B (zh) | 一种基于多视图的无人驾驶场景聚类方法及系统 | |
| WO2023273171A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN114741549A (zh) | 基于lire的图像查重方法、装置、计算机设备和存储介质 | |
| CN111091198B (zh) | 一种数据处理方法及装置 | |
| CN114241227A (zh) | 一种基于vlad的图像识别方法及装置 | |
| Tian et al. | Structure-aware semantic-aligned network for universal cross-domain retrieval | |
| CN117292162B (zh) | 一种多视图图像聚类的目标跟踪方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |