CN110705648A - 大规模多视图数据自降维K-means算法及系统 - Google Patents
大规模多视图数据自降维K-means算法及系统 Download PDFInfo
- Publication number
- CN110705648A CN110705648A CN201910966815.8A CN201910966815A CN110705648A CN 110705648 A CN110705648 A CN 110705648A CN 201910966815 A CN201910966815 A CN 201910966815A CN 110705648 A CN110705648 A CN 110705648A
- Authority
- CN
- China
- Prior art keywords
- matrix
- view
- data
- clustering
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种大规模多视图数据自降维K‑means算法及系统,属于信息处理技术领域,包括:一、将不同特征的数据进行归一化处理,使得所有的数据都在[‑1,1]范围之内;二、初始化,三、算法优化,四、使用数据集依据优化算法,直至算法最终收敛,得到最终的聚类结果,利用交互信息熵和纯洁度度量聚类效果,并选用不同的初始值重复三,结果去平均值,完成实验。充分考虑特征与聚类目标之间的联系,利用不同视图之间的信息互补,通过寻找单个视图上的最优子空间实现高维数据的自降维,利用非负矩阵分解(NMF)对损失函数进行重构,使不同视图共享相同的聚类指示矩阵从而实现多视图信息互补,完成大规模多视图数据的聚类。
Description
技术领域
本发明属于信息处理技术领域,具体涉及一种大规模多视图数据自降维K-means算法及系统。
背景技术
大数据时代,相同实体的数据可能来自不同的数据源从而能够表达成多种形式,其中每种形式都有不同的分布、规模和密度。例如:描述人说话时,声音、面部表情、嘴唇变化都可以作为特征;图像识别领域,图像可以提取颜色、轮廓、关键点等多种特征。同一个物体从不同角度观察所产生的异构特征数据,叫做多视图数据。
对大规模数据进行无监督的聚类是数据挖掘的主要任务之一。研究表明,多视图数据之间的有效信息互补能大幅提升聚类性能。然而在大规模多视图数据中存在着大量高维数据,它们之间的冗余性或者不相关性会影响聚类性能,因此对高维度的多视图数据进行降维,提取合适的特征,能够有效的提升聚类性能。
与单视图的降维方法相比,如何充分利用多视图特征之间的互补关系是多视图降维的一个难点。针对该问题,目前的多视图降维方法主要有两类:
第一类是将不同视图的特征顺序连接起来,然后利用新的特征通过机器学习相关的方法进行降维。但是相当多的研究表明这种方法具有局限性。首先,直接连接各个特征容易引起维度灾难。其次,机械的连接所有特征很容易忽略不同视图特征之间的共享信息。
第二类是基于图的方法。使用矩阵分解得到每个视图的映射矩阵和所有视图的共享子空间矩阵,在子空间中则保留着不同特征之间的物理结构特性。
但是基于图的多视图聚类方法需要进行大量矩阵计算,并不适用于大规模数据。而K-means算法具有简易、运算量小、易于并行化的特点,在大规模多视图数据的聚类中取得了良好的效果。但是K-means算法平等地对待所有特征,对冗余特征十分敏感,极易产生聚类误差。若是单独为不同视图进行降维,则会忽略视图之间的信息互补。为了解决K-means算法在高维数据中的局限性。
发明内容
本发明为解决公知技术中存在的技术问题,提供一种大规模多视图数据自降维K-means算法及系统。
本发明的第一目的是提供一种大规模多视图数据自降维K-means算法,至少包括:
S101:将不同特征的数据进行归一化处理,使得所有的数据都在[-1,1]范围之内;
S102:初始化,具体为:
每个视图分别随机初始化为初始值:聚类指示矩阵G,使聚类指示矩阵G满足1-of-k编码;矩阵D(v)=In,In是n阶单位矩阵;聚类空间维数为m(v)=d(v)/2;依据下式:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,xi是X(v)的一条数据;
S103:算法优化,具体为:
D(v)∈Rn×n定义成一个对角矩阵,它的对角元素值是相应视图中第i个行向量的函数,其定义如下:
其中:
S1032、依据下式,更新每个视图的聚类中心矩阵F(v):
S1033、依据式下式,更新聚类指示矩阵G:
gi是求得的列向量,也就是矩阵G的某一列,e*是单位矩阵使得上式值最小的一列
gi=e*;
S1034、依据下式,计算每个视图的D(v):
e(v)i是E(v)的列向量。
其中:
S104:使用数据集依据优化算法,直至算法最终收敛,得到最终的聚类结果,利用交互信息熵和纯洁度度量聚类效果,并选用不同的初始值重复所述S103过程,结果去平均值,完成实验。
本发明的第二目的是提供一种大规模多视图数据自降维K-means系统,至少包括:
预处理模块:将不同特征的数据进行归一化处理,使得所有的数据都在[-1,1]范围之内;
初始化模块:初始化过程具体为:
每个视图分别随机初始化为初始值:聚类指示矩阵G,使聚类指示矩阵G满足1-of-k编码;矩阵D(v)=In,In是n阶单位矩阵;聚类空间维数为m(v)=d(v)/2;依据下式:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,xi是X(v)的一条数据;
算法优化模块:算法优化过程具体为:
S1031、依据下式,更新每个视图的
D(v)∈Rn×n定义成一个对角矩阵,它的对角元素值是相应视图中第i个行向量的函数,其定义如下:
其中:
S1032、依据下式,更新每个视图的聚类中心矩阵F(v):
S1033、依据式下式,更新聚类指示矩阵G:
gi是求得的列向量,也就是矩阵G的某一列,e*是单位矩阵使得上式值最小的一列
gi=e*;
S1034、依据下式,计算每个视图的D(v):
e(v)i是E(v)的列向量
S1035、每个视图更新χ是从小到大排列的特征值,V(v)是对应的特征向量组成矩阵;
其中:
收敛模块:使用数据集依据优化算法,直至算法最终收敛,得到最终的聚类结果,利用交互信息熵和纯洁度度量聚类效果,并选用不同的初始值重复所述S103过程,结果去平均值,完成实验。
本发明的第三目的是提供一种实现上述大规模多视图数据自降维K-means算法的计算机程序。
本发明的第四目的是提供一种实现上述大规模多视图数据自降维K-means算法的信息数据处理终端。
本发明的第五目的是提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述的大规模多视图数据自降维K-means算法。
本发明具有的优点和积极效果是:
本发明旨在提升传统多视图K-means算法在高维数据中的聚类性能。充分考虑特征与聚类目标之间的联系,利用不同视图之间的信息互补,通过寻找单个视图上的最优子空间实现高维数据的自降维,利用非负矩阵分解(NMF)对损失函数进行重构,使不同视图共享相同的聚类指示矩阵从而实现多视图信息互补,完成大规模多视图数据的聚类。本发明比其他多视图聚类算法资源消耗更小,并且能够进行更为准确的聚类。
本发明提出一种鲁棒性大规模多视图数据的自降维K-means算法。通过寻找数据集中的最优子空间从而实现高维数据的自降维,提高了多视图聚类的性能,并且在大规模多视图数据中具有更小的时间损耗。
附图说明
图1为本发明优选实施例的结构图;
具体实施方式
为能进一步了解本发明的发明内容、特点及功效,兹例举以下实施例,并配合附图详细说明如下:
请参阅图1,
第一优选实施例:
一种大规模多视图数据自降维K-means算法,旨在提升传统多视图K-means算法在高维数据中的聚类性能。充分考虑特征与聚类目标之间的联系,利用不同视图之间的信息互补,通过寻找单个视图上的最优子空间实现高维数据的自降维,利用非负矩阵分解(NMF)对损失函数进行重构,使不同视图共享相同的聚类指示矩阵从而实现多视图信息互补,完成大规模多视图数据的聚类。本发明比其他多视图聚类算法资源消耗更小,并且能够进行更为准确的聚类。包含下列步骤:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,F∈Rd×n是聚类中心矩阵,G∈Rn×k是聚类指示矩阵并且矩阵G的每一行满足1-of-k编码(如果数据xi属于第k个簇,则Gik=1,否则Gik=0),V是正交变换矩阵,PC、PN分别是如下的映射矩阵:
u是噪音空间中的聚类中心,M代表所有视图的数量,v代表不同视图的编号。
步骤一:在进行实验之前,需要将不同特征的数据进行归一化处理使得所有的数据都在[-1,1]范围之内。
步骤二:初始化
每个视图分别随机初始化初始值:指示矩阵G,使之满足1-of-k编码;矩阵D(v)=In,In是n阶单位矩阵;依据下式:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,xi是X(v)的一条数据;
步骤三:算法优化
(2)依据下式,更新每个视图的聚类中心矩阵F(v):
(3)依据式下式,更新聚类指示矩阵G:
gi是求得的列向量,也就是矩阵G的某一列,e*是单位矩阵使得上式值最小的一列
gi=e*;
(4)依据下式,计算每个视图的D(v):
e(v)i是E(v)的列向量
(6)依据下式,更新每个视图的权重系数
其中:
步骤四:使用数据集依据优化算法,直至算法最终收敛,得到最终的聚类结果,利用交互信息熵和纯洁度度量聚类效果,并选用不同的初始值重复如上优化过程,结果取平均值,完成实验。
第二优选实施例:
一种大规模多视图数据自降维K-means系统,旨在提升传统多视图K-means算法在高维数据中的聚类性能。充分考虑特征与聚类目标之间的联系,利用不同视图之间的信息互补,通过寻找单个视图上的最优子空间实现高维数据的自降维,利用非负矩阵分解(NMF)对损失函数进行重构,使不同视图共享相同的聚类指示矩阵从而实现多视图信息互补,完成大规模多视图数据的聚类。本发明比其他多视图聚类算法资源消耗更小,并且能够进行更为准确的聚类。包含下列步骤:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,F∈Rd×n是聚类中心矩阵,G∈Rn×k是聚类指示矩阵并且矩阵G的每一行满足1-of-k编码(如果数据xi属于第k个簇,则Gik=1,否则Gik=0),V是正交变换矩阵,PC、PN分别是如下的映射矩阵:
u是噪音空间中的聚类中心,M代表所有视图的数量,v代表不同视图的编号。
预处理模块:在进行实验之前,需要将不同特征的数据进行归一化处理使得所有的数据都在[-1,1]范围之内。
初始化模块:初始化
每个视图分别随机初始化初始值:指示矩阵G,使之满足1-of-k编码;矩阵D(v)=In,In是n阶单位矩阵;聚类空间维数为m(v)=d(v)/2;依据下式:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,xi是X(v)的一条数据。
算法优化模块:算法优化
(1)依据下式,更新每个视图的
(2)依据下式,更新每个视图的聚类中心矩阵F(v):
(3)依据式下式,更新聚类指示矩阵G:
gi是求得的列向量,也就是矩阵G的某一列,e*是单位矩阵使得上式值最小的一列
gi=e*;
(4)依据下式,计算每个视图的D(v):
e(v)i是E(v)的列向量
(5)依据下式,计算每个视图的D(v):
其中:
收敛模块:使用数据集依据优化算法,直至算法最终收敛,得到最终的聚类结果,利用交互信息熵和纯洁度度量聚类效果,并选用不同的初始值重复如上优化过程,结果取平均值,完成实验。
第三优选实施例:一种实现第一优选实施例所述大规模多视图数据自降维K-means算法的计算机程序。
第四优选实施例:一种实现第一优选实施例所述大规模多视图数据自降维K-means算法的信息数据处理终端。
第五优选实施例:一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行第一优选实施例所述的大规模多视图数据自降维K-means算法。
以上所述仅是对本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。
Claims (5)
1.一种大规模多视图数据自降维K-means算法,其特征在于,至少包括:
S101:将不同特征的数据进行归一化处理,使得所有的数据都在[-1,1]范围之内;
S102:初始化,具体为:
每个视图分别随机初始化为初始值:聚类指示矩阵G,使聚类指示矩阵G满足1-of-k编码;矩阵D(v)=In,In是n阶单位矩阵;依据下式:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,xi是X(v)的一条数据;
S103:算法优化,具体为:
D(v)∈Rn×n定义成一个对角矩阵,它的对角元素值是相应视图中第i个行向量的函数,其定义如下:
其中:
S1032、依据下式,更新每个视图的聚类中心矩阵F(v):
S1033、依据式下式,更新聚类指示矩阵G:
gi是求得的列向量,也就是矩阵G的某一列,e*是单位矩阵使得上式值最小的一列;
gi=e*;
S1034、依据下式,计算每个视图的D(v):
e(v)i是E(v)的列向量;
S1035、每个视图更新χ是从小到大排列的特征值,V(v)是对应的特征向量组成矩阵;
其中:
S104:使用数据集依据优化算法,直至算法最终收敛,得到最终的聚类结果,利用交互信息熵和纯洁度度量聚类效果,并选用不同的初始值重复所述S103过程,结果去平均值,完成实验。
2.一种大规模多视图数据自降维K-means系统,其特征在于,至少包括:
预处理模块:将不同特征的数据进行归一化处理,使得所有的数据都在[-1,1]范围之内;
初始化模块:初始化过程具体为:
每个视图分别随机初始化为初始值:聚类指示矩阵G,使聚类指示矩阵G满足1-of-k编码;矩阵D(v)=In,In是n阶单位矩阵;依据下式:
其中X∈Rd×n是具有n条d维特征数据的输入数据矩阵,xi是X(v)的一条数据;
算法优化模块:算法优化过程具体为:
D(v)∈Rn×n定义成一个对角矩阵,它的对角元素值是相应视图中第i个行向量的函数,其定义如下:
其中:
S1032、依据下式,更新每个视图的聚类中心矩阵F(v):
S1033、依据式下式,更新聚类指示矩阵G:
gi是求得的列向量,也就是矩阵G的某一列,e*是单位矩阵使得上式值最小的一列;
gi=e*;
S1034、依据下式,计算每个视图的D(v):
e(v)i是E(v)的列向量;
其中:
收敛模块:使用数据集依据优化算法,直至算法最终收敛,得到最终的聚类结果,利用交互信息熵和纯洁度度量聚类效果,并选用不同的初始值重复所述S103过程,结果去平均值,完成实验。
3.一种实现权利要求1所述大规模多视图数据自降维K-means算法的计算机程序。
4.一种实现权利要求1所述大规模多视图数据自降维K-means算法的信息数据处理终端。
5.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1所述的大规模多视图数据自降维K-means算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910966815.8A CN110705648A (zh) | 2019-10-12 | 2019-10-12 | 大规模多视图数据自降维K-means算法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910966815.8A CN110705648A (zh) | 2019-10-12 | 2019-10-12 | 大规模多视图数据自降维K-means算法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110705648A true CN110705648A (zh) | 2020-01-17 |
Family
ID=69199515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910966815.8A Pending CN110705648A (zh) | 2019-10-12 | 2019-10-12 | 大规模多视图数据自降维K-means算法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110705648A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400766A (zh) * | 2020-03-25 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 针对隐私数据进行多方联合降维处理的方法及装置 |
CN111461178A (zh) * | 2020-03-11 | 2020-07-28 | 深圳大学 | 数据处理方法、系统及装置 |
CN111814016A (zh) * | 2020-07-13 | 2020-10-23 | 重庆邮电大学 | 一种混合粒度多视图新闻数据聚类方法 |
CN112101611A (zh) * | 2020-07-31 | 2020-12-18 | 重庆锐云科技有限公司 | 房地产客户复购时间的预测方法、服务器及存储介质 |
CN113705337A (zh) * | 2021-07-15 | 2021-11-26 | 南京林业大学 | 一种基于独立共享空间距离度量学习的无人机多视图火人烟识别方法 |
CN113947135A (zh) * | 2021-09-27 | 2022-01-18 | 华东师范大学 | 基于缺失图重构和自适应近邻的不完整多视图聚类方法 |
-
2019
- 2019-10-12 CN CN201910966815.8A patent/CN110705648A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461178A (zh) * | 2020-03-11 | 2020-07-28 | 深圳大学 | 数据处理方法、系统及装置 |
CN111461178B (zh) * | 2020-03-11 | 2023-03-28 | 深圳大学 | 数据处理方法、系统及装置 |
CN111400766A (zh) * | 2020-03-25 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 针对隐私数据进行多方联合降维处理的方法及装置 |
CN111814016A (zh) * | 2020-07-13 | 2020-10-23 | 重庆邮电大学 | 一种混合粒度多视图新闻数据聚类方法 |
CN111814016B (zh) * | 2020-07-13 | 2022-07-12 | 重庆邮电大学 | 一种混合粒度多视图新闻数据聚类方法 |
CN112101611A (zh) * | 2020-07-31 | 2020-12-18 | 重庆锐云科技有限公司 | 房地产客户复购时间的预测方法、服务器及存储介质 |
CN112101611B (zh) * | 2020-07-31 | 2022-11-18 | 重庆锐云科技有限公司 | 房地产客户复购时间的预测方法、服务器及存储介质 |
CN113705337A (zh) * | 2021-07-15 | 2021-11-26 | 南京林业大学 | 一种基于独立共享空间距离度量学习的无人机多视图火人烟识别方法 |
CN113705337B (zh) * | 2021-07-15 | 2024-03-22 | 南京林业大学 | 一种基于独立共享空间距离度量学习的无人机多视图火人烟识别方法 |
CN113947135A (zh) * | 2021-09-27 | 2022-01-18 | 华东师范大学 | 基于缺失图重构和自适应近邻的不完整多视图聚类方法 |
CN113947135B (zh) * | 2021-09-27 | 2022-07-08 | 华东师范大学 | 基于缺失图重构和自适应近邻的不完整多视图聚类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110705648A (zh) | 大规模多视图数据自降维K-means算法及系统 | |
Guo et al. | Unsupervised feature selection with ordinal locality | |
Zelnik-Manor et al. | Self-tuning spectral clustering | |
Wang et al. | Distance metric learning for soft subspace clustering in composite kernel space | |
CN107292341B (zh) | 基于成对协同正则化和nmf的自适应多视图聚类方法 | |
Zhao et al. | Co-learning non-negative correlated and uncorrelated features for multi-view data | |
Yang et al. | Discriminative nonnegative spectral clustering with out-of-sample extension | |
Ye et al. | Robust similarity measure for spectral clustering based on shared neighbors | |
CN112990265A (zh) | 基于二部图的后期融合多视图聚类机器学习方法及系统 | |
Chen et al. | LABIN: Balanced min cut for large-scale data | |
CN106845519A (zh) | 一种分布式实现的稀疏子空间聚类方法 | |
CN113128618A (zh) | 基于kd树和混沌蜉蝣优化算法的并行谱聚类方法 | |
Liu et al. | Multi-view subspace clustering based on tensor schatten-p norm | |
Seo et al. | Deep closed-form subspace clustering | |
CN111401413A (zh) | 一种基于优化理论的带规模约束的并行聚类方法 | |
Li et al. | Large-scale subspace clustering by independent distributed and parallel coding | |
Mehrkanoon et al. | Large scale semi-supervised learning using KSC based model | |
CN113723449A (zh) | 基于偏好信息的代理驱动多目标进化模糊聚类方法 | |
CN107578070A (zh) | 基于邻域信息和平均差异度的K‑means初始聚类中心优选方法 | |
Song et al. | Tangent space based alternating projections for nonnegative low rank matrix approximation | |
Guo et al. | Double-structured sparsity guided flexible embedding learning for unsupervised feature selection | |
CN114037931B (zh) | 一种自适应权重的多视图判别方法 | |
Sun et al. | Robust multiview subspace clustering of images via tighter rank approximation | |
CN115795333A (zh) | 一种基于低秩约束自适应图学习的不完整多视图聚类方法 | |
Singh et al. | Implication of Mathematics in Data Science Technology Disciplines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200117 |
|
WD01 | Invention patent application deemed withdrawn after publication |