CN116563587A - 基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统 - Google Patents
基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统 Download PDFInfo
- Publication number
- CN116563587A CN116563587A CN202310467195.XA CN202310467195A CN116563587A CN 116563587 A CN116563587 A CN 116563587A CN 202310467195 A CN202310467195 A CN 202310467195A CN 116563587 A CN116563587 A CN 116563587A
- Authority
- CN
- China
- Prior art keywords
- clustering
- module
- network
- gcn
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005457 optimization Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000009826 distribution Methods 0.000 claims description 52
- 238000010276 construction Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于Sliced‑Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统,方法如下:构造邻接矩阵;构造自编码器模块;构造GCN模块和自编码器模块的集成网络;构造聚类模块中的聚类分配优化函数;构造聚类模块中的KL损失优化函数、GCN损失优化函数;将自编码器模块、GCN模块和聚类模块联合,构造基于Sliced‑Wasserstein距离的图卷积结构深度嵌入式聚类网络;数据集输入聚类网络中进行迭代训练,当达到精度或训练次数时,聚类网络终止训练,完成聚类。本发明将图像的结构信息集成到深度聚类中,提出了一种新的结构性深度聚类网络,这种结构揭示了样本之间潜在的相似性,从而为特征表示学习提供有价值的指导,使得学习到的特征表示信息更加丰富。
Description
技术领域
本发明属于无监督深度学习图像聚类的技术领域,是一种无监督聚类技术方案,具体涉及一种基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统,本发明可用于公交乘客人群的划分,能快速识别出乘客群体中的成人与儿童的人群分布。
背景技术
聚类是将无分类标签的一组数据划分为几个簇的过程,是一种无监督学习方法,根据“物以类聚,人以群分”让不同簇的样本尽可能相似,相同簇的样本尽可能不相似。随着互联网的飞速发展,数据呈现海量爆发式增长,而这些数据的背后隐藏着许多重要的信息价值,为了快速分析这些数据巨大的隐藏价值,需要对这些数据经过聚类处理,节省时间资源成本。例如通过对特定运营目的和商业目的所挑选出的指标变量进行聚类分析,把目标群体划分成几个具有明显特征区别的细分群体,从而可以在运营活动中为这些细分群体采取精细化,个性化的运营和服务,最终提升运营的效率和商业效果。又如把付费用户按照几个特定维度,如利润贡献、用户年龄、续费次数等聚类分析后得到不同特征的群体。图像聚类的一个重要用途就是针对目标群体进行多指标的群体划分,类似这种目标群体的分类就是精细化经营,个性化运营的基础和核心,只有进行了正确的分类,才可以有效进行个性化和精细化的运营,服务及产品支持等。近年来,聚类从深度学习中得到了重要的灵感,取得了先进的性能,因此将基于深度学习的图像聚类方法应用在上述场景中可以极大提高商业运营效率。
目前的聚类方法通常是通过自编码器学习一个中间特征表示,来提高聚类结果,这表明对于图像聚类来说学习一个有效的表示是一个重要的过程。然而随着技术的发展,现有的数据通常变得具有高维度、噪声等特性。对于它们的距离度量往往还仅限于在原始数据空间中,因此需要一种新的距离度量来衡量数据信息之间的相似度。数据除了自身所具有信息,数据结构间也具备重要的信息,随着图卷积网络(GCN)在对图结构进行编码方面取得的巨大成功,本发明尝试使用图卷积网络来将结构信息集成到聚类中,从而改善聚类的效果。
基于上述现状,本发明提出了一种聚类方法,其提升了图像聚类的效果,使得人群划分更为精确,有利于实时掌握人群动态。
发明内容
针对现有技术存在的缺陷,本发明提出了一种基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法。
本发明是一种无监督聚类方法。提出了一种基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,利用自编码器和图卷积网络完成对数据的特征提取并同时完成聚类的过程。其中基于Sliced-Wasserstein距离的自编码器能够将原始数据映射到指定的特征空间中,得到一个适用于聚类的低维特征表示,将自编码器的每一层与相应的GCN层连接起来,这样就可以将编码器的一层得到的表示集成到相应的GCN层中。最后将自编码器和GCN模块以及聚类模块统一到同一个框架内,并有效地对整个网络进行端到端聚类训练。
为实现上述目的,本发明采用以下技术方案:
一种基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,包括如下步骤:
步骤1:构造邻接矩阵;
步骤2:构造自编码器模块;
步骤3:构造GCN模块和自编码器模块的集成网络;
步骤4:构造聚类模块中的聚类分配优化函数;
步骤5:构造聚类模块中的KL损失优化函数;
步骤6:构造聚类模块中的GCN损失优化函数;
步骤7:将自编码器模块、GCN模块和聚类模块联合,构造基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类网络;
步骤8:将数据集输入到步骤7中的聚类网络中进行迭代训练,当达到指定的精度或训练次数时,聚类网络终止训练,完成聚类。
优选的,步骤1,通过计算得到每个原始样本与其相邻的k个样本之间的相似度邻接矩阵。
假设原始数据X∈RN·d,其中N是样本数,R代表数据空间,d是维数。对于第i个样本,找到其前k个相似的相邻样本,并设置边将其与相邻样本连接它;计算样本相似度矩阵S的方法有很多种,本发明优选两种计算方法:
(1)第i个样本xi和第j个样本xj之间的相似性(t是一个时间参数),此方法适用于连续数据。
(2)第i个样本xi和第j个样本xj之间的相似性Sij=xj Txi,此方法适用于离散数据。
在计算完每个样本的相似度矩阵s后,选择每个样本的前k个相似点作为相邻点,构造出具有k个相似点连接成的邻近图,得到邻接矩阵A。
优选的,步骤2具体如下:
自编码器模块是由编码器和解码器组成,编码器网络用来学习对原始数据的表示,解码器用来重构原始数的输入。假设自编码器中有L层,每层有n层数,则可以得到第n层自编码器网络学习到的表示为H(n),
H(n)=(We (n)H(n-1)+be (b)) (1)
其中,We (n)和be (b)分别是编码器网络的权重矩阵和偏差,H(n-1)表示自编码器在第n-1层得到的表示。H(0)表示原始数据X,在编码器的末端输出中间特征向量z。解码器网络用来对原始数据X的重构,则解码器的第n层表示为
H(n)=(Wd (n)H(n-1)+bd (b)) (2)
其中,Wd (n)和bd (b)分别是解码器网络的权重矩阵和偏差,z是自编码器网络中编码器输出的特征向量,为了使网络重构后的数据和原始数据更相近,采用式(3)mse损失、式(4)l1损失、式(5)Wasserstein距离以及式(6)Sliced-Wasserstein近似距离作为式(7)的优化约束条件
其中,xn表示原始数据,xn′表示对原始输入数据的重构。Wp(η,μ)表示两个分布之间的Wasserstein距离,表示一维切片Wasserstein距离,μ是原始输入数据的分布,η是经过自编码器网络重构后的重构数据分布,pz是编码后的中间特征分布,qz是预先定义的采样分布,λ是超参数,设Sd-1是概率空间Ωd中的单位球,对于一个向量v∈Sd-1,其中v={v1,...,vN}代表选取的N个切片单元,(Πv)#η表示η的投影分布,Γ(η,μ)表示η和μ组合起来的所有联合分布的集合。
优选的,步骤3具体如下:虽然自编码器网络能学习到数据自身有用的表示形式,但是忽略了数据与数据之间的关系,所以使用GCN模块来有效传播在编码器网络中学习到的数据表示。一旦编码器模块学习到的所有表示都集成到GCN中,那么GCN中可传播的表示将能够适应两种不同类型的信息,即数据本身和数据之间的关系,则GCN中第l层的表示为式(8)
其中,I是单位矩阵,/>为归一化邻接矩阵,W(l-1)是权重矩阵,φ表示编码层,Z(l-1)表示GCN中第l-1层的表示,H(l-1)表示自编码器在第l-1层的表示。考虑到自编码器H(l-1)学习到的表示能够重构数据本身,并包含不同的有价值的信息,将两种表示Z(l-1)和H(l-1)组合在一起,得到一个更完整、更强大的表示如下:
Z(l-1)=(1-ε)Z(l-1)+εH(l-1) (9)
其中,ε是的平衡系数,设置0.5,这样,就可以逐层地将自编码器和GCN连接起来,第一层GCN的输入是原始数据X,
GCN模块的最后一层是softmax多分类层:
最后一层输出的概率Zij表示第i个样本属于聚类中心为j的概率,Z可以看成一个概率分布。
优选的,步骤4构造聚类分配模块中的聚类分配优化函数具体如下:
考虑将一组数据样本聚类成k个簇的问题,设每个簇的初始质心μj,j=1......k。本发明不是直接在数据空间X中聚类,而是首先用非线性映射zi=fθ(xi)∈Z,X→Z转换数据,其中θ是可学习参数,Z是潜在特征空间。使用t分布来衡量中间特征向量z和聚类质心μj之间的相似性由式(12)可得
其中,α是自由度,设置为1,qij可以表示为将样本i分配给聚类质心为j的簇的概率。
优选的,步骤5构造聚类模块中的KL损失优化函数具体如下:
本发明模型是通过将软分配分布匹配到目标分布P来训练,因此,将目标定义为软分配qij和辅助目标分布pij之间的KL散度损失,如式(13)
计算pij,首先提高qij到二次幂,然后按每个簇的频率归一化
是软聚类频率。
优选的,步骤6构造聚类模块中的GCN损失优化函数具体如下:
由于GCN网络输出端也会产生一个聚类分配的分布Z,因此,可以使用目标分布P来监督分布Z,
优选的,步骤7具体如下:
网络整体框架如图1所示。综合在前面步骤中的优化损失函数,可以得到最终的整个网络的损失函数为:
L=Lmse+Ll1+αL1+βL2+Lswd (16)
其中,α>0是平衡原始数据的聚类优化和局部结构保存的超参数,β>0是控制GCN模块对嵌入空间的干扰的系数。Lmse表示输入与输出之间的重构误差mse损失,表示输入与输出重构之间的l1损失,L1表示软分配分布Q与目标分布P之间的KL损失,L2表示软分配分布与GCN网络输出的概率分布Z之间的KL损失,Lswd表示原始输入与输出之间的Sliced-Wasserstein距离损失约束。
优选的,步骤8具体如下:网络整体搭建好以后,先使用Xavier Uniform方法初始化网络的聚类中心,再将处理好的数据集输入到网络中进行迭代训练,微调相关超参数,当达到指定的精度或者训练次数时,网络终止训练,从而完成聚类。
本发明还公开了一种基于上述聚类方法的系统,其包括如下模块:
邻接矩阵构造模块:构造邻接矩阵;
自编码器构造模块:构造自编码器模块;
集成网络构造模块:构造GCN模块和自编码器模块的集成网络;
聚类分配优化函数构造模块:构造聚类模块中的聚类分配优化函数;
KL损失优化函数构造模块:构造聚类模块中的KL损失优化函数;
GCN损失优化函数构造模块:构造聚类模块中的GCN损失优化函数;
聚类网络构造模块:将自编码器模块、GCN模块和聚类模块联合,构造基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类网络;
聚类模块:将数据集输入聚类网络中进行迭代训练,当达到指定的精度或训练次数时,聚类网络终止训练,完成聚类。
本发明基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统,引入了均方误差损失、L1损失、软分配聚类损失,以及KL损失进行联合优化聚类,在网络的迭代训练过程中,同时优化了自编码器模块、GCN模块以及聚类模块,最终实现聚类的效果。
本发明公开的基于无监督学习的图像聚类方法和系统,利用自编码器和图卷积网络完成对数据的特征提取并同时完成聚类的过程,提升了图像聚类的效果,使得人群划分更为精确,有利于实时掌握人群动态。
附图说明
图1为本发明构造出的聚类网络整体框架图。
图2是基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法流程图。
图3是基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类系统框架图。
具体实施方式
以下优选实施例是对本发明提供的技术方案的进一步说明,但不应理解成对本发明的限制。
如图2所示,本实施例是一种基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,具体步骤如下:
步骤1:构造邻接矩阵。
假设原始数据X∈RN·d,其中N是样本数,d是维数。对于其中任意第i个样本xi,先找到它的前k个相似的相邻样本,并设置边来将它与它的相邻样本连接起来。计算样本相似度矩阵S(S∈RN×N)的方法有很多种,本实施例选用以下两种之一:
(1)第i个样本和第j个样本之间的相似性(t是一个时间参数),适用于连续数据,如图片数据。
(2)第i个样本和第j个样本之间的相似性Sij=xj Txi适用于离散数据,如文本数据。
在计算完每个样本的相似矩阵S后,选择每个样本的前k个相似点作为相邻点,构造出一个有k个相似点连接成的邻近图。这样,就可以从非图数据中得到邻接矩阵A。
步骤2:构造自编码器模块。
自编码器模块是由编码器和解码器组成,编码器网络用来学习对原始数据的表示,假设自编码器中有L层,每层有n层数,则可以得到第n层自编码器网络学习到的表示为H(n),
H(n)=(We (n)H(n-1)+be (b)) (17)
其中,We (n)和be (b)分别是编码器网络的权重矩阵和偏差,H(n-1)表示为自编码器在第n-1层得到的表示。H(0)表示原始数据X,在编码器的末端输出中间特征向量z。解码器网络用于对原始数据X的重构,用表示,则解码器的第n层的表示为
H(n)=(Wd (n)H(n-1)+bd (b)) (18)
其中,Wd (n)和bd (b)分别是解码器网络的权重矩阵和偏差,z是自编码器网络中编码器输出的特征向量,为了使网络重构后的数据和原始数据更相近,采用式(19)mse损失、式(20)l1损失、式(21)Wasserstein距离以及式(22)Sliced-Wasserstein近似距离作为式(23)的优化约束条件
其中,xn表示原始数据,xn′表示对原始输入数据的重构。Wp(η,μ)表示两个分布之间的Wasserstein距离,表示的是一维切片Wasserstein距离,μ是原始输入数据的分布,η是经过自编码器网络重构后的重构数据分布,pz是编码后的中间特征分布,qz是预先定义的采样分布,λ是超参数,设Sd-1是概率空间Ωd中的单位球,对于一个向量v∈Sd-1,其中v={v1,...,vN}代表选取的N个切片单元,(Пv)#η表示η的投影分布,Γ(η,μ)表示的是η和μ组合起来的所有联合分布的集合。
步骤3:构造GCN模块和自编码器模块的集成网络。
虽然自编码器网络能学习到数据自身有用的表示形式,但是忽略了数据与数据之间的关系,所以使用GCN模块来有效传播在编码器网络中学习到的数据表示。一旦编码器模块学习到的所有表示都集成到GCN中,那么GCN中可传播的表示将能够适应两种不同类型的信息,即数据本身和数据之间的关系,则GCN中第l层的表示由式(24)
其中,I是单位矩阵。/>为归一化邻接矩阵。W(l-1)是第l-1层的权重矩阵。H(l-1)表示自编码器的第l-1层的表示,Z(l-1)表示GCN网络在第l-1层的表示。考虑到H(l-1)能够重构数据本身,并包含不同的有价值的信息,将两种表示Z(l-1)和H(l-1)组合在一起,得到一个更完整、更强大的表示如下:
Z(l-1)=(1-ε)Z(l-1)+εH(l-1) (25)
ε是平衡系数,设置为0.5,这样,就可以逐层地将自编码器和GCN连接起来了,第一层GCN的输入是原始数据X,
GCN模块的最后一层是softmax多分类层:
W(1)表示第1层的权重矩阵,W(L)表示第L层的权重矩阵。最后一层输出的概率Zij表示的是第i个样本属于聚类中心为j的概率,Z可以看成一个概率分布。
步骤4:构造聚类模块中的聚类分配优化函数。
考虑将一组数据样本聚类成k个簇的问题,设每个簇的初始质心μj,j=1......k。不是直接在数据空间X中聚类,而是首先用非线性映射zi=fθ(xi)∈Z,X→Z转换数据,其中θ是可学习参数,Z是潜在特征空间。使用t分布来衡量中间特征向量z和聚类质心μj之间的相似性由公式(28)可得
α是自由度,设置为1,qij可以表示为将样本i分配给聚类质心为j的簇的概率。
步骤5:构造聚类模块中的KL损失优化函数。
模型是通过将软分配分布匹配到目标分布P来训练,因此,将目标定义为软分配qij和辅助目标分布pij之间的KL散度损失,如下
计算pij,首先提高qij到二次幂,然后按每个簇的频率归一化
是软聚类频率。
步骤6:构造聚类模块中的GCN损失优化函数。
由于GCN网络输出端也会产生一个聚类分配的分布Z,因此,可以使用目标分布P来监督分布Z,
步骤7:将自编码器模块、GCN模块和聚类模块联合,构造出基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类网络。该网络的整体框架如图1所示。综合在前面步骤中的优化损失函数,可以得到最终的整个网络的损失函数为:
其中,α>0是平衡原始数据的聚类优化和局部结构保存的超参数,β>0是控制GCN模块对嵌入空间的干扰的系数。Lmse表示输入与输出之间的重构误差mse损失,表示输入与输出重构之间的l1损失,L1表示软分配分布Q与目标分布P之间的KL损失,L2表示软分配分布与GCN网络输出的概率分布Z之间的KL损失,Lswd表示原始输入与输出之间的Sliced-Wasserstein距离损失约束。
步骤8:网络整体搭建好以后,先使用Xavier Uniform方法初始化网络的聚类中心,再将处理好的数据集输入到网络中进行迭代训练,微调相关超参数,网络会根据最终的损失函数自动优化聚类网络,当达到指定的精度或者训练次数时,网络会终止训练,从而完成聚类。
本实施例一种基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,引入了均方误差损失、L1损失、软分配聚类损失,以及KL损失进行联合优化聚类,在网络的迭代训练过程中,同时优化了自编码器模块、GCN模块以及聚类模块,最终实现聚类的效果。
如图3所示,本实施例公开了一种基于上述聚类方法的系统,其包括如下模块:
邻接矩阵构造模块:构造邻接矩阵;
自编码器构造模块:构造自编码器模块;
集成网络构造模块:构造图卷积结构GCN模块和自编码器模块的集成网络;
聚类分配优化函数构造模块:构造聚类模块中的聚类分配优化函数;
KL损失优化函数构造模块:构造聚类模块中的KL损失优化函数;
GCN损失优化函数构造模块:构造聚类模块中的GCN损失优化函数;
聚类网络构造模块:将自编码器模块、GCN模块和聚类模块联合,构造基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类网络;
聚类模块:将数据集输入到聚类网络构造模块的聚类网络中进行迭代训练,当达到指定的精度或训练次数时,聚类网络终止训练,完成聚类。
本实施例其他内容可参考上述实施例。
本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种调整或修改,这并不影响本发明的实质内容。
Claims (10)
1.基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征是:
步骤1:构造邻接矩阵;
步骤2:构造自编码器模块;
步骤3:构造图卷积结构GCN模块和自编码器模块的集成网络;
步骤4:构造聚类模块中的聚类分配优化函数;
步骤5:构造聚类模块中的KL损失优化函数;
步骤6:构造聚类模块中的GCN损失优化函数;
步骤7:将自编码器模块、GCN模块和聚类模块联合,构造基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类网络;
步骤8:将数据集输入到步骤7中的聚类网络中进行迭代训练,当达到指定的精度或者训练次数时,聚类网络会终止训练,完成聚类。
2.如权利要求1所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤1具体如下:
假设原始数据X∈RN·d,其中N是样本数,R代表数据空间,d是维数;对于第i个样本,找到其前k个相似的相邻样本,并设置边将其与相邻样本连接它;计算样本相似度矩阵S,选择每个样本的前k个相似点作为相邻点,构造出具有k个相似点连接成的邻近图,得到邻接矩阵A。
3.如权利要求2所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤2具体如下:
假设自编码器中有L层,每层有n层数,则得到第n层自编码器网络学习到的表示为H(n),
H(n)=(We (n)H(n-1)+be (b)) (1)
其中,We (n)和be (b)分别是编码器网络的权重矩阵和偏差,H(n-1)表示为自编码器在第n-1层得到的表示;H(0)表示原始数据X,在编码器的末端输出中间特征向量z;解码器网络用来对原始数据X的重构,则解码器网络的第n层的表示为
H(n)=(Wd (n)H(n-1)+bd (b)) (2)
其中,Wd (n)和bd (b)分别是解码器网络的权重矩阵和偏差,z是自编码器网络中编码器输出的特征向量,采用式(3)mse损失、式(4)l1损失、式(5)Wasserstein距离以及式(6)Sliced-Wasserstein近似距离作为式(7)的优化约束条件
其中,xn表示原始数据,xn′表示对原始输入数据的重构;Wp(η,μ)表示两个分布之间的Wasserstein距离,表示一维切片Wasserstein距离,μ是原始输入数据的分布,η是经过自编码器网络重构后的重构数据分布,pz是编码后的中间特征分布,qz是预先定义的采样分布,λ是超参数,设Sd-1是概率空间Ωd中的单位球,对于一个向量v∈Sd-1,其中v={v1,...,vN}代表选取的N个切片单元,(∏v)#η表示η的投影分布,Γ(η,μ)表示η和μ组合的所有联合分布的集合。
4.如权利要求3所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤3体如下:
自编码器模块学习到的所有表示都集成到GCN模块中,GCN模块中可传播的表示将能够适应两种不同类型的信息,即数据本身和数据之间的关系,GCN模块中第l层的表示为式(8)
其中,I是单位矩阵;/>为归一化邻接矩阵;Wl-1是权重矩阵,φ是编码层;Z(l-1)表示GCN网络第l-1层得到的表示,考虑到自编码器第l-1层学习到的表示H(l-1)能够重构数据本身,并包含不同的有价值的信息,将两种表示Z(l-1)和H(l-1)组合在一起,得到表示如下:
其中,ε是平衡系数,设置为0.5,能逐层地将自编码器和GCN模块连接起来,第一层GCN的输入是原始数据X
GCN模块的最后一层是softmax多分类层:
最后一层输出的概率Zij表示第i个样本属于聚类中心为j的概率,Z看成一个概率分布。
5.如权利要求4所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤4具体如下:
将一组数据样本聚类成k个簇,设每个簇的初始质心μj,j=1......k;用非线性映射zi=fθ(xi)∈Z,X→Z转换数据,其中θ是可学习参数,Z是潜在特征空间;使用t分布来衡量中间特征向量z和聚类质心μj之间的相似性由式(12)得
其中,α是自由度,设置为1,qij表示将样本i分配给聚类质心为j的簇的概率。
6.如权利要求5所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤5具体如下:
将目标定义为软分配qij和辅助目标分布pij之间的KL散度损失,如式(13)
计算pij,提高qij到第二次幂,按式(14)每个簇的频率归一化
其中,是软聚类频率。
7.如权利要求6所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤6具体如下:
由于GCN模块输出端会产生一个聚类分配的分布Z,因此,使用目标分布P来监督分布Z,
8.如权利要求7所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤7具体如下:
综合步骤5中的KL损失优化函数、步骤6的GCN损失优化函数,得到最终的整个网络的损失函数为:
其中,α>0,是平衡原始数据的聚类优化和局部结构保存的超参数,β>0,β是控制GCN模块对嵌入空间的干扰的系数,Lmse表示输入与输出之间的重构误差mse损失,表示输入与输出重构之间的l1损失,L1表示软分配分布Q与目标分布P之间的KL损失,L2表示软分配分布与GCN网络输出的概率分布Z之间的KL损失,Lswd表示原始输入与输出之间的Sliced-Wasserstein距离损失约束。
9.如权利要求8所述基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法,其特征在于,步骤8具体如下:
步骤7的聚类网络搭建后,先使用Xavier Uniform方法初始化网络的聚类中心,再将处理好的数据集输入到网络中进行迭代训练,微调超参数,当达到指定的精度或者训练次数时,网络终止训练,完成聚类。
10.一种基于权利要求1-9任一项所述聚类方法的系统,其特征是包括如下模块:
邻接矩阵构造模块:构造邻接矩阵;
自编码器构造模块:构造自编码器模块;
集成网络构造模块:构造图卷积结构GCN模块和自编码器模块的集成网络;
聚类分配优化函数构造模块:构造聚类模块中的聚类分配优化函数;
KL损失优化函数构造模块:构造聚类模块中的KL损失优化函数;
GCN损失优化函数构造模块:构造聚类模块中的GCN损失优化函数;
聚类网络构造模块:将自编码器模块、GCN模块和聚类模块联合,构造基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类网络;
聚类模块:将数据集输入到聚类网络构造模块的聚类网络中进行迭代训练,当达到指定的精度或训练次数时,聚类网络终止训练,完成聚类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310467195.XA CN116563587A (zh) | 2023-04-25 | 2023-04-25 | 基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310467195.XA CN116563587A (zh) | 2023-04-25 | 2023-04-25 | 基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116563587A true CN116563587A (zh) | 2023-08-08 |
Family
ID=87493906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310467195.XA Pending CN116563587A (zh) | 2023-04-25 | 2023-04-25 | 基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116563587A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116738297A (zh) * | 2023-08-15 | 2023-09-12 | 北京快舒尔医疗技术有限公司 | 一种基于深度自编码的糖尿病分型方法和系统 |
-
2023
- 2023-04-25 CN CN202310467195.XA patent/CN116563587A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116738297A (zh) * | 2023-08-15 | 2023-09-12 | 北京快舒尔医疗技术有限公司 | 一种基于深度自编码的糖尿病分型方法和系统 |
CN116738297B (zh) * | 2023-08-15 | 2023-11-21 | 北京快舒尔医疗技术有限公司 | 一种基于深度自编码的糖尿病分型方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110751044B (zh) | 基于深度网络迁移特征与增广自编码的城市噪声识别方法 | |
CN111242033B (zh) | 一种基于视频和文字对判别分析的视频特征学习方法 | |
CN111274903A (zh) | 一种基于图卷积神经网络的宫颈细胞图像分类方法 | |
CN109492748B (zh) | 一种基于卷积神经网络的电力系统的中长期负荷预测模型建立方法 | |
CN113627266B (zh) | 基于Transformer时空建模的视频行人重识别方法 | |
CN114743020A (zh) | 一种结合标签语义嵌入和注意力融合的食物识别方法 | |
CN112508244B (zh) | 一种用户级综合能源系统多元负荷预测方法 | |
CN116563587A (zh) | 基于Sliced-Wasserstein距离的图卷积结构深度嵌入式聚类方法及系统 | |
CN111581368A (zh) | 一种基于卷积神经网络的面向智能专家推荐的用户画像方法 | |
CN114943345A (zh) | 基于主动学习和模型压缩的联邦学习全局模型训练方法 | |
CN116362325A (zh) | 一种基于模型压缩的电力图像识别模型轻量化应用方法 | |
CN114897155A (zh) | 一种用于卫星的集成模型无数据压缩方法 | |
CN111178427B (zh) | 一种基于Sliced-Wasserstein距离的深度自编码进行图像降维并嵌入聚类的方法 | |
CN116226626A (zh) | 一种多源异构数据关联方法 | |
CN112085158A (zh) | 一种基于堆栈降噪自编码器的图书推荐方法 | |
CN109460872B (zh) | 一种面向移动通信用户流失不平衡数据预测方法 | |
CN114488069A (zh) | 基于图神经网络的雷达高分辨率距离像识别方法 | |
CN112541541B (zh) | 基于多元素分层深度融合的轻量级多模态情感分析方法 | |
CN116244484B (zh) | 一种面向不平衡数据的联邦跨模态检索方法及系统 | |
CN110647917B (zh) | 一种模型复用方法与系统 | |
CN109033413B (zh) | 一种基于神经网络的需求文档和服务文档匹配方法 | |
CN117154690A (zh) | 一种基于神经网络的光伏发电功率预测方法及系统 | |
CN116303386A (zh) | 一种基于关系图谱的缺失数据智能插补方法和系统 | |
LU503098B1 (en) | A method and system for fused subspace clustering based on graph autoencoder | |
CN113688867B (zh) | 一种跨域图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |