CN113128600B - 一种结构化深度非完整多视角聚类方法 - Google Patents

一种结构化深度非完整多视角聚类方法 Download PDF

Info

Publication number
CN113128600B
CN113128600B CN202110438924.XA CN202110438924A CN113128600B CN 113128600 B CN113128600 B CN 113128600B CN 202110438924 A CN202110438924 A CN 202110438924A CN 113128600 B CN113128600 B CN 113128600B
Authority
CN
China
Prior art keywords
view
network
clustering
matrix
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110438924.XA
Other languages
English (en)
Other versions
CN113128600A (zh
Inventor
文杰
程正挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Luojia Huanchuang Technology Co ltd
Original Assignee
Hubei Luojia Huanchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Luojia Huanchuang Technology Co ltd filed Critical Hubei Luojia Huanchuang Technology Co ltd
Priority to CN202110438924.XA priority Critical patent/CN113128600B/zh
Publication of CN113128600A publication Critical patent/CN113128600A/zh
Application granted granted Critical
Publication of CN113128600B publication Critical patent/CN113128600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种结构化深度非完整多视角聚类方法，其包括以下步骤：S1、建立结构化深度非完整多视角聚类网络；S2、建立结构化深度非完整多视角聚类预训练网络；S3、对非完整多视角聚类网络模型进行预训练；S4、初始化聚类模型中的聚类中心矩阵；S5、结构化深度非完整多视角聚类网络训练，利用S3得到的非完整多视角图卷积编码网络参数初始化S1所建立的聚类网络参数，并用Adam优化器通过最小化聚类目标损失函数得到最优的图卷积编码网络参数、聚类中心点和最优聚类结果。本发明能够同时捕获多视角数据的互补信息、一致信息、高阶特征信息以及数据间的相似度信息，进而能够得到更精确的数据聚类性能。

Description

一种结构化深度非完整多视角聚类方法
技术领域
本发明涉及非完整多视角聚类领域，具体涉及一种结构化深度非完整多视角聚类方法。
背景技术
在大数据时代，各行各业都充斥着海量的数据。由于数据采集设备的多样性，这些海量数据普遍呈现数据量大、数据形式复杂多样以及数据冗余等特点。此外，由于数据采集设备的损耗、数据记录的缺失以及新采集设备的出现等各种不可控因素，实际采集到的数据往往存在部分模态信息缺失的现象。在机器学习领域，将这种从不同模态、不同源域或由不同数据采集装置采集到的数据统称为多视角数据，而存在部分模态或视角信息缺失的数据称之为非完整多视角数据。视角的缺失不仅使得传统的多视角学习方法失效，而且造成了大量信息的损失，给多视角互补信息和一致信息的挖掘造成了诸多困扰。因此，急需设计一种解决视角缺失下的非完整多视角聚类难题的方法。
关于聚类的研究最早可追溯到上个世纪40年代，层次聚类、期望最大化、kmeans和谱聚类是其中比较典型的方法。早期的聚类方法大多仅能处理简单结构的数据，无法很好地处理具有多种复杂属性的多视角数据。近十年来国内外学者们为了能够更好地利用多视角数据得到更好的聚类结果，提出了许多多视角学习方法，比较典型的方法有基于协同训练的多视角聚类方法、基于多核学习的多视角聚类方法、基于图学习的多视角聚类方法和多视角子空间聚类方法等。然而传统的多视角聚类方法在模型设计时都普遍假设所有样本都具有完备的视角，但在诸如音视频多媒体分析、多语言文档分析、基因分析、医疗疾病诊断等新时代各行业实际应用中，所面临的聚类任务时常含有许多缺失视角的样本，使得现有多视角聚类方法无法满足实际应用的需求。相比于传统完备的多视角数据而言，视角缺失下的非完整多视角数据不仅样本配对信息少、互补信息少，而且视角缺失还会严重加剧视角信息的不平衡问题，给非完整多视角的聚类带来了非常大的挑战。
虽然近年来国内外学者们提出了一些解决视角缺失问题的非完整多视角聚类方法，但这些方法还存在如下一些限制其性能的缺陷：
(1)这些方法普遍采用浅层学习模型，无法从复杂数据中捕获高阶鉴别的特征信息；
(2)这些方法普遍将表征学习和聚类划分为两个独立的步骤，而且主要关注于学习非完整多视角数据的一致表征，偏离了聚类任务本质；
(3)这些方法普遍未能充分有效地利用特征空间和图空间的数据信息。
发明内容
为了解决上述现有技术的不足，本发明提供了一种结构化深度非完整多视角聚类方法，该方法提出了一种将高阶特征提取和结构挖掘、共有表征学习以及聚类融为一体的深度框架，让模型的优化方向朝着聚类任务本身进行逼近，以得到最适于聚类的模型和最优的聚类结果。该发明不仅能够同时解决上述所有缺陷，而且能够以端到端的方式得到输入数据的聚类结果。
具体地，本发明提供一种结构化深度非完整多视角聚类方法，
其包括以下步骤：
S1、建立结构化深度非完整多视角聚类网络：其中，结构化深度非完整多视角聚类网络包括多视角图卷积编码深度网络、表征融合模块和聚类模块；
多视角图卷积编码深度网络包括多个独立的并且与每一个视角对应的图卷积编码网络，每一个视角的图卷积编码网络由两个图卷积网络层、两个批标准化层和一个激活函数层组成，其中激活函数采用修正线性函数，图卷积网络层用于从数据中提取高阶鉴别特征和保持数据的局部结构信息；两个批标准化层用于削弱各个视角在特征幅值和特征维度上的差异性；激活函数用于防止产生模型在反馈训练中的梯度消失问题；
假定第v个视角的输入数据为其中每个样本在第v个视角的特征都表示为行向量，mv表示第v个视角的特征维度，n表示样本个数，在该输入数据中，缺失样例的所有特征元素值用0值填充；此外，假设A(v)∈Rn×n为第v个视角上的相似图，其元素/>表示第i个样本和第j个样本在第v个视角上的相似度；该输入数据经过第一个图卷积网络层后的输出特征H(v),1表示为：
其中， 为对角阵且对角元素表示为/>I∈Rn×n为单位矩阵，/>视为图矩阵(A(v)+I)的归一化矩阵，Θ(v),1表示第v个视角的第一个图卷积网络层的编码参数，b(v,1)为该层的偏置参数，1为元素值均为1的n维列向量；
第v个视角的数据在经过第二个图卷积网络层和两个批标准化层后的输出表示为：
其中，和φReLU(·)分别表示披标准化层和修正线性激活函数；Θ(v),2为第v个视角第二个图卷积网络层的网络参数，b(v,2)为该网络层的偏置参数；
表征融合模块用于融合非完整多视角图卷积编码网络的输出鉴别表征，利用加权融合模型(3)得到多个视角语义一致的表征：
其中，表示第v个视角对应的图卷积编码网络的数据输出结果H(v),2的第i行元素，也即第i个样本的第v个视角的鉴别表征，W∈Rn×l表示多视角数据的视角缺失指示矩阵，若第i个样本的第j个视角缺失，则Wi,j＝0；否则Wi,j＝1；
聚类模块用于挖掘数据的自监督信息来指导模型训练以得到最优的非完整多视角聚类网络模型和最优聚类结果，假设H*∈Rn×c为输入数据经过多视角图卷积编码深度网络和表征融合模块后的输出表征，具体过程如下：
首先，依据kmeans聚类原理，优化kmeans聚类损失函数得到初始化聚类中心矩阵U和初始化的聚类结果Y；
然后基于KL散度聚类理论，计算得到第i个样本被划分到第j类的概率为：
其中，uj为聚类中心矩阵U的第j行向量，为矩阵H*∈Rn×c的第i行向量；
最后，基于KL散度理论，根据概率矩阵P可求得用于自监督训练的目标矩阵：
用于监督模型训练的聚类模块损失函数为：
S2、建立结构化深度非完整多视角聚类网络的预训练网络：
结构化深度非完整多视角聚类网络的参数为多视角深度编码网络的参数，在实际训练过程中，利用结构化深度非完整多视角聚类网络的预训练网络对这些参数进行初始化，其中预训练网络由多视角图卷积编码深度网络、表征融合模块和多视角解码网络组成，其中前两个模块与上一步结构化深度非完整多视角聚类网络中的结构一致，多视角解码网络中的每一个视角的解码网络由3个线性层和2个ReLU激活函数组成，结构表示为[线性层，ReLU，线性层，ReLU，线性层]，其中对第v个视角而言，其三个线性层的维度分别设置为[c,0.8mv,mv],c为类别数，mv为第v个视角的维度；
S3、对非完整多视角聚类网络进行预训练：针对S2所述预训练网络，通过最小化如下目标损失函数(7)得到多视角深度编码网络的初始化参数：
其中，Ω1和Ω2分别表示编码网络和解码网络的参数集合，表示第v个视角对应的解码网络的输出；/>为网络输入的非完整的多视角数据，若/>为从非完整的多视角数据中构建的相似图，则/> W∈Rn×l为视角缺失信息的指示矩阵，l为视角的总数，
对于预训练网络，在预训练时，根据目标损失函数(7)，利用pytorch自带的随机梯度下降算法更新网络参数，通过多次输入数据和迭代更新得到最优的编码网络参数Ω1和解码网络的参数Ω2；
S4、初始化聚类模型中的聚类中心矩阵：利用步骤S3预训练网络得到的非完整多视角图卷积编码网络参数来初始化步骤S1结构化深度非完整多视角聚类网络的图卷积编码网络参数，输入非完整多视角数据和从中构建的相似图/>得到S1模型(3)中的输出表征H*；如步骤S1所述，根据该输出表征H*，通过利用交替迭代优化算法来优化kmeans损失函数/>得到最优的聚类中心矩阵初始化值U；
S5、结构化深度非完整多视角聚类网络训练：
利用Adam优化器最小化步骤S1所述聚类目标损失函数得到最优的图卷积编码网络参数Ω1、聚类中心矩阵U和最优的聚类结果，当数据和相似图/>输入S1结构化深度非完整多视角聚类网络后，即得到聚类目标损失/>根据该损失计算网络中各变量的梯度，根据Adam优化算法对多视角编码网络参数Ω1和聚类中心矩阵U进行更新；每输入一次数据/>和相似图/>到网络，则利用Adam优化算法执行一次参数更新，经过多次参数更新，即得到最优的多视角编码网络参数Ω1和聚类中心矩阵U，根据该最优的多视角编码网络参数Ω1和聚类中心矩阵U，输入数据/>和相似图即能够根据步骤S1的结构化深度非完整多视角聚类网络得到概率矩阵P，进而得到最终的聚类结果，若Pi,j为矩阵P第i行向量的最大值，则认为第i个样本属于第j类。
优选地，步骤S5中对S1结构化深度非完整多视角聚类网络的训练具体流程为：
S51、输入含有n个样本和l个视角的非完整多视角数据集输入数据集自带的或根据K近邻算法从数据/>预构建的相似图/>输入视角缺失指示矩阵W∈Rn×l，聚类网络训练最大迭代训练步数设置为T1，聚类模块迭代步长设置为T2，模型训练终止阈值设置为ξ；输出聚类结果记为y；
S52、对聚类模型进行初始化，将非完整多视角数据中缺失视角的所有元素值设置为0；根据S3所述，利用SGD优化器和预训练目标函数(7)训练S2预训练网络，进而得到S1聚类网络中图卷积编码网络的初始化参数；根据初始的非完整多视角图卷积编码网络参数得到数据的初始化一致表征H*，利用S1所述kmeans优化算法得到初始化的聚类结果y和聚类中心矩阵U；根据初始化的聚类中心矩阵U和一致表征H*，利用式(8)和(9)分别得到聚类概率矩阵P和目标分布矩阵Q；
聚类概率矩阵P由下式进行计算：
其中uj表示中心矩阵U的第j行向量，也可视为第j个聚类簇的中心，
聚类结果的目标分布矩阵根据聚类概率矩阵P求得，其计算公式表示为：
S53、设置初始迭代步数t＝1；
S54、则执行如下步骤S55-S60；其中％表示取余数，即t％T2＝0表示当迭代步长为T2的整数倍时；
S55、利用下述公式(10)更新一致表征H*：
其中，表示第v个视角对应的编码网络的数据输出结果H(v),2的第i行元素，也即第i个样本的第v个视角的鉴别表征；
S56、根据式(8)和(9)更新聚类概率矩阵P和目标分布矩阵Q；
S57、令yold＝y并更新聚类结果，并根据S56得到的P矩阵更新聚类结果，其更新公式如下式(11)所示，
当sum(yold≠y)/n<ξ(sum(yold≠y)表示向量yold和向量y数值不一致的数量，n为向量y的元素数)时，终止训练；否则执行如下S58；
S58、根据聚类网络的目标损失函数利用Adam优化算法更新多视角编码网络参数Ω1和聚类中心矩阵U；
S59、利用式(8)更新概率矩阵P；
S60、设置t＝t+1，如果t<T1则跳转到S54；否则，结束训练。
优选地，步骤S58具体为，通过最小化聚类目标损失函数中的聚类划分概率矩阵P和聚类结果的目标分布Q之间的差异，根据该差异性反馈，利用Adam优化算法来训练更新编码网络参数Ω1和聚类中心矩阵U；其中聚类目标损失函数如下述公式(12)所示：
式(12)中矩阵P和Q由式(8)和(9)计算得到，log为对数函数；
假设当前聚类损失值表示为根据该损失值能够得到网络参数的梯度，令多视角编码网络参数的梯度表示为△Ω1，聚类中心矩阵的梯度表示为△U。
优选地，利用Adam优化算法更新网络参数的过程如下：
首先，默认循环迭代步数初始值为1；
然后，根据上述梯度值来更新网络参数，如多视角编码网络参数更新如下Ω1＝Ω1-αf(△Ω1)，中心矩阵更新如下U＝U-αf(△U)，其中α为Adam优化器的学习率参数，函数f(·)指代Adam优化算法的一系列矩估计和偏差校正计算；
最后判断Adam优化是否收敛，若未收敛，则继续执行上一步网络参数更新；若收敛，则跳出当前循环，其中，Adam优化是否收敛通过计算上述更新变量最近两步之间的误差是否小于阈值来进行判断。
优选地，步骤S1中非完整多视角图卷积编码网络需要同时输入数据的特征信息和图结构信息，图结构信息具体为从各个非完整多视角数据中构建的相似图：利用近邻图构建策略从原始数据的未缺失样例中构建各个视角的相似图，构建各个视角的相似图的公式如下：
其中，表示样例/>的k近邻集合，/>和/>分别表示第i个样本和第j个样本的第v个视角特征，‘NaN’表示空值(在原始非完整多视角数据中，缺失视角元素值用“NaN”表示)，/>表示第v个视角的第i个样本和第j个样本的相似值。
与现有技术相比，本发明的有益效果如下：
(1)本发明所提出的结构化非完整多视角深度聚类模型是目前唯一利用图卷积网络来解决非完整多视角聚类问题的模型。另外，本发明所提出的基于聚类驱动的统一深度框架，能够在一个框架下同时得到最适于聚类任务的一致表征和最优的聚类结果。
(2)本发明还针对所所述结构化深度非完整多视角聚类网络提出了一种全新的非完整多视角图卷积自编码网络来预训练聚类网络的模型参数，准确度高。
(3)本发明的结构化非完整多视角深度聚类模型能够同时捕获多视角数据的互补信息、一致信息、高阶特征信息以及结构相似度信息，进而能够得到更精确的数据聚类性能。
附图说明
图1是本发明的流程示意图；
图2是本发明的结构化深度非完整多视角网络模型结构图；
图3是本发明的深度预训练网络。
具体实施方式
本发明方案的具体实施步骤如下：
具体地，本发明提供一种结构化深度非完整多视角聚类方法，如图1所示，其包括以下步骤：
S1、建立非完整多视角图卷积编码网络：
结构化深度非完整多视角聚类网络主要由多视角图卷积编码深度网络、表征融合模块和聚类模块组成。
多视角图卷积编码深度网络由多个独立的图卷积编码网络组成。每一个视角的图卷积编码网络由两个图卷积网络层、两个批标准化层和一个激活函数层组成，其中激活函数采用修正线性函数，图卷积网络层用于从数据中提取高阶鉴别特征和保持数据的局部结构信息；两个批标准化层用于削弱各个视角在特征幅值和特征维度上的差异性；激活函数用于防止模型在反馈训练中的梯度消失问题；
假定第v个视角的输入数据为其中每个样本在第v个视角的特征都表示为行向量，mv表示第v个视角的特征维度，n表示样本个数，在该输入数据中，缺失样例的所有特征元素值用0值填充；此外，假设A(v)∈Rn×n为第v个视角上的相似图，其元素/>表示第i个样本和第j个样本在第v个视角上的相似度；该输入数据经过第一个图卷积网络层后的输出特征H(v),1表示为：
其中， 为对角阵且对角元素表示为/>I∈Rn×n为单位矩阵。/>可视为图矩阵(A(v)+I)的归一化矩阵，Θ(v),1表示第v个视角第一个图卷积网络层的编码参数，b(v,1)为该层的偏置参数，1为n维列向量；
第v个视角的数据在经过第二个图卷积网络层和两个批标准化层后的输出表示为：
其中，和φReLU(·)分别表示披标准化层(BN层)和修正线性(ReLU)激活函数。Θ(v),2为第v个视角第二个图卷积网络层的网络参数，b(v,2)为该网络层的偏置参数；
表征融合模块用于融合非完整多视角图卷积编码网络的输出鉴别表征：
利用加权融合模型(3)得到多个视角语义一致的表征：
其中，表示第v个视角对应的图卷积编码网络的数据输出结果H(v),2的第i行元素，也即第i个样本的第v个视角的鉴别表征。W∈Rn×l表示多视角数据的视角缺失指示矩阵，若第i个样本的第j个视角缺失，则Wi,j＝0；否则Wi,j＝1；
聚类模块用于挖掘数据的自监督信息来指导模型训练以得到最优的非完整多视角聚类网络模型和最优聚类结果。假设H*∈Rn×c为输入数据经过多视角图卷积编码深度网络和表征融合模块后的输出表征，首先，依据kmeans聚类原理，即优化kmeans聚类损失函数/>即可得到初始化聚类中心矩阵U和初始化的聚类结果Y；然后基于KL散度聚类理论，可计算得到第i个样本被划分到第j类的概率为：
上式中uj为聚类中心矩阵U的第j行向量，为矩阵H*∈Rn×c的第i行向量。
基于KL散度理论，根据概率矩阵P可求得用于自监督训练的目标矩阵：
用于监督模型训练的聚类模块损失函数设计为：
S2、建立结构化深度非完整多视角聚类网络的预训练网络：
结构化深度非完整多视角聚类网络的参数主要是多视角深度编码网络的参数。在实际训练过程中，需要对这些参数进行初始化。为此，设计了如图3所示结构化深度非完整多视角聚类网络的预训练网络来得到多视角深度编码网络的初始化参数。预训练网络主要由多视角图卷积编码深度网络、表征融合模块和多视角解码网络组成，其中前两个模块与上一步结构化深度非完整多视角聚类网络中的结构一致。多视角解码网络的结构与多视角编码网络的结构相似，其中每一个视角的解码网络由3个线性层和2个ReLU激活函数组成，结构可表示为[线性层，ReLU，线性层，ReLU，线性层]，其中对第v个视角而言，其三个线性层的维度分别设置为[c,0.8mv,mv],c为类别数，mv为第v个视角的维度。
S3、对非完整多视角聚类网络进行预训练。针对S2所述预训练网络，通过最小化如下目标损失函数(7)来得到多视角深度编码网络的初始化参数：
其中，Ω1和Ω2分别表示编码网络和解码网络的参数集合，表示第v个视角对应的解码网络的输出；/>为网络输入的非完整的多视角数据，若/>为从非完整的多视角数据中构建的相似图，则/> W∈Rn×l为视角缺失信息的指示矩阵，l为视角的总数。
对于预训练网络，在预训练时，根据目标损失(7)，可利用pytorch自带的随机梯度下降(SGD)算法来更新网络参数，通过多次输入数据和迭代更新得到最优的编码网络参数Ω1和解码网络的参数Ω2；
S4、初始化聚类模型中的聚类中心矩阵。利用步骤S3预训练网络得到的非完整多视角图卷积编码网络参数来初始化步骤S1结构化深度非完整多视角聚类网络的图卷积编码网络参数，输入非完整多视角数据和从中构建的相似图/>得到S1模型(3)的输出表征H*。如步骤S1所述，根据该输出表征H*，通过利用交替迭代优化算法来优化kmeans损失函数/>得到最优的聚类中心矩阵初始化值U。
S5、结构化深度非完整多视角聚类网络训练。
利用Adam优化器最小化S1所述聚类目标损失函数得到最优的图卷积编码网络参数Ω1、聚类中心矩阵U和最优的聚类结果。当数据和相似图/>输入S1结构化深度非完整多视角聚类网络后，即可得到聚类目标损失/>根据该损失计算网络中各变量的梯度，即可根据著名的Adam优化算法对多视角编码网络参数Ω1和聚类中心矩阵U进行更新。每输入一次数据/>和相似图/>到网络，就可以利用Adam优化算法执行一次参数更新，经过多次参数更新，即可得到最优的多视角编码网络参数Ω1和聚类中心矩阵U。根据该最优的多视角编码网络参数Ω1和聚类中心矩阵U，输入数据和相似图/>即可根据步骤S1的结构化深度非完整多视角聚类网络得到概率矩阵P，进而得到最终的聚类结果，若Pi,j为矩阵P第i行向量的最大值，则认为第i个样本属于第j类。
优选地，步骤S5中对S1结构化深度非完整多视角聚类网络的训练具体流程为：
S51、输入含有n个样本和l个视角的非完整多视角数据集输入数据集自带的或根据K近邻算法从数据/>预构建的相似图/>输入视角缺失指示矩阵W∈Rn×l，聚类网络训练最大迭代训练步数设置为T1，聚类模块迭代步长设置为T2，模型训练终止阈值设置为ξ；输出聚类结果记为y；
S52、对聚类模型进行初始化，将非完整多视角数据中缺失视角的所有元素值设置为0；根据S3所述，利用SGD优化器和预训练目标函数(7)训练S2预训练网络，进而得到S1聚类网络中图卷积编码网络的初始化参数；根据初始的非完整多视角图卷积编码网络参数得到数据的初始化一致表征H*，利用S1所述kmeans优化算法得到初始化的聚类结果y和聚类中心矩阵U；根据初始化的聚类中心矩阵U和一致表征H*，利用式(8)和(9)分别得到聚类概率矩阵P和目标分布矩阵Q；
聚类概率矩阵P由下式进行计算：
其中uj表示中心矩阵U的第j行向量，也可视为第j个聚类簇的中心。
聚类结果的目标分布矩阵根据聚类概率矩阵P求得，其计算公式表示为：
S53设置初始迭代步数t＝1
S54如果t％T2＝0(％表示取余数，即t％T2＝0表示当迭代步长为T2的整数倍时)，则执行如下S55-S60：
S55、利用下述公式(10)更新一致表征H*：
其中，表示第v个视角对应的编码网络的数据输出结果H(v),2的第i行元素，也即第i个样本的第v个视角的鉴别表征；
S56、根据式(8)和(9)更新聚类概率矩阵P和目标分布矩阵Q；
S57、令yold＝y并更新聚类结果，并根据S56得到的P矩阵更新聚类结果，其更新公式如下式(11)所示，
当sum(yold≠y)/n<ξ(sum(yold≠y)表示向量yold和向量y数值不一致的数量，n为向量y的元素数)时，终止训练；否则执行如下S58；
S58、根据聚类网络的目标损失函数利用Adam优化算法更新多视角编码网络参数Ω1和聚类中心矩阵U。
S59、利用式(8)更新概率矩阵P。
S60、设置t＝t+1，如果t<T1则跳转到S54；否则，结束训练。
优选地，步骤S58具体为，通过最小化聚类目标损失函数所示的聚类划分概率矩阵P和聚类结果的目标分布Q之间的差异，利用该差异性反馈，利用Adam优化算法来训练更新编码网络参数Ω1和聚类中心矩阵U；其中聚类目标损失函数如下述公式(12)所示：
/>
式(12)中矩阵P和Q由式(8)和(9)计算得到。‘log’为对数函数。
假设当前聚类损失值表示为根据该损失值能够得到网络参数的梯度，令多视角编码网络参数的梯度表示为△Ω1，聚类中心矩阵的梯度表示为△U，利用Adam优化算法来更新网络参数的过程简述如下：
首先，默认循环迭代步数初始值为1。
然后，根据上述梯度值来更新网络参数，如多视角编码网络参数更新如下Ω1＝Ω1-αf(△Ω1)，中心矩阵更新如下U＝U-αf(△U)，其中α为Adam优化器的学习率参数，函数f(·)指代Adam优化算法的一系列矩估计和偏差校正计算。
接着判断Adam优化是否收敛(通过判断上述更新变量最近两步之间的误差是否小于阈值)，若不收敛，则继续执行上一步网络参数更新；若收敛，则跳出当前循环。
优选地，步骤S1中非完整多视角图卷积编码网络需要同时输入数据的特征信息和图结构信息，图结构信息具体为从各个非完整多视角数据中构建的相似图：利用近邻图构建策略从原始数据的未缺失样例中构建各个视角的相似图，构建各个视角的相似图的公式如下：
其中，表示样例/>的k近邻集合，/>和/>分别表示第i个样本和第j个样本的第v个视角特征，‘NaN’表示空值(在原始非完整多视角数据中，缺失视角元素值用“NaN”表示)。/>表示第v个视角的第i个样本和第j个样本的相似值。
实施例
本实施例以图像多视角数据聚类场景为例，在视角缺失率设置为30％的Handwritten、Caltech20、MNIST、Animal等4个图像多视角数据集上的聚类精度(％)对比如下表所示。其中Handwritten数据集含有2000张手写字符图像样本，每个图像含有5种特征；Caltech20含有2386张户外图像样本，每张图像含有6种特征；MNIST含有4000张手写字符图像样本，每张图像由其像素特征和轮廓边特征表示；Animal数据集含有10158张动物图像，每张图像含有两种深度特征。DAIMC和IMVSC_AGL是近年来较为先进的不完整多视角聚类方法。
DAIMC IMVSC_AGL 本发明
Handwritten 86.73 95.50 97.37
Caltech20 47.44 42.28 59.26
MNIST 48.19 55.44 67.59
Animal 50.18 54.94 58.24
本发明针对非完整多视角数据的聚类问题，首次设计了非完整多视角深度图卷积特征提取网络，该网络能够从复杂的高维冗余多视角数据中提取各个视角中的深层鉴别特征；此外设计了简洁有效的加权融合层来挖掘非完整多视角数据的互补信息和一致信息；最后基于Kullback-Leibler(KL)散度设计了本网络的聚类损失函数。与传统非完整多视角聚类方案相比，本方案不仅能够同时挖掘数据的高阶特征信息和结构信息，而且能够直接输出数据聚类结果。最重要的是，本发明所设计的模型是集特征提取和聚类于一个框架，因此与传统两步法的多视角聚类方法相比，本发明所设计的方案能够获得最具鉴别力的特征提取模型和更优的聚类结果。本发明所设计的模型能够广泛应用于诸如智慧社区的安防、门禁、社区智慧推荐服务、社区智慧停车、社区智慧管理、推荐系统、多媒体分析、图像检索、金融数据分析等多种应用场景。
以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种结构化深度非完整多视角聚类方法，其特征在于：其包括以下步骤：
S1、建立结构化深度非完整多视角聚类网络：其中，结构化深度非完整多视角聚类网络包括多视角图卷积编码深度网络、表征融合模块和聚类模块；
多视角图卷积编码深度网络包括多个独立的并且与每一个视角对应的图卷积编码网络，每一个视角的图卷积编码网络由两个图卷积网络层、两个批标准化层和一个激活函数层组成，其中激活函数采用修正线性函数，图卷积网络层用于从数据中提取高阶鉴别特征和保持数据的局部结构信息；两个批标准化层用于削弱各个视角在特征幅值和特征维度上的差异性；激活函数用于防止模型在反馈训练中的梯度消失问题；
假定第v个视角的输入数据为其中每个样本在第v个视角的特征都表示为行向量，mv表示第v个视角的特征维度，n表示样本个数，在该输入数据中，缺失样例的所有特征元素值用0值填充；此外，假设A(v)∈Rn×n为第v个视角上的相似图，其元素/>表示第i个样本和第j个样本在第v个视角上的相似度；该输入数据经过第一个图卷积网络层后的输出特征H(v),1表示为：
其中， 为对角阵且对角元素表示为I∈Rn×n为单位矩阵，/>视为图矩阵(A(v)+I)的归一化矩阵，Θ(v),1表示第v个视角的第一个图卷积网络层的编码参数，b(v,1)为该层的偏置参数，1为元素值都为1的n维列向量；
第v个视角的数据在经过第二个图卷积网络层和两个批标准化层后的输出表示为：
其中，和φReLU(·)分别表示披标准化层和修正线性激活函数；Θ(v),2为第v个视角第二个图卷积网络层的网络参数，b(v,2)为该网络层的偏置参数；
表征融合模块用于融合非完整多视角图卷积编码网络的输出鉴别表征，利用加权融合模型(3)得到多个视角语义一致的表征：
其中，hi (v),2表示第v个视角对应的图卷积编码网络的数据输出结果H(v),2的第i行元素，也即第i个样本的第v个视角的鉴别表征，W∈Rn×l表示多视角数据的视角缺失指示矩阵，若第i个样本的第j个视角缺失，则Wi,j＝0；否则Wi,j＝1；
聚类模块用于挖掘数据的自监督信息来指导模型训练以得到最优的非完整多视角聚类网络模型和最优聚类结果，假设H*∈Rn×c为输入数据经过多视角图卷积编码深度网络和表征融合模块后的输出表征，具体过程如下：
首先，依据kmeans聚类原理，优化kmeans聚类损失函数得到初始化聚类中心矩阵U和初始化的聚类结果Y；
然后基于KL散度聚类理论，计算得到第i个样本被划分到第j类的概率为：
其中，uj为聚类中心矩阵U的第j行向量，为矩阵H*∈Rn×c的第i行向量；
最后，基于KL散度理论，根据概率矩阵P求得用于自监督训练的目标矩阵：
用于监督模型训练的聚类模块损失函数为：
S2、建立结构化深度非完整多视角聚类网络的预训练网络：
结构化深度非完整多视角聚类网络的参数为多视角深度编码网络的参数，在实际训练过程中，利用结构化深度非完整多视角聚类网络的预训练网络对这些参数进行初始化，其中预训练网络由多视角图卷积编码深度网络、表征融合模块和多视角解码网络组成，其中多视角图卷积编码深度网络和表征融合模块与上一步结构化深度非完整多视角聚类网络中的结构一致，多视角解码网络中的每一个视角的解码网络由3个线性层和2个ReLU激活函数组成，其结构表示为[线性层，ReLU，线性层，ReLU，线性层]，其中对第v个视角而言，其三个线性层的维度分别设置为[c,0.8mv,mv],c为类别数，mv为第v个视角的维度；
S3、对非完整多视角聚类网络进行预训练：针对S2所述预训练网络，通过最小化如下目标损失函数(7)得到多视角深度编码网络的初始化参数：
其中，Ω1和Ω2分别表示编码网络和解码网络的参数集合，表示第v个视角对应的解码网络的输出；/>为网络输入的非完整的多视角数据，若/>为从非完整的多视角数据中构建的相似图，则/> W∈Rn×l为视角缺失信息的指示矩阵，l为视角的总数，
对于预训练网络，在预训练时，根据目标损失函数(7)，利用随机梯度下降算法更新网络参数，通过多次输入数据和迭代更新得到最优的编码网络参数Ω1和解码网络的参数Ω2；
S4、初始化聚类模型中的聚类中心矩阵：利用步骤S3预训练网络得到的非完整多视角图卷积编码网络参数初始化步骤S1结构化深度非完整多视角聚类网络的图卷积编码网络参数，输入非完整多视角数据和从中构建的相似图/>得到S1公式(3)中的输出表征H*；如步骤S1所述，根据该输出表征H*，通过利用交替迭代优化算法来优化kmeans损失函数/>得到最优的聚类中心矩阵初始化值U；
S5、结构化深度非完整多视角聚类网络训练：
利用Adam优化器最小化步骤S1所述聚类目标损失函数得到最优的图卷积编码网络参数Ω1、聚类中心矩阵U和最优的聚类结果，当数据和相似图/>输入S1结构化深度非完整多视角聚类网络后，得到聚类目标损失/>根据该损失计算网络中各变量的梯度，根据Adam优化算法对多视角编码网络参数Ω1和聚类中心矩阵U进行更新；每输入一次数据/>和相似图/>到网络，则利用Adam优化算法执行一次参数更新，经过多次参数更新后，即得到最优的多视角编码网络参数Ω1和聚类中心矩阵U，根据该最优的多视角编码网络参数Ω1和聚类中心矩阵U，输入数据/>和相似图/>即能够根据步骤S1的结构化深度非完整多视角聚类网络得到概率矩阵P，进而得到最终的聚类结果，若Pi,j为矩阵P第i行向量的最大值，则认为第i个样本属于第j类。
2.根据权利要求1所述的结构化深度非完整多视角聚类方法，其特征在于：
步骤S5中对S1结构化深度非完整多视角聚类网络的训练具体流程为：
S51、输入含有n个样本和l个视角的非完整多视角数据集输入数据集自带的或根据K近邻算法从数据/>预构建的相似图/>输入视角缺失指示矩阵W∈Rn×l，聚类网络训练最大迭代训练步数设置为T1，聚类模块迭代步长设置为T2，模型训练终止阈值设置为ξ；输出聚类结果记为y；
S52、对聚类模型进行初始化，将非完整多视角数据中缺失视角的所有元素值设置为0；根据步骤S3所述，利用SGD优化器和预训练目标函数(7)训练S2预训练网络，进而得到S1聚类网络中图卷积编码网络的初始化参数；根据初始的非完整多视角图卷积编码网络参数得到数据的初始化一致表征H*，利用S1所述kmeans优化算法得到初始化的聚类结果y和聚类中心矩阵U；根据初始化的聚类中心矩阵U和一致表征H*，利用式(8)和(9)分别得到聚类概率矩阵P和目标分布矩阵Q；
聚类概率矩阵P由下式(8)进行计算：
其中uj表示中心矩阵U的第j行向量，也可视为第j个聚类簇的中心，
聚类结果的目标分布矩阵根据聚类概率矩阵P求得，其计算公式(9)表示为：
S53、设置初始迭代步数t＝1；
S54、如果t％T2＝0，则执行如下步骤S55-S60；其中％表示取余数，即t％T2＝0表示当迭代步长为T2的整数倍时；
S55、利用下述公式(10)更新一致表征H*：
其中，表示第v个视角对应的编码网络的数据输出结果H(v),2的第i行元素，也即第i个样本的第v个视角的鉴别表征；
S56、根据式(8)和(9)更新聚类概率矩阵P和目标分布矩阵Q；
S57、令yold＝y并更新聚类结果，并根据S56得到的P矩阵更新聚类结果，其更新公式如下式(11)所示，
当sum(yold≠y)/n<ξ(sum(yold≠y)表示向量yold和向量y数值不一致的数量，n为向量y的元素数)时，终止训练；否则执行如下S58；
S58、根据聚类网络的目标损失函数利用Adam优化算法更新多视角编码网络参数Ω1和聚类中心矩阵U；
S59、利用式(8)更新概率矩阵P；
S60、设置t＝t+1，如果t<T1则跳转到S54；否则，结束训练。
3.根据权利要求2所述的结构化深度非完整多视角聚类方法，其特征在于：
步骤S58具体为，通过最小化聚类目标损失函数中的聚类划分概率矩阵P和聚类结果的目标分布Q之间的差异，根据该差异性反馈，利用Adam优化算法训练更新编码网络参数Ω1和聚类中心矩阵U；其中聚类目标损失函数如下述公式(12)所示：
式(12)中矩阵P和Q由式(8)和(9)计算得到，log为对数函数；
假设当前聚类损失值表示为根据该损失值能够得到网络参数的梯度，令多视角编码网络参数的梯度表示为△Ω1，聚类中心矩阵的梯度表示为△U。
4.根据权利要求3所述的结构化深度非完整多视角聚类方法，其特征在于：
利用Adam优化算法更新网络参数的过程如下：
首先，默认循环迭代步数初始值为1；
然后，根据上述梯度值来更新网络参数，如多视角编码网络参数更新如下Ω1＝Ω1-αf(△Ω1)，中心矩阵更新如下U＝U-αf(△U)，其中α为Adam优化器的学习率参数，函数f(·)指代Adam优化算法的一系列矩估计和偏差校正计算；
最后判断Adam优化是否收敛，若未收敛，则继续执行上一步网络参数更新；若收敛，则跳出当前循环，其中，Adam优化是否收敛通过计算上述更新变量最近两步之间的误差是否小于阈值来进行判断。
5.根据权利要求1所述的结构化深度非完整多视角聚类方法，其特征在于：
步骤S1中非完整多视角图卷积编码网络需要同时输入数据的特征信息和图结构信息，图结构信息具体为从各个非完整多视角数据中构建的相似图：利用近邻图构建策略从原始数据的未缺失样例中构建各个视角的相似图，构建各个视角的相似图的公式如下：
其中，表示样例/>的k近邻集合，/>和/>分别表示第i个样本和第j个样本的第v个视角特征，‘NaN’表示空值，/>表示第v个视角的第i个样本和第j个样本的相似值。
CN202110438924.XA 2021-04-23 2021-04-23 一种结构化深度非完整多视角聚类方法 Active CN113128600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110438924.XA CN113128600B (zh) 2021-04-23 2021-04-23 一种结构化深度非完整多视角聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110438924.XA CN113128600B (zh) 2021-04-23 2021-04-23 一种结构化深度非完整多视角聚类方法

Publications (2)

Publication Number Publication Date
CN113128600A CN113128600A (zh) 2021-07-16
CN113128600B true CN113128600B (zh) 2024-02-23

Family

ID=76779581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110438924.XA Active CN113128600B (zh) 2021-04-23 2021-04-23 一种结构化深度非完整多视角聚类方法

Country Status (1)

Country Link
CN (1) CN113128600B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887591A (zh) * 2021-09-22 2022-01-04 大连理工大学 基于双层加权联合分解的多视角聚类方法
CN113869404B (zh) * 2021-09-27 2024-05-28 北京工业大学 面向论文网络数据的自适应图卷积聚类方法
CN113901921A (zh) * 2021-10-11 2022-01-07 郑州大学 一种综合双重联系的多视角信息瓶颈聚类算法
CN114462524A (zh) * 2022-01-19 2022-05-10 北京工业大学 一种面向数据中心批处理作业的聚类方法
CN116758319A (zh) * 2023-06-15 2023-09-15 哈尔滨理工大学 一种基于图卷积流形正则化自编码器的非完备多视角遥感图像聚类方法
CN117542057B (zh) * 2024-01-09 2024-04-05 南京信息工程大学 一种基于模块化网络建模视角间关系的多视角聚类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135520A (zh) * 2019-05-27 2019-08-16 哈尔滨工业大学（深圳） 基于图补全和自适应视角权重分配的不完备多视角聚类方法、装置、系统及存储介质
CN110334777A (zh) * 2019-07-15 2019-10-15 广西师范大学 一种加权多视角无监督属性选择方法
CN112464004A (zh) * 2020-11-26 2021-03-09 大连理工大学 一种多视角深度生成图像聚类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377686B (zh) * 2019-07-04 2021-09-17 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135520A (zh) * 2019-05-27 2019-08-16 哈尔滨工业大学（深圳） 基于图补全和自适应视角权重分配的不完备多视角聚类方法、装置、系统及存储介质
CN110334777A (zh) * 2019-07-15 2019-10-15 广西师范大学 一种加权多视角无监督属性选择方法
CN112464004A (zh) * 2020-11-26 2021-03-09 大连理工大学 一种多视角深度生成图像聚类方法

Also Published As

Publication number Publication date
CN113128600A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113128600B (zh) 一种结构化深度非完整多视角聚类方法
CN111260594B (zh) 一种无监督的多模态图像融合方法
CN110427813B (zh) 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN109558821B (zh) 一种视频中特定人物的服装件数计算方法
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN110929848A (zh) 基于多挑战感知学习模型的训练、跟踪方法
US11935326B2 (en) Face recognition method based on evolutionary convolutional neural network
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN110781766B (zh) 基于特征谱正则化的格拉斯曼流形判别分析图像识别方法
CN110516533B (zh) 一种基于深度度量的行人再辨识方法
CN117201122B (zh) 基于视图级图对比学习的无监督属性网络异常检测方法及系统
CN111125397B (zh) 一种基于卷积神经网络的布料图像检索方法
CN113920472B (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN112633051A (zh) 一种基于图像搜索的在线人脸聚类方法
CN117152459B (zh) 图像检测方法、装置、计算机可读介质及电子设备
WO2022134576A1 (zh) 红外视频时序行为定位方法、装置、设备及存储介质
Tian et al. Multi-scale hierarchical residual network for dense captioning
CN111967592A (zh) 基于分离正负扰动生成对抗图像机器识别的方法
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
Shi et al. Personalized pca: Decoupling shared and unique features
CN117746260B (zh) 遥感数据智能解析方法及系统
CN115311605A (zh) 基于近邻一致性和对比学习的半监督视频分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant