CN116778233B - 一种基于图神经网络的不完全深度多视图半监督分类方法 - Google Patents

一种基于图神经网络的不完全深度多视图半监督分类方法 Download PDF

Info

Publication number
CN116778233B
CN116778233B CN202310670376.2A CN202310670376A CN116778233B CN 116778233 B CN116778233 B CN 116778233B CN 202310670376 A CN202310670376 A CN 202310670376A CN 116778233 B CN116778233 B CN 116778233B
Authority
CN
China
Prior art keywords
view
data
matrix
missing
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310670376.2A
Other languages
English (en)
Other versions
CN116778233A (zh
Inventor
罗廷金
姜璋琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310670376.2A priority Critical patent/CN116778233B/zh
Publication of CN116778233A publication Critical patent/CN116778233A/zh
Application granted granted Critical
Publication of CN116778233B publication Critical patent/CN116778233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了基于图神经网络(GNN)的不完全深度多视图半监督分类方法，包括：S1、对输入的不完全视图，基于GNN进行交叉视图重构，得到视图中所有缺失实例的重构数据；S2、基于自编码机设计无监督表征学习部分，单独学习每个视图的数据，提取视图表征，得到视图表征矩阵Z(v)，并采用级联融合算子将各视图的表征矩阵融合成一个综合表征矩阵Zc；S3、使用相似性分类方法对综合表征矩阵Zc中无标签数据zcu,i进行分类得到分类结果ys,i，使用基于全连接神经网络的分类器对Zc中无标签数据zcu,i进行分类得到分类结果yc,i，若ys,i＝yc,i则无标签数据标记伪标签为ys,i或yc,i。本发明基于GNN的交叉视图重构部分和基于相似性的半监督学习部分，可以有效地同时处理视图缺失和标签稀少的问题。

Description

一种基于图神经网络的不完全深度多视图半监督分类方法
技术领域
本发明涉及视图分类技术领域，更具体地说，特别涉及一种基于图神经网络的不完全深度多视图半监督分类方法。
背景技术
在现实应用任务中，同一实例往往可以由多种视图数据进行描述。多视图算法由于其具有联合利用多种视图信息辅助决策的能力，近年来，在自动驾驶、精准医疗和机器人控制等领域取得了优异的效果。但是，真实应用场景中普遍存在的标签稀少和视图缺失两个现实问题，严重阻碍着多视图方法更进一步的发展和应用。
半监督学习是一种同时利用标签数据和无标签数据的学习范式，该方法通过利用大量无标签实例的数据结构和数据分布等额外信息从而提高模型最终的性能，在解决标签受限的问题上具有良好的表现。因此，目前大部分工作是基于半监督学习来设计多视图方法。例如MLAN模型，它将自适应近邻聚类方法推广到多视图领域以缓解标签数据受限问题。Cai等人基于标签传播的方法提出了一种多视图半监督分类算法，它通过迭代优化学习不同视图的权重和一个共享标签矩阵，从而对目标实例进行分类。此外，Tian等人提出了一种基于对齐的半监督学习模型，它通过寻找不同实例间的最佳对齐来对目标实例进行分类。然而，上述方法是基于完整视图数据假设而设计的，对于存在视图缺失的多视图数据无法直接使用。事实上，这种假设的基础保证是缺失预处理技术。但目前大部分缺失预处理技术主要依赖均值填充、采样等统计学预处理方法。此类预处理方法虽然能填充缺失的视图数据，但同时也改变了数据的原始面貌，可能导致在学习模型的训练过程中引入噪声或丢失真实信息，进一步地，使得模型产生对原始数据的畸形表达，继而影响模型下游推断、决策的准确性和可靠性。
不完全多视图表征学习的主要目的是利用视图之间的潜在联系，从不完全的视图数据中提取能反映更多有效信息的视图表征，从而提高下游任务(如聚类、分类等)的表现。经典方法有许多，如部分多视图聚类算法(PVC)，它将L1正则化项整合到非负矩阵分解(NMF)的过程中，利用完全实例的视图间的耦合关系来学习不完全视图实例的共享子空间。在PVC的基础上，Shao等人进一步采用更具鲁棒性的加权非负矩阵分解(WNMF)算法学习不完全视图实例的共享子空间，同时利用L2,1正则化项降低噪声和离群数据的影响。尽管前述的不完全多视图方法能够得到有效的处理结果，但这些方法只采用简单的线性或非线性映射来缩短多视图数据表征在隐式共享子空间中的距离，当视图特征间差异过大时，这类简单的映射就难以保证结果的可靠性。由于深度神经网络能够利用多层非线性映射提取原始数据的高层次抽象表征，在多视图领域逐渐受到重视，最近的大部分工作着重于构建合理的网络结构，通过学习存在的视图数据来重构缺失的视图数据。此类方法可大致分为两种，一种是基于深度神经网络提取多视图数据的共享表征，并利用共享表征对多视图数据进行重构，例如Ngiam等人基于深度栈式自编码机来恢复缺失的视图数据，该方法首先利用同一个编码器提取不同视图的共享表征，然后利用不同的解码器重构各视图数据；Kang等人则是利用受限深度置信神经网络进行重构缺失视图的任务；另一种方法则是利用深度神经网络独立地提取各视图数据的表征，并通过优化各视图间的潜在关联来学习多视图数据的隐式共享子空间，而建模不同视图之间的潜在关联可以通过数据的相似性或结构的相关性来刻画，如余弦相似性、点乘相似性以及典型相关性分析(CCA)等。例如，多视图深度相关网络(DCCA)，它利用不同的深度神经网络将各视图数据一起映射到一个隐式共享子空间中。在此空间中，通过CCA最大化各表征间的相关性，同时通过最大相关联合优化全部深度神经网络，进而得到视图间的隐式共享子空间。但是这些方法往往关注于数据的内在结构信息和视图间的转换映射来重构缺失视图，忽略了外部补充信息，即标签信息对于不完全视图的启示作用。为此，Lin等人提出的缺失多视图对偶学习(DCP)方法构造了在标签层面上的对比损失函数，利用了实例的标签信息辅助缺失视图重构任务。然而，它假设所有实例均存在可用的标签信息，因此在标签稀少的场景下可能会失效。
尽管当前大部分多视图算法在处理标签稀少和视图缺失问题上均取得了良好的表现，但是这些算法通常将上述两个问题当作两个不相关的任务分别进行处理，同时应对这两个问题的能力弱，限制了多视图分类算法在真实场景中的进一步应用。为了联合应对这两大问题，有必要提出一种基于图神经网络的不完全深度多视图半监督分类方法。
发明内容
本发明的目的在于提供一种基于图神经网络的不完全深度多视图半监督分类方法，以克服现有技术所存在的缺陷。
为了达到上述目的，本发明采用的技术方案如下：
基于图神经网络的不完全深度多视图半监督分类方法，包括以下步骤：
S1、对输入的不完全视图，基于GNN进行交叉视图重构，得到视图中所有缺失实例的重构数据；
S2、基于自编码机设计无监督表征学习部分，单独学习每个视图的数据，提取视图表征的任务，得到视图表征矩阵Z(v)，并采用级联融合算子将各视图的表征矩阵融合成一个综合表征矩阵Zc；
S3、使用相似性分类方法对综合表征矩阵Zc中无标签数据zcu，i进行分类得到分类结果ys，i，使用基于全连接神经网络的分类器对Zc中无标签数据zcu，i进行分类得到分类结果yc，i，若ys，i＝yc，i则无标签数据标记伪标签为ys，i或yc，i。
进一步地，所述步骤S1具体包括：
S10、设定第一个视图中缺失的视图数据记为第二个视图中与之对应存在的视图数据记为/>
S11、利用kNN算法在第二个视图中构造关于的kNN图，并记/>的k个具有最近距离的实例集合为/>
S12、将来自第二个视图的kNN图变换到第一个视图，在第一个视图中找到与相近邻的实例点；
S13、将部分在第一个视图上缺失数据的近邻实例移除，构造出在第一个视图上变换后的kNN图，记为
S14、重复步骤S10-S13，构造出所有缺失实例变换后的kNN图，将视图v上所有变换后的图合并，从而得到一个关于所有缺失实例的kNN图G(v)；
S15、输入各视图中关于单个缺失实例的变换后的kNN图式中，是由一个批次中视图v上缺失数据的实例的下标组成的集合，/>是由全体数据实例的下标组成的集合，/>是由视图v中全体存在数据的实例的下标组成的集合；
S16、GNN在其第一层网络层中，基于相关实例在图上的消息传播，得到的初步重构数据为：
其中，σ(·)代表激活函数，本实施例中采用ReLu激活函数；代表第一层网络层中的偏置项；/>为图/>中的节点总数；/>代表第一层网络层中的系数矩阵；/>代表/>中第j个实例在第一个视图上的特征向量；
S17、在余下的GNN网络层中，不再进行消息传播，利用全连接神经网络捕捉有效信息来优化缺失数据，将GNN最终输出的重构数据记为为：
式中，b和ω分别为全连接神经网络的偏置项和系数矩阵；
S18、获得视图v中所有缺失实例的重构数据，并与已知存在的数据可共同构成重构后的输入矩阵式中，V为视图个数。
进一步地，所述步骤S2具体为：
S20、若记第v个视图的编码器为E(v)(·)，则对应的视图表征矩阵Z(v)为：
式中，为上一节中获得的视图v上的重构输入矩阵；
S22、采用级联融合算子将各视图的表征矩阵融合成一个综合表征矩阵 式中，[；]代表级联操作；m为视图表征的维数。
进一步地，所述步骤S3中的相似性分类方法为点乘相似性分类方法，所述综合表征矩阵Zc中全部的无标签数据和有标签数据分别按列向量形式构成的两个矩阵为和/>则相似性分类方法对无标签数据zcu，i的分类结果ys，i为：
式中，Zc(·，i)代表矩阵Zc的第i列，代表有标签数据的标签指示矩阵，即/>其余元素均为零，/>是由全体无标签数据实例的下标组成的集合，C为类别数；/>代表元素全为一的行向量；/>代表主对角线元素为向量1H中元素的对角矩阵。
进一步地，所述步骤S1中采用如下重构损失函数：
进一步地，所述步骤S2中采用如下重建损失函数得到视图表征矩阵Z(v)：
式中，D(v)(·)代表第v个视图所对应的解码器。
进一步地，所述步骤S2中还包括采用如下实例对比损失函数提升视图表征矩阵Z(v)的一致性：
式中，代表矩阵/>的第t行第t′列的元素；m是表征向量的维数；α为平衡因子。
进一步地，所述步骤S2中采用类别对比损失函数实现视图表征矩阵Z(v)提取任务：
式中，ygt，i和yp，i分别代表有标签实例zcl，i的真实标签和预测标签；S(z，zcl，i)＝(z)Tzcl，i为实例z和zcl，i之间的点乘相似度；代表与实例zcl，i具有相同真实标签的所有实例构成的集合；/>代表与实例zcl，i具有相同预测标签的所有实例构成的集合；1(·)为指示函数，当圆括号内的表达式成立时为1，反之则为0，实例zcl，i的预测标签由下式决定：
进一步地，所述步骤S3中法采用如下分类损失函数进行分类：
式中，Pi，c表示实例属于第c个类别的概率。
与现有技术相比，本发明的优点在于：本发明基于GNN的交叉视图重构部分和基于相似性的半监督学习部分，可以有效地同时处理视图缺失和标签稀少的问题，一方面，基于GNN利用缺失实例的近邻数据信息，能更好地重构缺失的视图数据；另一方面，利用实例间的相似性挖掘数据的外部标签信息，并进一步地以伪标签的形式指导模型的视图重构和分类任务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于图神经网络的不完全深度多视图半监督分类方法的框架示意图。
图2是本发明中交替优化训练策略示意图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参阅图1和图2所示，本实施例公开了一种基于图神经网络的不完全深度多视图半监督分类方法，主要包含三部分：基于GNN的交叉视图重构部分、无监督表征学习部分和基于相似性的半监督学习部分。接下来，本实施例首先给出该技术方案中一般符号的说明，然后分别介绍本实施例中的三个部分。
本实施例将包含V个视图的N个实例的多视图数据集记为 记作视图v的输入矩阵，其中dv代表第v个视图数据的特征维数。为表示简洁，本实施例记/>为全体实例的下标所构成的集合，并记/>为视图v上存在视图数据的实例下标所构成的集合，则视图v上缺失视图数据的实例下标构成的集合可被写做/>类似的，将无标签数据下标所构成的集合记为/>则有标签数据下标所构成的集合可表示为/>此外，将实例的类别数定义为C，并将有标签数据的真实标签信息记为/>
步骤S1：基于GNN的交叉视图重构部分：即对输入的不完全视图，基于GNN进行交叉视图重构，得到视图中所有缺失实例的重构数据。
在不完全视图分类任务中，如何对不完全视图的实例进行学习和推断是一个极具挑战性的问题，且对下游分类任务具有很大影响。最近的一些工作着重于设计复杂的神经网络模型来学习视图间的联系，从而推断出缺失的视图数据，但是这些方法无法有效地利用实例之间的结构、分布信息来补全缺失的视图数据。近年来，GNN由于其能够挖掘基于非欧式距离的图结构数据的几何信息，在深度学习领域受到了广泛关注，且在视觉问答(VQA)、药物发现和推荐系统等领域取得了巨大的成功。因此，本发明将基于GNN来设计有效的视图重构方法。
不失一般性的，本实施例将以图1所示的两个视图输入数据为例，来说明本发明提出的基于GNN的交叉视图重构部分。特别地，取某个实例，它在第一个视图中缺失的视图数据记为与之对应的第二个视图中存在的视图数据记为/>为了找到与缺失视图数据相邻近的实例从而进行补全，本实施例首先利用kNN算法在第二个视图中构造关于/>的kNN图，并记/>的k个具有最近距离的实例集合为/>考虑到多视图数据之间的一致性，假设在不同视图上实例间的相似性度量应具有一致性。基于此种假设，可以将来自第二视图的kNN图变换到第一视图，从而可以在第一个视图中找到与相近邻的实例点。此外，由于这些在/>集合中的近邻实例可能在第一视图中同样面临数据缺失问题，因此本实施将部分缺失数据的近邻实例移除，从而构造出在第一视图上变换后的kNN图，记为/>显然有k′≤k。通过重复上述步骤，本实施可以构造出所有缺失实例变换后的kNN图。进一步地，本实施可以将这种变换方式拓展到三个及以上的视图数据中。本实施可以将视图v上所有变换后的图合并，从而得到一个关于所有缺失实例的kNN图G(v)。
接下来，本实施对两个视图分别应用一个GNN来推断缺失的视图数据。值得注意的是，为了适应小批量的神经网络训练方式，本实施不直接将图G(v)作为GNN的输入数据，而是输入关于单个缺失实例的变换后的kNN图其中/>是由一个批次中视图v上缺失数据的实例的下标组成的集合。本实施仍以缺失实例/>为例来展示GNN重构视图数据的详细过程。那么GNN在其第一层网络层中，基于相关实例在图/>上的消息传播，得到的初步重构数据可被写为：
式中，σ(·)代表激活函数，本实施中采用ReLu激活函数；代表第一层网络层中的偏置项；/>为图/>中的节点总数；/>代表第一层网络层中的系数矩阵；/>代表/>中第j个实例在第一个视图上的特征向量。在余下的GNN网络层中，不再进行消息传播，而是利用全连接神经网络捕捉有效信息来更好地优化缺失数据。如果将GNN最终输出的重构数据记为/>则其可被写为：
其中，b和ω分别为全连接神经网络的偏置项和系数矩阵。通过该过程，本实施就可以获得视图v中所有缺失实例的重构数据，并与已知存在的数据可共同构成重构后的输入矩阵
步骤S2、基于自编码机设计无监督表征学习部分，单独学习每个视图的数据，提取视图表征的任务，得到视图表征矩阵Z(v)，并采用级联融合算子将各视图的表征矩阵融合成一个综合表征矩阵Zc。
具体的，本实施例基于自编码机设计了无监督表征学习部分以单独学习每个视图的数据，从而完成提取视图表征的任务。如果记第v个视图的编码器为E(v)(·)，则对应的视图表征矩阵Z(v)可被写为：
式中，为上一节中获得的视图v上的重构输入矩阵。进一步的，本实施例采用级联融合算子将各视图的表征矩阵融合成一个综合表征矩阵/> 其中[；]代表级联操作；m为视图表征的维数。
步骤S3、使用相似性分类方法对综合表征矩阵Zc中无标签数据zcu，i进行分类得到分类结果ys，i，使用基于全连接神经网络的分类器对Zc中无标签数据zcu，i进行分类得到分类结果yc，i，若ys，i＝yc，i则无标签数据标记伪标签为ys，i或yc，i。
具体的，为了利用有限的标签信息从而指导包括视图重构、表征提取在内的部分更好地学习数据信息，本发明采用相似性分类方法，基于伪标签的半监督学习形式，设计了基于相似性的半监督学习部分来挖掘标签信息。本发明采用的相似性度量方式为点乘相似性。如果将综合表征矩阵Zc中全部的无标签数据和有标签数据分别按列向量形式构成的两个矩阵定义为和/> 其中Zc(·，i)代表矩阵Zc的第i列，则相似性分类方法对无标签数据zcu，i的分类结果ys，i可表示为：
式中，代表有标签数据的标签指示矩阵(即/>其余元素均为零)；/>代表元素全为一的行向量；/>代表主对角线元素为向量1H中元素的对角矩阵。
此外，本实施例还将训练一个基于全连接神经网路的分类器，并采用了一种标签检查机制来标记伪标签。不妨将该分类器对于无标签数据zcu，i的分类结果记为yc，i∈{1，2，...，C}。那么依据所用的检查机制，如果该无标签数据在两种分类方式下具有相同分类结果(即ys，i＝yc，i)，则本实施例为该无标签数据标记伪标签为ys，i(或yc，i)。通过这种方式，本实施例不仅能提高伪标签的可信度从而更好地辅助模型在下一轮的训练，还能使用基于全连接神经网络的分类器对未知多视图实例实施更准确的分类。
再如图1所示，本实施例同时包含了五种损失函数：重构损失函数重建损失函数/>实例对比损失函数/>类别对比损失函数/>和分类损失函数/>
重构损失函数：为了更好地利用实例在变换后kNN图上的近邻信息以及存在的实例数据来指导GNN的重构任务，本实施例采用如下定义的重构损失函数：
重建损失函数：本实施例通过最小化重建损失函数来使得自编码机提取的表征向量包含更多有效信息，从而更好地学习各视图独立的隐式子空间结构。重建损失函数被定义为：
式中，D(v)(·)代表第v个视图所对应的解码器。
实例对比损失函数：在自编码机学得的隐式共享子空间中，本实施例需要进一步挖掘视图间的关联信息来提升视图表征间的一致性，同时还需尽量保持视图自身原始的信息。为了达到这一目的，本实施例采用与DCP方法中类似的实例对比损失函数：
式中，代表矩阵/>的第t行第t′列的元素；m是表征向量的维数；α为平衡因子。
类别对比损失函数：为了进一步使得不同类别间视图表征的分布更加稀疏，本实施例采用一个监督损失函数来利用有限的标签数据从而指导视图重构及视图表征的提取任务。本实施例使用的类别对比损失函数定义如(4)式：
式中，ygt，i和yp，i分别代表有标签实例zcl，i的真实标签和预测标签；S(z，zcl，i)＝(z)Tzcl，i为实例z和zcl，i之间的点乘相似度；代表与实例zcl，i具有相同真实标签的所有实例构成的集合；类似的，/>代表与实例zcl，i具有相同预测标签的所有实例构成的集合；1(·)为指示函数，当圆括号内的表达式成立时为1，反之则为0。实例zcl，i的预测标签可由(5)式决定：
分类损失函数：对于由神经网络分类器承担的分类任务，本实施例选用交叉熵损失函数，其可被定义为：
式中，1(·)与式(4)中的定义一致，Pi，c表示实例属于第c个类别的概率。
综合上述五部分的分析，本实施例总的损失函数可被写作：
式中，λ1和λ2分别用于平衡无监督损失和监督损失/>间的重要性。值得注意的是，/>仅在GNN的预训练阶段使用，后续联合训练模型时该损失函数不参与计算。
通过上述描述，本发明联合利用基于GNN的交叉视图重构部分和基于相似性的半监督学习部分，可以有效地同时处理视图缺失和标签稀少的问题。一方面，基于GNN利用缺失实例的近邻数据信息，能更好地重构缺失的视图数据；另一方面，利用实例间的相似性挖掘数据的外部标签信息，并进一步地以伪标签的形式指导模型的视图重构和分类任务。
本实施例采用的训练策略一共包含预训练和交替优化两部分。在预训练过程中，本实施例仅利用重构损失函数来指导GNN挖掘数据实例之间在图上的关联信息，从而更好地完成视图重构任务。
如图2所示，在交替优化部分，本实施例采用如下步骤训练模型：
基于预训练后的GNN来重构每个视图中缺失的实例数据以此获得重构后的输入矩阵
各视图重构后的输入矩阵将被输入到对应的编码器E(v)中提取视图表征Z(v)，v∈{1，2，...，V}，然后利用级联融合算子将各视图表征矩阵整合为一个综合表征矩阵Zc；
分别使用相似性分类方法和基于全连接神经网络的分类器对所有实例进行分类并获得对应的分类结果ys，i和yc，i；
按照标签检查机制将满足条件的无标签数据标记伪标签，辅助模型下一轮的训练。
此外，本实施例在每轮训练后会使用验证数据集来验证参数调整的结果，并记录在验证集上拥有最佳分类性能的模型参数作为最终模型的参数。本发明提出的训练策略的详细表述如算法1所示。值得注意的是，本实施例在训练过程中始终保持已知标签实例的真实标签信息不变，这样一来可以有效保护标签数据较少的类别，以此避免“赢者通吃”的情况发生。这种训练策略使得所提方法中的三个模块相互补足，协同训练。一方面，GNN重构了缺失的数据使得无监督表征学习模块拥有更多的可训练样本。另一方面，无监督学习不仅能降低特征维数加速后续分类任务，还能使实例间的分类边界更清晰。此外，半监督学习模块能为前述两个部分的学习提供更多的标签信息。
以下是通过程序的形式实现本实施例基于GNN的不完全深度多视图半监督分类方法的训练策略。
/>
/>
本发明设计了一种交替优化训练策略，使得所提方法中的三个主要部分可以有效地协同训练，相互补充，提升分类性能。
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (9)

1.基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，包括以下步骤：
S1、对输入的不完全视图，基于GNN进行交叉视图重构，得到视图中所有缺失实例的重构数据；
S2、基于自编码机设计无监督表征学习部分，单独学习每个视图的数据，提取视图表征，得到视图表征矩阵Z(v)，并采用级联融合算子将各视图的表征矩阵融合成一个综合表征矩阵Zc；
S3、使用相似性分类方法对综合表征矩阵Zc中无标签数据zcu,i进行分类得到分类结果ys,i，使用基于全连接神经网络的分类器对Zc中无标签数据zcu,i进行分类得到分类结果yc,i，若ys,i＝yc,i则无标签数据标记伪标签为xs,i或yc,i。
2.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S1具体包括：
S10、设定第一个视图中缺失的视图数据记为第二个视图中与之对应存在的视图数据记为/>
S11、利用kNN算法在第二个视图中构造关于的kNN图，并记/>的k个具有最近距离的实例集合为/>
S12、将来自第二个视图的kNN图变换到第一个视图，在第一个视图中找到与相近邻的实例点；
S13、将部分在第一个视图上缺失数据的近邻实例移除，构造出在第一个视图上变换后的kNN图，记为
S14、重复步骤S10-S13，构造出所有缺失实例变换后的kNN图，将视图v上所有变换后的图合并，从而得到一个关于所有缺失实例的kNN图G(v)；
S15、输入各视图中关于单个缺失实例的变换后的kNN图式中， 是由一个批次中视图v上缺失数据的实例的下标组成的集合，/>是由全体数据实例的下标组成的集合，/>是由视图v中全体存在数据的实例的下标组成的集合；
S16、GNN在其第一层网络层中，基于相关实例在图上的消息传播，得到的初步重构数据为：
其中，σ(·)代表激活函数，采用ReLu激活函数；代表第一层网络层中的偏置项；/>为图/>中的节点总数；/>代表第一层网络层中的系数矩阵；代表/>中第j个实例在第一个视图上的特征向量；
S17、在余下的GNN网络层中，不再进行消息传播，利用全连接神经网络捕捉有效信息来优化缺失数据，将GNN最终输出的重构数据记为为：
式中，b和ω分别为全连接神经网络的偏置项和系数矩阵；
S18、获得视图v中所有缺失实例的重构数据，并与已知存在的数据可共同构成重构后的输入矩阵式中，V为视图个数。
3.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S2具体为：
S20、若记第v个视图的编码器为E(v)(·)，则对应的视图表征矩阵Z(v)为：
式中，为上一节中获得的视图v上的重构输入矩阵；
S22、采用级联融合算子将各视图的表征矩阵融合成一个综合表征矩阵 式中，[；]代表级联操作；m为视图表征的维数。
4.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S3中的相似性分类方法为点乘相似性分类方法，所述综合表征矩阵Zc中全部的无标签数据和有标签数据分别按列向量形式构成的两个矩阵为 和/>则相似性分类方法对无标签数据zcu,i的分类结果ys,i为：
式中，Zc(·,i)代表矩阵Zc的第i列，代表有标签数据的标签指示矩阵，即其余元素均为零，/>是由全体无标签数据实例的下标组成的集合，C为类别数；/>代表元素全为一的行向量；/>代表主对角线元素为向量1H中元素的对角矩阵。
5.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S1中采用如下重构损失函数：
6.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S2中采用如下重建损失函数得到视图表征矩阵Z(v)：
式中，D(v)(·)代表第v个视图所对应的解码器。
7.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S2中还包括采用如下实例对比损失函数提升视图表征矩阵Z(v)的一致性：
式中，代表矩阵/>的第t行第t'列的元素；m为视图表征的维数；α为平衡因子。
8.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S2中采用类别对比损失函数实现视图表征矩阵Z(v)提取任务：
式中，ygt,i和yp,i分别代表有标签实例zcl,i的真实标签和预测标签；S(z,zcl,i)＝(z)Tzcl,i为实例z和zcl,i之间的点乘相似度；代表与实例zcl,i具有相同真实标签的所有实例构成的集合；/>代表与实例zcl,i具有相同预测标签的所有实例构成的集合；1(·)为指示函数，当圆括号内的表达式成立时为1，反之则为0，实例zcl,i的预测标签由下式决定：
9.根据权利要求1所述的基于图神经网络的不完全深度多视图半监督分类方法，其特征在于，所述步骤S3中法采用如下分类损失函数进行分类：
式中，Pi,c表示实例属于第c个类别的概率。
CN202310670376.2A 2023-06-07 2023-06-07 一种基于图神经网络的不完全深度多视图半监督分类方法 Active CN116778233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310670376.2A CN116778233B (zh) 2023-06-07 2023-06-07 一种基于图神经网络的不完全深度多视图半监督分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310670376.2A CN116778233B (zh) 2023-06-07 2023-06-07 一种基于图神经网络的不完全深度多视图半监督分类方法

Publications (2)

Publication Number Publication Date
CN116778233A CN116778233A (zh) 2023-09-19
CN116778233B true CN116778233B (zh) 2024-02-06

Family

ID=87992276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310670376.2A Active CN116778233B (zh) 2023-06-07 2023-06-07 一种基于图神经网络的不完全深度多视图半监督分类方法

Country Status (1)

Country Link
CN (1) CN116778233B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307995A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于特征解耦学习的半监督行人重识别方法
CN112529878A (zh) * 2020-12-15 2021-03-19 西安交通大学 一种基于多视图半监督的淋巴结的分类方法、系统及设备
CA3131843A1 (en) * 2020-09-25 2022-03-25 Royal Bank Of Canada System and method for structure learning for graph neural networks
CN114743037A (zh) * 2022-04-06 2022-07-12 华南农业大学 一种基于多尺度结构学习的深度医学图像聚类方法
CN115098672A (zh) * 2022-05-11 2022-09-23 合肥工业大学 基于多视图深度聚类的用户需求发现方法和系统
CN115376178A (zh) * 2022-03-22 2022-11-22 武汉大学 基于域风格滤除的未知域行人重识别方法及系统
CN115374790A (zh) * 2022-07-22 2022-11-22 浙江师范大学 基于因果图神经网络的学习者情感演化分析方法与系统
CN115545181A (zh) * 2021-06-29 2022-12-30 四川大学 一种高效处理新增视图的深度多视图学习方法
CN115590515A (zh) * 2022-09-28 2023-01-13 上海零唯一思科技有限公司（Cn） 基于生成式自监督学习和脑电信号的情绪识别方法及系统
CN115952424A (zh) * 2023-01-03 2023-04-11 安徽工业大学 一种基于多视图结构的图卷积神经网络聚类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220383127A1 (en) * 2021-06-01 2022-12-01 Basmah ALTAF Methods and systems for training a graph neural network using supervised contrastive learning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3131843A1 (en) * 2020-09-25 2022-03-25 Royal Bank Of Canada System and method for structure learning for graph neural networks
CN112307995A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于特征解耦学习的半监督行人重识别方法
CN112529878A (zh) * 2020-12-15 2021-03-19 西安交通大学 一种基于多视图半监督的淋巴结的分类方法、系统及设备
CN115545181A (zh) * 2021-06-29 2022-12-30 四川大学 一种高效处理新增视图的深度多视图学习方法
CN115376178A (zh) * 2022-03-22 2022-11-22 武汉大学 基于域风格滤除的未知域行人重识别方法及系统
CN114743037A (zh) * 2022-04-06 2022-07-12 华南农业大学 一种基于多尺度结构学习的深度医学图像聚类方法
CN115098672A (zh) * 2022-05-11 2022-09-23 合肥工业大学 基于多视图深度聚类的用户需求发现方法和系统
CN115374790A (zh) * 2022-07-22 2022-11-22 浙江师范大学 基于因果图神经网络的学习者情感演化分析方法与系统
CN115590515A (zh) * 2022-09-28 2023-01-13 上海零唯一思科技有限公司（Cn） 基于生成式自监督学习和脑电信号的情绪识别方法及系统
CN115952424A (zh) * 2023-01-03 2023-04-11 安徽工业大学 一种基于多视图结构的图卷积神经网络聚类方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
"Multi-view clustering method based on graph attention autoencoder";t Dianying Chen, at el.;《IEEE》;第1-6页 *
"不完整多视图聚类方法研究";刘键伦;《中国优秀硕士电子期刊网》;全文 *
"基于划分融合与图融合的多视图子空间聚类及缺失聚类算法";张培;《中国优秀硕士电子期刊网》;全文 *
"基于多图协同学习神经网络模型的半监督分类研究";陈思;《万方数据》;全文 *
"基于多视图的网络表示学习研究与实现";赵锴;《中国优秀硕士电子期刊网》;全文 *
"基于稀疏表示的图像分类和聚类算法研究";陈哲;《中国博士电子期刊网》;全文 *
"多视图学习算法和应用研究";王岳青;《中国博士电子期刊网》(第1-9期);全文 *
Shaohua Fan,at el.."One2Multi graph Autoencoder for Multi-view Graph Clustering".《Proceeding of The Web Conferen 2020》.2020,第1-7页. *
基于多视图未标记数据的机器学习;武永成;;计算机与现代化(第03期);全文 *
基于局部流形重构的半监督多视图图像分类;董西伟;;计算机工程与应用(第18期);全文 *

Also Published As

Publication number Publication date
CN116778233A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN110717526B (zh) 一种基于图卷积网络的无监督迁移学习方法
CN110458216B (zh) 基于条件生成对抗网络的图像风格迁移方法
CN108648188B (zh) 一种基于生成对抗网络的无参考图像质量评价方法
CN111581405A (zh) 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
CN111274869B (zh) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN111428071B (zh) 一种基于多模态特征合成的零样本跨模态检索方法
Shi et al. Image manipulation detection and localization based on the dual-domain convolutional neural networks
CN112784801A (zh) 基于文本和图片的双模态胃部疾病分类方法及装置
CN113076927B (zh) 基于多源域迁移的指静脉识别方法及系统
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN114549850B (zh) 一种解决模态缺失问题的多模态图像美学质量评价方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN114332482A (zh) 一种基于特征融合的轻量化目标检测方法
CN114723994A (zh) 一种基于双分类器对抗增强网络的高光谱图像分类方法
CN116049467A (zh) 一种基于标签视觉联合感知的无监督图像检索方法和系统
Zeng et al. Multi‐level features extraction network with gating mechanism for crowd counting
CN116778233B (zh) 一种基于图神经网络的不完全深度多视图半监督分类方法
Chulif et al. Herbarium-Field Triplet Network for Cross-domain Plant Identification. NEUON Submission to LifeCLEF 2020 Plant.
CN116433800A (zh) 基于社交场景用户偏好与文本联合指导的图像生成方法
CN110992320A (zh) 一种基于双重交错的医学图像分割网络
CN116503636A (zh) 一种基于自监督预训练的多模态遥感影像分类方法
KR102340387B1 (ko) 뇌 연결성 학습 방법 및 이를 위한 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant