CN116108375B - 一种基于结构敏感图字典嵌入的图分类方法 - Google Patents
一种基于结构敏感图字典嵌入的图分类方法 Download PDFInfo
- Publication number
- CN116108375B CN116108375B CN202211630011.9A CN202211630011A CN116108375B CN 116108375 B CN116108375 B CN 116108375B CN 202211630011 A CN202211630011 A CN 202211630011A CN 116108375 B CN116108375 B CN 116108375B
- Authority
- CN
- China
- Prior art keywords
- graph
- dictionary
- input
- embedding
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000035945 sensitivity Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 31
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013459 approach Methods 0.000 description 6
- 108090000623 proteins and genes Proteins 0.000 description 5
- 102000004169 proteins and genes Human genes 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 102100029212 Putative tetratricopeptide repeat protein 41 Human genes 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 150000002828 nitro derivatives Chemical class 0.000 description 1
- 231100000590 oncogenic Toxicity 0.000 description 1
- 230000002246 oncogenic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于结构敏感图字典嵌入的图分类方法，包括以下步骤：构造基础图字典‑分别用于对输入图和字典键进行建模，在此过程中，图卷积神经网络学习每个节点的嵌入表示‑将得到的嵌入表示输入到变分图字典自适应模块，学习出自适应图字典，生成更具表达能力的字典‑度量交叉图节点之间的相关性，并实现交叉图的嵌入‑对得到的嵌入表示通过全连接层获得更低维的嵌入表示，从而得到分类结果，并引入互信息作为目标，推导出自适应图字典的变分推理，使得能够端到端的进行训练和优化。本发明采用上述基于结构敏感图字典嵌入的图分类方法，增强了原始图字典的表达能力，提高了结构变化的灵敏度，从而为重要的局部相关模式，准确地表示输入图。
Description
技术领域
本发明涉及一种电子信息技术，尤其涉及一种基于结构敏感图字典嵌入的图分类方法。
背景技术
图是一种能够描述事物之间复杂关系的数据结构，通常由一组节点和边构成，其中节点代表个体，而边表示个体之间的关系。由于其灵活的结构，图被广泛应用于建模现实世界和科学领域中各种不规则数据。
为了获得强大的图表示能力，图深度学习近几年蓬勃发展，在许多图相关任务上取得了里程碑式的进展，其中图分类是最基本的任务之一。现有的图分类方法通常分为两类：基于图核(Graph Kernel)的算法和图神经网络方法。作为传统和经典的代表，图核度量、图相似度在高维结构空间，其中结构信息被很好的保存。相反，图神经网络试图通过堆叠多层神经网络层来提取更具判别性的特征，其中邻域信息以迭代的方式被聚合。由于其神经网络的深度结构，故在图分类方面取得了较好的效果。
尽管图神经网络在图分类方面取得了很大的进展，但由于过拟合限制了特征的表示能力，由于信息聚合过程中的结构混乱，而图核具有很好保存结构信息的能力，所以Zhang等人提出了一种新的解决方案，即在图神经网络中采用图字典编码输入图，取得了良好的性能。但是对于图字典，仍然有两个主要的问题需要解决：第一：由于指数级的组合爆炸图结构对于这样的字典来说是压倒性的，从而导致固定的图字典通常表达大量图的能力有限；第二：输入图和图字典键的相似度度量不稳定的，且对局部结构变化不敏感，从而限制了图字典的表示能力。
发明内容
本发明的目的是提供一种基于结构敏感图字典嵌入的图分类方法，解决了传统图字典通常表达大量图的能力以及图字典的表示能力有限的问题。
为实现上述目的，本发明提供了一种基于结构敏感图字典嵌入的图分类方法，包括以下步骤：
S1、对于给定的输入图，通过学习鲁棒性和有鉴别性的特征，将其分类为一个特定的类别，即构造基础图字典，以支持后续的嵌入；
S2、采用相同结构的图编码器和动量图编码器进行特征学习，分别用于对输入图和字典键进行建模，在此过程中，为了获得鲁棒表示，图卷积神经网络学习每个节点的嵌入表示；
S3、将得到的嵌入表示输入到变分图字典自适应模块，通过学习输入图和字典键的伯努利采样从基础图字典中学习出自适应图字典，为多敏感度Wasserstein嵌入模块生成更具表达能力的字典；
S4、采用Wasserstein距离度量交叉图节点之间的相关性，并引入针对结构变化的多敏感度正则化方法，以实现交叉图的嵌入；
S5、对经过S4得到的嵌入表示通过全连接层获得更低维的嵌入表示，从而得到分类结果，并引入互信息作为目标，推导出自适应图字典的变分推理，使得能够端到端的进行训练和优化。
步骤S3具体包括以下步骤：
S31、设定表示第i个输入图，表示基础图字典的第j个字典键，通过采用相同结构的图卷积网络作为编码器学习输入图及基础图字典的嵌入表示，Xi和/>学到的特征对应于Fi和/>变分图字典自适应模块根据输入图从基础图字典/>中自适应选择子结构，在此过程中，学习伯努利采样因子，产生自适应图字典/>
给定输入图学习采样因子zij，生成自适应字典/>中相应图/> 的选择函数公式如下：
其中，zij服从概率向量pij的伯努利分布，且zij的每一个元素是0或1；
S32、基于Fi和贝叶斯规则推导出zij：
S33、利用变分推理将近似为先验/>同时限制两者之间的KL散度：
S34、对于输入Fi和基础图字典得到与输入更加匹配的自适应图字典
优选的，在步骤S33中对于一个输入图假设采样因子zi1,…,ziK是独立且同分布的，其中每一个都服从伯努利分布，那么，KL散度被写为：
其中，qφ(zij)为期望的伯努利分布，即 表示预先设定好的概率向量，pij表示所学到的概率向量，对于一个复杂的概率/>为了使其变分推理可优化，引入重参数化技巧来推导/>
其中，为投影向量，Mij为计算两交叉图/>和/>的节点之间成对平方欧式距离。
优选的，在步骤S34中基于变分推理的结果，对每个输入图自适应地选择出自适应图字典。
优选的，步骤S4具体包括以下步骤：
S41、对于给定输入图与自适应图字典键/>计算跨图相关性：
其中，Mij中的每一个元素为分别计算来自与/>的跨图节点之间的成对平方欧氏距离，/>表示基于Mij的Fi与/>之间的最优传输矩阵；因此，给定自适应图字典得到/>对应的嵌入/>
S42、正则化λ控制跨图节点之间捕获局部信息的敏感度，采用多敏感度Wasserstein嵌入：
其中，wm表示注意力机制的投影参数。
通过Sinkhorn算法的不动点迭代求解
其中，uij和vij被初始化为全1向量，在Sinkhorn迭代中更新。
优选的，步骤S5中采用互信息来度量获得的嵌入和对应标签：
其中，φ表示学习伯努利采样因子集的参数集，Ψ表示参与训练过程的其他参数，(·)为互信息，H(y)为标签的随机变量的常数熵；
对于一个输入图假设这些采样因子zi1,…,ziK是独立且同分布的，其中每一个都服从伯努利分布，KL散度被写为：
其中，qφ(zij)为期望的伯努利分布，即 表示预先设定好的概率向量，pij表示所学到的概率向量。
优选的，在步骤S5中对于概率引入重参数化来推导
其中，为投影向量，Mij计算两交叉图/>和/>的节点之间成对平方欧式距离。
本发明的有益效果如下：
1)引入了伯努利采样来调整基础图键的子结构，以代替基础图字典的简单使用，从而生成适合于每个输入图的个性化字典，这种选择性的调整极大增强了原始图字典的表达能力。
2)引入互信息作为目标，从而推导出自适应图字典的变分推理。
3)设计了多敏感度Wasserstein模块，利用Wasserstein距离度量交叉图节点之间的相关性，来提高嵌入的稳定性，并进一步进入多敏感度正则化来提高结构变化的灵敏度，因此，可以很好地为重要的局部相关模式，准确地表示输入图。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程图；
图2不同正则化参数λ个数的影响结果图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
图1为本发明的流程图，如图1所示，一种基于结构敏感图字典嵌入的图分类方法，包括以下步骤：
S1、对于给定的输入图，通过学习鲁棒性和有鉴别性的特征，将其分类为一个特定的类别，即构造基础图字典，以支持后续的嵌入；
S2、采用相同结构的图编码器和动量图编码器进行特征学习，分别用于对输入图和字典键进行建模，在此过程中，为了获得鲁棒表示，图卷积神经网络学习每个节点的嵌入表示；
S3、将得到的嵌入表示输入到变分图字典自适应模块，通过学习输入图和字典键的伯努利采样从基础图字典中学习出自适应图字典，为多敏感度Wasserstein嵌入模块生成更具表达能力的字典；
优选的，步骤S3具体包括以下步骤：
S31、设定表示第i个输入图，表示基础图字典的第j个字典键，通过采用相同结构的图卷积网络作为编码器学习输入图及基础图字典的嵌入表示，Xi和/>学到的特征对应于Fi和/>变分图字典自适应模块根据输入图从基础图字典/>中自适应选择子结构，在此过程中，学习伯努利采样因子，产生自适应图字典/>
给定输入图学习采样因子zij，生成自适应字典/>中相应图/> 的选择函数公式如下：
其中，zij服从概率向量pij的伯努利分布，且zij的每一个元素是0或1；
S32、为了能够赋予方法更好的泛化能力和可解释性，基于Fi和贝叶斯规则推导出zij：
S33、利用变分推理将近似为先验/>同时限制两者之间的KL散度：
即使用KL散度(Kullback-Leibler Divergence)来评估和的分布差异性，通过最小化KL散度即可使得/>学到非常好的近似，从而赋予方法更好的泛化能力和可解释性
优选的，在步骤S33中对于一个输入图假设采样因子zi1,…,ziK是独立且同分布的，其中每一个都服从伯努利分布，那么，KL散度被写为：
其中，qφ(zij)为期望的伯努利分布，即 表示预先设定好的概率向量，pij表示所学到的概率向量，对于一个复杂的概率/>为了使其变分推理可优化，引入重参数化技巧(Reparameterization Trick)来推导
其中，为投影向量，Mij为计算两交叉图/>和/>的节点之间成对平方欧式距离。
S34、对于输入Fi和基础图字典得到与输入更加匹配的自适应图字典
优选的，在步骤S34中基于变分推理的结果，对每个输入图自适应地选择出自适应图字典。
S4、采用Wasserstein距离度量交叉图节点之间的相关性，并引入针对结构变化的多敏感度正则化方法，以实现交叉图的嵌入；
优选的，步骤S4具体包括以下步骤：
S41、对于给定输入图与自适应图字典键/>计算跨图相关性：
其中，Mij中的每一个元素为分别计算来自与/>的跨图节点之间的成对平方欧氏距离，/>表示基于Mij的Fi与/>之间的最优传输矩阵；因此，给定自适应图字典得到/>对应的嵌入/>
S42、正则化λ控制跨图节点之间捕获局部信息的敏感度，λ值越大，图与图间的局部相关性的敏感度越低。但是图存在较大的结构变化，固定的λ不能很好地处理所有的图样本。所以为了解决这个问题，采用多敏感度Wasserstein嵌入：
其中，wm表示注意力机制的投影参数。
优选的，通过Sinkhorn算法的不动点迭代求解
其中，uij和vij被初始化为全1向量，在Sinkhorn迭代中更新。
S5、对经过S4得到的嵌入表示通过全连接层获得更低维的嵌入表示，从而得到分类结果，并引入互信息作为目标，推导出自适应图字典的变分推理，使得能够端到端的进行训练和优化。
优选的，步骤S5中采用互信息来度量获得的嵌入和对应标签：
其中，φ表示学习伯努利采样因子集的参数集，Ψ表示参与训练过程的其他参数，(·)为互信息，H(y)为标签的随机变量的常数熵；
对于一个输入图假设这些采样因子zi1,…,ziK是独立且同分布的，其中每一个都服从伯努利分布，KL散度被写为：
其中，qφ(zij)为期望的伯努利分布，即 表示预先设定好的概率向量，pij表示所学到的概率向量。
优选的，在步骤S5中对于概率引入重参数化来推导
其中，为投影向量，Mij计算两交叉图/>和/>的节点之间成对平方欧式距离。
实施例
在实验例中，图分类任务常用的数据集MUTAG、PROTEINS、PTC、IMDB-BINARY、IMDB-MULTI和COLLAB上进行了验证，并与其他基准的方法进行对比，最后对模块进行有效性分析。
实验设置
数据集：MUTAG是一个硝基化合物数据集，包含188个样本，每个样本有7个离散节点标签，样本被分为两类。PROTEINS是由1113个二级结构元件的蛋白质结构，带有3个离散的节点标签。PTC是关于啮齿动物的致癌性标记的化合物，每个节点标注有19个标签。IMDB-BINARY和IMDB-MULTI都是来自IMDB的电影协作数据集，分别有两类和三类，其中每个图代表一部电影，每个节点代表一个演员，如果他们同时出现在同一部电影中，那么他们之间就会存在边。IMDB-BINARY是来源于动作和浪漫的类型。COLLAB是一个科学数据集，其中每个图代表一个附属研究人员和来自3个物理领域的其他研究人员之间的协作网络，类别被标记为研究人员的物理领域。
训练策略：对于输入图的初始化，每个节点根据节点的类别采用one-hot向量表示，边与数据集中预定义的边相同。对于基本图字典的构造，从训练集中随机选择多组图键，其中每组对应于每个类中固定数量的样本。在本实验中，将所有数据集的固定键数设置为14个。用于训练图编码器和动量图编码器，采用相同结构的三层图卷积神经网络，其输出维度分别为256,128，32，所有激活函数均采用ReLU(·)。
模型实验细节：在训练阶段，采用Adam作为优化器，批处理的batchsize大小为128，学习率设置为0.001，Weight Decay和Momentum参数设置分别为10-4和0.999。在多敏感度Wasserstein嵌入模块中采用8敏感度正则化方法，得到的嵌入表示进一步通过两个全连接层进行分类。
评价指标：严格遵循十折交叉验证的协议来评价所提出的方法，以此进行公平的比较。具体来说，将数据集划分为10份，每次将其中的9份作为训练数据集，剩余的1份作为测试集。采用10部分分别作为测试集的平均准确率和方差作为最终性能。
实验结果
表1模型在各数据集上与基准方法性能的比较表
根据表1可知，我们的模型在5个基准数据集上实现了最先进的性能，在COLLAB数据集上达到了类似的性能。相比之下，以往的方法并不能在所有6个数据集上都表现良好。具体分析来说，基于图核的方法(GK、DGK、WL)的性能通常是低于基于图神经网络的方法，这可能是由于使用的手工制作的特征导致表达能力不足以及两阶段学习过程中的特征学习能力有限，导致次优结果的产生。在基于图核的方法中，WL在大多数数据集上获得了相对较高的性能，平均增益为3％，因为它定义了一组基于Weisfeiler-Lehman图序列的高效核，然而它的性能仍然低于将神经网络层堆叠成深度架构的GNN。GNN和其变体在分类任务上取得了良好的实验效果。具体来说，最近的一些工作通过研究池化算法或者引入结构建模的注意力机制来进一步提升了性能。
综上可知，本实施例所述方法与GNTK的除COLLAB的其他5个数据集上相比，平均性能增益超过4％。此外，与使用固定图字典和在跨图建模时采用单一正则化的WGDL相比，我们的方法平均提高了2％，从而验证了本实施例所提出方法的有效性。
实验分析
本实施例与现有最先进的方法相比取得了优越的性能，因此除了性能评估，还设置有额外的实验来明确每个模块是如何促进分类任务以及方法中所使用的超参数的敏感性。
为了明确设计的变分图字典自适应模块的好处，从我们的模型中删除了该模块，即表2中的Baseline+MS-WE。
为了验证多敏感度Wasserstein嵌入的有效性，从框架中删除了该模块，即为表2中的Baseline+VGDA，单个正则化λ设置为0.1。
并在[0,12]范围内选择多敏感度Wasserstein嵌入模块中正则化参数λ的个数记为C。当C为0时，只计算图间的成对平方欧式距离，没有最优传输。
表2为模块有效性实验结果表
由表2结合图2可得到以下结论：
(1)本实施例所述的变分图字典自适应模块在促进图分类学习方面起着重要的作用，在表2中，使用该模块能够有效提高1％以上的准确率在PROTEINS和IMDB-BINARY数据集上，验证了从基础图字典中进行单个子结构选择的重要性。
(2)由表2中可以看出，设计的多敏感度Wasserstein嵌入模块进一步提高了图的分类性能。在两个数据集上的平均性能增益也超过1％，验证了使用该模块提高交叉图相关性的敏感度的必要性。
(3)由图2可知，适当地选择正则化个数可以提高交叉图相关性的灵敏度。当C选择为8时，性能最高。具体来说，当C为0时，没有在Wasserstein空间中进行最优传输来优化结构。然而，更高的C值并不能获得更好的性能，因为涉及到太多冗余的交叉图关联，故C选择为8。
因此，本发明采用上述一种基于结构敏感图字典嵌入的图分类方法，将输入图转换到图字典的空间中，用于图的分类任务。即根据输入图(Graph)构建原始图字典，通过关联输入图和字典键，学习伯努利采样因子提取自适应图字典的子结构，产生对应与每个输入的自适应图字典，极大地提高了原始字典的表达能力。此外，为了保证交叉图度量的敏感性和稳定性，提出多敏感度Wasserstein嵌入，设计最优传输的多敏感度正则化方法来提高结构变化的灵敏度，并进一步引入注意力机制来捕获显著的结构模式，产生输入图嵌入。同时为了优化所提出的方法，引入互信息作为目标，推导自适应图字典的变分推理。并根据输入样本自适应的选择图字典子结构，使字典能够更加具备灵活性和稳定性，在生物分子数据集(MUTAG、PTC、PROTEINS)和社交网络数据集(COLLAB、IMDB-BINARY、IMDB-MULTI)上取得了优异的性能，验证了所提方法的有效性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于结构敏感图字典嵌入的图分类方法，其特征在于：包括以下步骤：
S1、对于给定的输入图，通过学习鲁棒性和有鉴别性的特征，将其分类为一个特定的类别；首先构造基础图字典，支持后续的嵌入；
S2、采用相同结构的图编码器和动量图编码器进行特征学习，分别用于对输入图和字典键进行建模，在此过程中，为了获得鲁棒表示，图卷积神经网络学习每个节点的嵌入表示；
S3、将得到的嵌入表示输入到变分图字典自适应模块，通过学习输入图和字典键的伯努利采样从基础图字典中学习出自适应图字典，为多敏感度Wasserstein嵌入模块生成更具表达能力的字典；
S4、采用Wasserstein距离度量交叉图节点之间的相关性，并引入针对结构变化的多敏感度正则化方法，以实现交叉图的嵌入；
S5、对经过S4得到的嵌入表示通过全连接层获得更低维的嵌入表示，从而得到分类结果，并引入互信息作为目标，推导出自适应图字典的变分推理，使得能够端到端的进行训练和优化。
2.根据权利要求1所述的一种基于结构敏感图字典嵌入的图分类方法，其特征在于：步骤S3具体包括以下步骤：
S31、设定表示第i个输入图，表示基础图字典的第j个字典键，通过采用相同结构的图卷积网络作为编码器学习输入图及基础图字典的嵌入表示，Xi和/>学到的特征对应于Fi和/>变分图字典自适应模块根据输入图从基础图字典/>中自适应选择子结构，在此过程中，学习伯努利采样因子，产生自适应图字典/>
给定输入图学习采样因子zij，生成自适应字典/>中相应图/> 的选择函数公式如下：
其中，zij服从概率向量pij的伯努利分布，且zij的每一个元素是0或1；为期望的伯努利分布，即qφ(zij)；
S32、基于Fi和贝叶斯规则推导出zij：
S33、利用变分推理将近似为先验/>同时限制两者之间的KL散度：
S34、对于输入Fi和基础图字典得到与输入更加匹配的自适应图字典
3.根据权利要求2所述的一种基于结构敏感图字典嵌入的图分类方法，其特征在于：在步骤S33中对于一个输入图假设采样因子zi1,…,ziK是独立且同分布的，其中每一个都服从伯努利分布，那么，KL散度被写为：
其中，qφ(zij)为期望的伯努利分布，即 表示预先设定好的概率向量，pij表示所学到的概率向量，对于一个复杂的概率/>为了使其变分推理可优化，引入重参数化技巧来推导/>
其中，为投影向量，Mij为计算两交叉图/>和/>的节点之间成对平方欧式距离。
4.根据权利要求3所述的一种基于结构敏感图字典嵌入的图分类方法，其特征在于：在步骤S34中基于变分推理的结果，对每个输入图自适应地选择出自适应图字典。
5.根据权利要求4所述的一种基于结构敏感图字典嵌入的图分类方法，其特征在于：步骤S4具体包括以下步骤：
S41、对于给定输入图与自适应图字典键/>计算跨图相关性：
其中，Mij中的每一个元素为分别计算来自与/>的跨图节点之间的成对平方欧氏距离，/>表示基于Mij的Fi与/>之间的最优传输矩阵；因此，给定自适应图字典得到/>对应的嵌入/>
S42、正则化λ控制跨图节点之间捕获局部信息的敏感度，采用多敏感度Wasserstein嵌入：
其中，wm表示注意力机制的投影参数。
6.根据权利要求5所述的一种基于结构敏感图字典嵌入的图分类方法，其特征在于：通过Sinkhorn算法的不动点迭代求解
其中，uij和vij被初始化为全1向量，在Sinkhorn迭代中更新。
7.根据权利要求6所述的一种基于结构敏感图字典嵌入的图分类方法，其特征在于：步骤S5中采用互信息来度量获得的嵌入和对应标签：
其中，φ表示学习伯努利采样因子集的参数集，Ψ表示参与训练过程的其他参数，(·)为互信息，H(y)为标签的随机变量的常数熵；
对于一个输入图假设这些采样因子zi1,…,ziK是独立且同分布的，其中每一个都服从伯努利分布，KL散度被写为：
其中，qφ(zij)为期望的伯努利分布，即 表示预先设定好的概率向量，pij表示所学到的概率向量。
8.根据权利要求7所述的一种基于结构敏感图字典嵌入的图分类方法，其特征在于：在步骤S5中对于概率引入重参数化来推导/>
其中，为投影向量，Mij计算两交叉图/>和/>的节点之间成对平方欧式距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211630011.9A CN116108375B (zh) | 2022-12-19 | 2022-12-19 | 一种基于结构敏感图字典嵌入的图分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211630011.9A CN116108375B (zh) | 2022-12-19 | 2022-12-19 | 一种基于结构敏感图字典嵌入的图分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116108375A CN116108375A (zh) | 2023-05-12 |
| CN116108375B true CN116108375B (zh) | 2023-08-01 |
Family
ID=86257194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211630011.9A Active CN116108375B (zh) | 2022-12-19 | 2022-12-19 | 一种基于结构敏感图字典嵌入的图分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116108375B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649597A (zh) * | 2016-11-22 | 2017-05-10 | 浙江大学 | 一种基于图书内容的图书书后索引自动构建方法 |
| CN107315956A (zh) * | 2017-06-12 | 2017-11-03 | 东莞理工学院 | 一种用于快速准确检测零日恶意软件的图论方法 |
| CN109213884A (zh) * | 2018-11-26 | 2019-01-15 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
| CN111967483A (zh) * | 2019-05-20 | 2020-11-20 | 北京三星通信技术研究有限公司 | 确定分类器、确定生成器、识别命令的方法及设备 |
| CN113361606A (zh) * | 2021-06-07 | 2021-09-07 | 齐鲁工业大学 | 深层图注意力对抗变分自动编码器训练方法及系统 |
| CN113377899A (zh) * | 2020-03-09 | 2021-09-10 | 华为技术有限公司 | 意图识别方法及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10936658B2 (en) * | 2018-09-28 | 2021-03-02 | International Business Machines Corporation | Graph analytics using random graph embedding |
| US20210350620A1 (en) * | 2020-05-07 | 2021-11-11 | Imperial College Innovations Limited | Generative geometric neural networks for 3d shape modelling |
-
2022
- 2022-12-19 CN CN202211630011.9A patent/CN116108375B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649597A (zh) * | 2016-11-22 | 2017-05-10 | 浙江大学 | 一种基于图书内容的图书书后索引自动构建方法 |
| CN107315956A (zh) * | 2017-06-12 | 2017-11-03 | 东莞理工学院 | 一种用于快速准确检测零日恶意软件的图论方法 |
| CN109213884A (zh) * | 2018-11-26 | 2019-01-15 | 北方民族大学 | 一种基于草图检索三维模型的跨模态检索方法 |
| CN111967483A (zh) * | 2019-05-20 | 2020-11-20 | 北京三星通信技术研究有限公司 | 确定分类器、确定生成器、识别命令的方法及设备 |
| CN113377899A (zh) * | 2020-03-09 | 2021-09-10 | 华为技术有限公司 | 意图识别方法及电子设备 |
| CN113361606A (zh) * | 2021-06-07 | 2021-09-07 | 齐鲁工业大学 | 深层图注意力对抗变分自动编码器训练方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Structure-Sensitive Graph Dictionary Embedding for Graph Classification;Guangbu Liu;《Computer Science》;1-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116108375A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Supervised feature selection with a stratified feature weighting method | |
| US20200380366A1 (en) | Enhanced generative adversarial network and target sample recognition method | |
| Zhao et al. | Learning hierarchical features from deep generative models | |
| Wang et al. | Robust and flexible discrete hashing for cross-modal similarity search | |
| Cao et al. | Class-specific soft voting based multiple extreme learning machines ensemble | |
| Askari et al. | Generalized entropy based possibilistic fuzzy c-means for clustering noisy data and its convergence proof | |
| Rajakumar | Static and adaptive mutation techniques for genetic algorithm: a systematic comparative analysis | |
| Kulkarni et al. | Statistical learning theory: a tutorial | |
| Ji et al. | Toward optimal manifold hashing via discrete locally linear embedding | |
| Raschka et al. | Python: deeper insights into machine learning | |
| Gong et al. | Multiobjective sparse non-negative matrix factorization | |
| Yin et al. | Pseudo inverse versus iterated projection: Novel learning approach and its application on broad learning system | |
| CN111178543B (zh) | 一种基于元学习的概率域泛化学习方法 | |
| Jamalinia et al. | Diverse classifier ensemble creation based on heuristic dataset modification | |
| Tripathy et al. | A Study of Algorithm Selection in Data Mining using Meta-Learning. | |
| Chen et al. | Distribution knowledge embedding for graph pooling | |
| Yao et al. | Hash bit selection with reinforcement learning for image retrieval | |
| Li et al. | Quantum KNN classification with K Value selection and neighbor selection | |
| Kasiviswanathan et al. | Private incremental regression | |
| Peng et al. | JGSED: An end-to-end spectral clustering model for joint graph construction, spectral embedding and discretization | |
| Ma et al. | VNAS: Variational Neural Architecture Search | |
| Hu et al. | Exploiting diversity for optimizing margin distribution in ensemble learning | |
| Kim et al. | Embedded face recognition based on fast genetic algorithm for intelligent digital photography | |
| Zhang et al. | Offline Data-Driven Multiobjective Optimization Evolutionary Algorithm Based on Generative Adversarial Network | |
| CN116108375B (zh) | 一种基于结构敏感图字典嵌入的图分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |