CN113627463A

CN113627463A - 基于多视图对比学习的引文网络图表示学习系统及方法

Info

Publication number: CN113627463A
Application number: CN202110706945.5A
Authority: CN
Inventors: 朱信忠; 徐慧英; 刘新旺; 李苗苗; 涂文轩; 李洪波; 张长旺; 葛铭; 殷建平
Original assignee: Zhejiang Normal University CJNU
Current assignee: Zhejiang Normal University CJNU
Priority date: 2021-06-24
Filing date: 2021-06-24
Publication date: 2021-11-09
Also published as: ZA202310983B; WO2022267953A1; US20240104376A1

Abstract

本发明公开基于多视图对比学习的引文网络图表示学习系统及方法。其中，本发明涉及的引文网络图表示学习系统，包括：样本构造模块，将原始图节点表示作为正样本，并基于原始图构造负对应样本；图增强模块，基于个性化页面排名算法和拉普拉平滑算法对正样本节点特征进行增强，获得正样本图和负样本图；融合模块，基于编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；互信息估计模块，通过鉴别器来对比正样本对和负样本对的学习表示；困难样本挖掘模块，根据预先计算的亲和力向量表示负样本对之间的一致性，并选择和保留较难表达全局或邻居信息的节点。

Description

基于多视图对比学习的引文网络图表示学习系统及方法

技术领域

本发明涉及面向引文网络的图表示学习技术领域，尤其涉及基于多视图对比学习的引文网络图表示学习系统及方法。

背景技术

随着信息化的发展，存储空间的不断上升，互联网用户群体的不断扩大，每天都会产生大量的文献信息，如何利用这些文献来更好地服务于不同的技术行业和广大群体成为研究者重点关注的内容。引文网络是指文献间引用和被引用的关系构成的集合，这些文献资料包括科技期刊、专利文献、会议论文集、科技报告和学位论文等多种形式。英文数据大量的存在于现实生活的各类应用中，通过对其进行不同维度的分析，可以帮助用户了解不同文献的数据结构、科学领域的发展、学科间的关系等。如何对引文进行有效的表示，图机器学习是最为常用的一种技术，其在进行引文网络结构分析、引文网络节点特征抽取等方面发挥着巨大作用。如何有效且快速的进行面向引文网络的图表示学习，使其能够携带更多包含自身特征信息和其与作者之间的关系信息，已经成为了当前该领域重点研究的方向。

网络图表示信息除需要提取自身属性信息的高维表示以外，还需要包含与周围邻居有关的高维特征表示和全局图的高维特征表示。例如，引文网络里的某一篇文献节点表示除包含自身的特征信息以外，还需要有周围相关联文献的信息与整个文献网络的信息表示。在实际应用中，获取有标注引文网络数据的成本十分高昂。因此，无监督图表示学习应运而生，其是指研究在没有人工标签信息的指导下，学习一种节点表示的编码器以保存图的属性与结构信息。无监督图表示学习通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量，以便机器学习算法进行处理。它的本质是将图中节点表示成低维、实值、稠密的向量形式，使其可以在向量空间中具有较强的表示与推理能力。图表示学习在引文网络建模、药物结构预测和社区检测等诸多应用中取得了优异的性能。前有不少优秀的方案应用于引文网络数据的建模过程，借助于图神经网络(GNNs)强大的表示学习能力，在所有面向引文网络的无监督图表示学习方法中，基于对比学习的方法取得了令人印象深刻的性能。

受到对比学习(CL)在计算机视觉中成功应用的启发，近期研究将对比学习技术引入图神经网络(GNNs)，并在无监督图表示学习方面表现出了强有力的性能。这些方法可以大致地分为两种类型，即节点-图级和节点-节点级。

节点-图级表示学习方法。这类方法旨在预测节点表示与图摘要之间的一致性，迫使所有节点保留具有全局特征的互信息。例如，深度图信息(DGI)估计每个单一节点和全局节点的相似性，以学习通过相互捕获整个图的全局信息内容的代表性节点特征互信息(MI)最大化。类似地，唐等[Qingyun Sun，Hao Peng，Jianxin Li，Jia Wu，Yuanxing Ning，Philip S.Yu，andLifang He.2021.SUGAR：Subgraph Neural Network withReinforcement Poo1-ing and Self-Supervised Mutual InformationMechanism.InProceedings of theInternational Conference on World Wide Web]提出了一种自监督的MI机制，以通过最大化子图表示的MI来增强其注意全局图的结构特性。最近，MVGRL提出使用图扩散来增强输入图，然后估计节点和图的交叉视图表示之间的MI最大化。

节点-节点级表示学习方法。与节点图模式不同的是，这些方法直接在细粒度节点级的两个表示(例如，编码器的输入和输出)之间的MI最大化，以保留输入图中的基本拓扑和属性信息。例如，图形互信息(GMI)提出利用图表示学习的节点-节点对比方案联合最大化边缘MI和特征MI。此外，GraphCL首先通过随机执行节点扰动来生成两个相关的图视图，然后通过直接最大化双源表示之间的节点级一致性来学习图的表示。此外，GCA以一种自适应的方式考虑图数据的增广视图，并通过在节点级定义对比目标来简化以前的节点图对比方案。

虽然实现了令人印象深刻的性能，这些基于GCL的方法通常采用单范围MI估计方案，如统一利用节点-图关系或节点-节点关系，来学习图的表示。因此，学习到的图表示不足以表示原始图的属性信息，导致次优性能。

困难样本挖掘是指用分类器对样本进行分类，把其中错误分类的样本(hardnegative)放入负样本集合再继续训练分类器。它是深度表示学习领域的一个重要组成部分，如行人重识别、深度度量学习和推荐系统。具体地说，基于困难样本感知的深度级联表示模型(HDCE)以级联的方式集成一组具有不同复杂度的模块，同时从多层次的角度出发对困难样本进行挖掘。赫等[Alexander Hermans，Lucas Beyer，and Bastian Leibe.2017.InDefense of theTriplet Loss for Person Re-Identification.ArXiv abs/1703.07737]通过精心设计的三联体损失，选择最难的正负样本，以提高人重新识别的度量表示学习的性能。类似地，引入了一种随机困难负挖掘(SHNM)方法来采用在线跟踪特征表示的类签名，并使用签名识别困难负实例候选对象。虽然困难样本挖掘方案被证明是增强各种深度表示学习任务中隐表示判别性的关键操作，但在图表示学习领域很少被研究。

现有基于GCL的框架中利用MI估计实现了更好的性能增强，但观察到这些方法通常基于所有节点估计节点-图级或节点-节点级表示之间的互信息。这种互信息评估方式存在以下两点问题，1)仅从单一的视角去关注图结构信息，忽略了不同范围内子图结构的位置信息；2)不加区分地抽取所有节点信息，使得困难样本不易区分。通过上述方式，网络通常更加偏好拟合整体或极端局部的图表示，并且在识别困难节点时会产生混淆，进而导致节点表示之间的相似性估计不准确，学习到的图表示识别能力有限。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基于多视图对比学习的引文网络图表示学习系统及方法，利用估计以层次方式最大化，获取更丰富的结构信息，以实现更全面的图表示学习。具体地说，由于保留多范围结构信息被证明对表示学习至关重要，因此引入了一种新的具有层次图Infomax的多视图对比学习框架，使节点表示能够最大限度地反映不同视图中的全局节点、相邻节点和单个节点信息。这样，互补的结构信息可以从不同的范围内统一编码，以提高图表示的质量。此外，随着对比细粒度的提高，设计了一个基于互信息的困难样本挖掘模块，以迫使网络更多地关注难以分辨的样本对。因此，所得到的网络将能够按顺序揭示困难节点的内在结构信息，以增强每个鉴别器的识别能力。

为了实现以上目的，本发明采用以下技术方案：

基于多视图对比学习的引文网络图表示学习系统，包括：

样本构造模块，用于将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；

图增强模块，用于基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；

融合模块，用于基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；

互信息估计模块，用于通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；

困难样本挖掘模块，用于根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。

进一步的，所述互信息估计模块中通过鉴别器来对比正样本图和负样本图的学习表示具体为：通过节点-图级、节点-邻居级、节点-节点级来对比正样本对和负样本对的学习表示。

进一步的，所述通过节点-图级来对比正样本对和负样本对的学习表示具体为：

利用R函数对正样本图的全局信息进行编码，表示为：

s^v＝R(Z^v)

其中，Z^v表示图编码器提取的第v个视图的正样本图表示；

计算分配给正样本图的概率分数，表示为：

其中，D表示鉴别器；z_i表示正样本；

表示进行编码的节点信息；s^v表示进行编码的正样本对的全局信息；σ表示指激活函数；W表示可学习张量；

计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：

其中，

表示节点与整个图之间的亲和性；

表示任意节点和整个图之间的差异性；V表示视图数；N和M分别表示正样本对和负样本对的数量；X^v表示第v个视图的特征矩阵；A^v表示第v个视图的邻接矩阵；

表示第v个视图的重构特征矩阵；

表示负样本。

进一步的，所述通过节点-邻居级来对比正样本对和负样本对的学习表示具体为：

选定节点的局部结构A′v，增强选定节点的第v个视图表示Z′v，并计算增强选定节点表示的局部结构，表示为：

H′^v＝σ(A′^vZ′^v)

其中，H′v表示增强选定节点表示的局部结构；σ表示指激活函数；

其中，N′表示采样的正样本个数；M′表示采样的负样本个数；X′^v表示第v个视图采样的特征矩阵；A′^v表示第v个视图采样的邻接矩阵；

表示第v个视图采样的重构特征矩阵；z_i′表示第v个视图中的正样本节点表示；

表示与第v个视图中的节点表示相应的相邻摘要；

表示表示第v个视图中的负样本节点表示；

表示节点邻居信息。

进一步的，所述通过节点-节点级来对比正样本对和负样本对的学习表示具体为：

用激活函数规范化表示第v个视图表示Z^v，并计算节点的图表示之间的互信息，表示为：

其中，N″表示二次采样的正样本个数；M″表示二次采样的负样本个数；X″^v表示第v个视图二次采样的特征矩阵；A″^v表示第v个视图二次采样的邻接矩阵；z_i′表示二次采样的中心节点表示；

表示二次采样的其节点表示；

表示第v个视图二次采样的重构特征矩阵；

表示二次采样的负节点表示。

进一步的，所述困难样本挖掘模块中根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习，具体为：

给定两种视图的正样本对和负样本对向量的互信息分数，将正样本对和负样本对相对应的向量进行线性组合运算，得到一致的互信息估计向量，表示为：

s_pos＝αS_pos1+(1-α)S_pos2

s_neg＝αS_neg1+(1-α)S_neg2

其中，Spos、Sneg表示融合的互信息一致性的分向量；α表示可学习的系数；

将正样本对和负样本对的真实标签分别定义为1和0；

根据亲和力向量对所有节点进行排序，并根据所有节点的索引将top-K的节点定义为困难节点，表示为：

idx＝Top_rank((S_neg-S_pos)，K)

其中，idx表示索引切片；

选择正样本对和负样本对，表示为：

其中，

表示负样本对；

表示正样本对；x_i表示预先分配的表示；

表示正样本对；

表示负样本对。

进一步的，还包括优化模块，用于对节点-图级、节点-邻居级、节点-节点级的对比正样本对和负样本对的学习表示进行优化，其中，优化的损失函数为：

L＝L_graph+λL_neighbor+γL_vertex

其中，λ和γ表示预定义的超参数。

进一步的，所述融合模块中的GCN编码器，表示为：

f^v(·)：Z^v＝f^v(G^v)＝f^v(X^v，A^v)

其中，f^v(·)表示编码器；G^v表示原始图集合。

进一步的，所述根据亲和力向量对所有节点进行排序之前还包括：利用Sneg减去Spos得到一组亲和向量。

相应的，还提供基于多视图对比学习的引文网络图表示学习方法，包括：

S1.将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；

S2.基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；

S3.基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；

S4.通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；

S5.根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。

与现有技术相比，本发明具有以下有益效果：

1)在无监督场景中更自然地处理图表示学习：L损失通过从数据本身探索信息来完成图对比学习，没有任何标签指导；

2)全面性更好：以层次化的方式揭示整个图的内在结构信息，该框架不是以固定的模式进行图互信息运算，而是隐式地估计来自不同范围的互信息，从而通过逐步利用节点-图级、节点-邻居级和节点-节点级的关系来提取更全面的信息；

3)判别性更好：将分层互信息估计和基于互信息的困难样本挖掘的学习过程统一起来，以过滤易区分节点并使网络更加关注困难节点，以提高网络的判别能力。

附图说明

图1是实施例一提供的基于多视图对比学习的引文网络图表示学习系统结构图；

图2是实施例一提供的基于多视图对比学习的引文网络图表示学习系统框架示意图；

图3是实施例一提供的基于互信息的困难样本挖掘模块示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供了基于多视图对比学习的引文网络图表示学习系统及方法。

实施例一

本实施例提供基于多视图对比学习的引文网络图表示学习系统，包括：

样本构造模块11，用于将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本；

图增强模块12，用于基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图；

融合模块13，用于基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示；

互信息估计模块14，用于通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；

困难样本挖掘模块15，用于根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。

本实施例提出的一种新的基于多视图GCL的框架，其中多视图对比学习(GCL)框架遵循通用的GCL范式，，称为多视图层次图Infomax(MHGI)，网络通过在相应的表示中最大化互信息来学习图的表示。用于无监督图表示学习，它融合了来自不同视图的信息，并以层次的方式进行图Infomax，以提高图表示的质量。

在样本构造模块11中，将引文网络图中相对应的原始图节点表示作为正样本，并基于原始图构造负对应样本。

获取引文网络中的原始图，将原始图G{X，A}的节点表示作为正样本，并基于对正样本由显式函数按行打乱顺序进行扰乱，得到负对应样本。

本实施例与现有的单一样本对的构造方式不同，本实施例建立了三种组合，即节点-图级、节点-邻居级和节点-节点级的模式，以分别构造正样本对和负样本对。

在图增强模块12中，基于个性化页面排名算法和拉普拉平滑算法对正样本中的图结构和初始节点特征进行增强，获得正样本节点集中相关的正样本图和负样本图。

通过个性化页面排名(PPR)算法[Glen Jeh and Jennifer Widom.2003.Scalingpersonalized web search.InProceed-ings of the Ihternational Conference onWorld Wide Web.271-279]和拉普拉平滑算法[Ganqu Cui，Jie Zhou，Cheng Yang，andZhiyuan Liu.2020.Adaptive GraphEncoder for Attributed GraphEmbedding.InProceedings of the ACM SIGKDDConference on Knowledge Discoveryand Data Mining.976-985]对正样本中的图结构和初始节点特征进行增强，获得正样本集合V中的正样本图G^v以及相对应的负样本图Gb^v。

在融合模块13中，基于GCN编码器提取正样本图表示和负样本图表示，整合正样本图表示和负样本图表示，并通过交叉视图集中融合层，得到正样本图和负样本图的共识表示。

基于GCN的编码器f^v(·)：Z^v＝f^v(G^v)＝f^v(X^v，A^v)，提取正样本图表示Z^v和增强后的相应负样本图表示G^vbZ^v。然后以线性融合的方式将正样本及负样本的多视图隐空间表示进行元素级累加，以获得共识表示ZBZ。

在互信息估计模块14中，通过鉴别器来对比正样本图中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示。

正样本对和负样本对的构造是通过正样本图和负样本图中的节点构造的。

利用三个基于参数共享的鉴别器来对比正样本对、负样本对，其中，通过对不同视图之间的互信息(MI)估计判断正样本对、负样本对的一致性。根据这一原则，在节点表示中进行图互信息最大化，以生成能够最大地反映整个图多范围结构信息的图表示。

为了充分保持多范围的结构特征和信息，本实施例通过层次化的方式估计互信息，即节点-图级、节点-邻居级、节点-节点级来对比正样本对和负样本点对的学习表示。其中分层互信息估计的整体结构如图2所示。

节点-图级互信息最大化，其中节点-图级互信息最大化的学习过程包括三个步骤：

1、给定图编码器提取的第v个视图的图表示Z^v，利用R函数对正样本图G^v的全局信息进行编码，表示为：

s^v＝R(Z^v)

其中，Z^v表示图编码器提取的第v个视图的正样本图表示；

2、对于任何节点n_i，来自Z的图表示z_i被视为一个正样本。它对应的负样本被表示为

然后使用一个鉴别器D，即一个简单的双线性函数，可以尽可能的使正样本对数值较大，负样本对数值较小，进一步计算分配给正样本图的概率分数，表示为：

其中，D表示鉴别器；z_i表示正样本；

表示增样本的转置矩阵；s^v表示进行编码的正样本对的全局信息；σ表示指激活函数；W表示可学习张量；

3、采用层次化可以最大限度最大化正样本对(z_i，S^v)之间的互信息，同时可以最小化所有视图中负样本对

之间的互信息。

因此，计算所有视图中正样本对之间的互信息以及负样本对之间的互信息，表示为：

其中，

表示节点与整个图之间的亲和性，

表示任意节点和整个图之间的差异性，这迫使学习到的节点尽可能多地捕获和保存全局信息；V表示视图数；N和M分别表示正样本对和负样本对的数量；X^v表示第v个视图的特征矩阵；A^v表示第v个视图的邻接矩阵；

表示第v个视图的重构特征矩阵；

表示负样本。

节点-邻居级的互信息最大化，与节点-图级互信息最大化相反，探索节点与邻居节点的关联关系有利于编码丰富的局部结构信息。如在下述公式，节点-邻居级互信息估计的过程包括两个步骤：

1、选定节点的局部结构A′v，增强选定节点的第v个视图表示Z′v，并计算增强选定节点表示的局部结构，表示为：

H′^v＝σ(A′^vZ′^v)

2、对于正样本对，在第v个视图中将节点n_j的节点表示z_j′与其相应的相邻摘要

之间的相互信息最大化。负样本对中的互信息最小化过程与节点-图级中的相似。

表示与第v个视图中的节点表示相应的相邻摘要；

表示第v个视图中的负样本节点表示；

表示邻居信息。

通过对比所有正样本对和负样本对，网络加强节点在不同视图之间的表示，因此，图的表示可以捕获更多潜在的局部结构信息。

节点-节点级互信息最大化具体为：

为了发掘每个视图中的特有信息，首先用激活函数规范化表示v图Z^v，然后使节点n_k的表示z_k通过节点-节点级互信息最大化同时收集不同视图的特有信息。这种互信息使得节点表示偏好跨多视图数据本身的精细信息。

因此，计算节点的图表示之间的互信息，表示为：

其中，N″表示二次采样的正样本个数；M″表示二次采样的负样本个数；X″^v表示第v个视图二次采样的特征矩阵；A″^v表示第v个视图二次采样的邻接矩阵；z″_i表示二次采样的中心节点表示；

表示二次采样的其节点表示；

表示第v个视图二次采样的重构特征矩阵；

表示二次采样的负节点表不。

在困难样本挖掘模块15中，根据预先计算的亲和力向量表示负样本对之间的一致性，并根据计算得到的亲和力向量来选择和保留较难表达全局或邻居信息的节点，实现更全面的图表示学习。

由于困难节点通常会混淆图表示网络，因此平等对待所有节点会限制生成的图表示的可辨别性。在这些不易区分的节点中，引入尽可能多的判别信息至关重要。为此，本实施例提出了一种新的基于互信息的困难样本挖掘模块，使网络能够更多地关注困难样本对。基于互信息的困难样挖掘模块总体结构如图3所示，包括四个步骤：

1、给定两种视图的正样本对和负样本对向量的互信息分数，将正样本对和负样本对相对应的向量进行线性组合运算，得到一组一致的互信息估计向量，表示为：

S_pos＝αS_pos1+(1-α)S_pos2

S_neg＝αS_neg1+(1-α)S_neg2

其中，Spos、Sneg表示融合的互信息一致性的分向量，它反映了正样本对、负样本对表示之间具有充分交互的一致性；d表示可学习的系数，它选择性地确定了两个信息源的重要性。α被初始化为0.5，然后使用梯度下降方法对网络进行自动调整；

2、将正样本对和负样本对的真实标签分别定义为1和0；

目标是通过计算对比目标(即类似交叉熵的损失函数)来训练网络，并使正样本对、负样本对的预测分数Spos、Sneg逐渐接近其相应的真实标签。直观地说，一个困难节点n_i基于一个潜在的假设，其中正样本对

的预测分数接近于0，负样本对

的预测分数接近于1。遵循这个假设，利用Sneg减去Spos得到一组亲和向量，用于度量节点n_i的

和

之间的一致性差异。

3、根据亲和力向量对所有节点进行排序，并根据所有节点的索引将top-K的节点定义为困难节点，表示为：

idx＝Top_rank((S_neg-S_pos)，K)

其中，idx表示索引切片；

4、通过下式选择正样本对和负样本对，表示为：

其中，

表示负样本对；

表示正样本对；x_i表示预先分配的表示；

表示正样本对；

表示负样本对。

总体而言，基于互信息的困难样本挖掘模块是一种基于互信息估计的结果来选择易混淆节点的新方法。通过这种方式，可以根据节点-图级或节点-邻居级的依赖性来评估任何节点的辨别性；且通过选择困难节点并对其进一步揭示内在的结构信息，以提高网络的识别能力；此外，该模块和提出的分层互信息估计在统一框架中无缝地协同学习，以保留更多信息来提高网络和图表示的辨别能力。

在本实施例中，还包括优化模块，用于对节点-图级、节点-邻居级、节点-节点级的对比正样本对和负样本对的学习表示进行优化，其中，优化的损失函数为：

L＝L_graph+λL_neighbor+γL_vertex

其中，λ和γ表示预定义的超参数，它们平衡了三个部分的重要性。

与现有技术相比，本实施例具有以下有益效果：

相应的，本实施例时还提供基于多视图对比学习的引文网络图表示学习方法，包括：

S4.通过鉴别器来对比正样本中节点构造的正样本对和负样本图中节点构造的负样本对的学习表示；

实施例二

本实施例提供的基于多视图对比学习的引文网络图表示学习系统与实施例一的不同之处在于：

为了评估所提出的MHGI的有效性，在六个广泛使用的数据集上进行了广泛的实验，包括Cora1、Citeseer1、Pubmed1、Amap2、Amac2和Corafull3。对于Cora、CiteSeer和PubMed数据集，使用了相同的训练/验证/测试划分，如[Thomas N.Kipf and MaxWelling.2017.Semi-Supervised Classification withGraph ConvolutionalNetworks.InProceedings of the International Conference onLearningRepresentations]。对于其他三个数据集(即Amap，Amac和Corafull)，由于它们没有可用的公共划分标准，因此使用随机划分，其中分别选择了7％，7％和其余86％的节点作为训练，验证和测试集。

如表1所示为不同方法在六个数据集上的节点分类精度比较(平均值±标准差)。其中，第二列表示训练过程中每种方法使用的输入，其中X、A和Y分别表示特征矩阵、邻接矩阵和标签。粗体表示最好的结果。OOM是指内存不足。

表1

设置参数：

训练过程：本方法是用PyTorch平台和NVIDIA 3090GPU实现的。拟议的MHGI的训练包括两个步骤。首先，训练整个无监督图表示学习框架，通过最小化对比损失函数L(·)来优化图表示至少120次迭代。其次，遵循DGI[Petar Velickovic，William Fedus，WilliamL.Hamilton，Pietro Liò，Yoshua Bengio，and R.Devon Hjelm.2019.Deep GraphInfomax.InProceedings of the InternationalConference on LearningRepresentations]并训练一个简单的逻辑回归分类器至少50次迭代直到收敛，以评估在半监督节点分类任务上生成的图表示的质量。对于所有比较的方法，为了减轻随机性的不利影响，将每个实验重复10次，并报告平均值和相应的标准偏差。

实现细节：视图构建的过程包括两个步骤。首先，遵循MVGRL[Kaveh Hassani andAmir Hosein Khas Ahmadi.2020.Contrastive Multi-ViewRepresentation Learning onGraphs.InProceedings of the International Conferenceon Machine Learning.4116-4126]并通过图扩散将增强应用于邻接矩阵以生成结构增强邻接矩阵

接下来，为了过滤掉高频信号同时保留低频信号，遵循AGE[Ganqu Cui，Jie Zhou，Cheng Yang，and Zhiyuan Liu.2020.Adaptive GraphEncoder for Attributed GraphEmbedding.InProceedings of the ACM SIGKDDConference on Knowledge Discoveryand Data Mining.976-985]并利用拉普拉斯平滑滤波器生成特征增强属性矩阵X_L：

X_L＝H^tX

其中，

表示归一化邻接矩阵

的度矩阵；t表示拉普拉斯平滑滤波器的频率，初始化为1。M表示实值，设置为2/3。

因此，将双视图公式

和

采用具有512个隐藏维度的双单层GCN作为本方法的编码器，消融研究使用Adam优化器进行训练。为了避免过度拟合，本方法采用了一种提前停止策略，即当验证损失达到平稳状态时优化停止。对于所有数据集，所提出的MHGI和逻辑回归分类器的学习率分别设置为1e^-3和1e^-2。根据参数敏感性测试的结果，将两个平衡的超参数γ和λ固定为1。由于Pubmed、Amap、Amac和Corafull的规模较大，需要利用MVGRL[Kaveh Hassani and Amir Hosein Khas Ahmadi.2020.ContrastiveMulti-ViewRepresentation Learning on Graphs.InProceedings of theInternational Conferenceon Machine Learning.4116-4126]中引入的子采样技巧，使它们适合GPU内存。此外，在这些实验中评估了分类准确性方面的性能。

性能比较：

在这一部分，将本方法与几种最先进的方法进行比较，以说明其有效性。其中，Deepwalk[Bryan Perozzi，Rami Al-Rfou，and Steven Skiena.2014.DeepWalk：onlinelearn-ing of social representations.InProceedings of the ACM SIGKDDConference onKnowledge Discovery and Data Mining.701-710]和NodetoVec[AdityaGrover and Jure Leskovec.2016.node2vec：Scalable Feature LearningforNetworks..InProceedings of the ACM SIGKDD Conference on KnowledgeDiscoveryand Data Mining.855-864]是经典的无监督图表示学习(UGRL)方法的代表。VGAE[Thomas N.Kipf and Max Welling.2016.Variational Graph Auto-Encoders.ArXivabs/1611.07308(2016)]和AGE[Ganqu Cui，Jie Zhou，Cheng Yang，andZhiyuan Liu.2020.Adaptive GraphEncoder for Attributed GraphEmbedding.InProceedings of the ACM SIGKDDConference on Knowledge Discoveryand Data Mining.976-985]表示基于重建的UGRL方法，它们通过重建输入和输出来学习下游任务的图表示。DGI[Petar Velickovic，William Fedus，William L.Hamilton，PietroLiò，Yoshua Bengio，and R.Devon Hjelm.2019.Deep Graph Infomax.InProceedings ofthe InternationalConference on Learning Representations]、GMI[Zhen Peng，Wenbing Huang，Minnan Luo，Qinghua Zheng，Yu Rong，TingyangXu，and JunzhouHuang.2020.Graph Representation Learning via GraphicalMutual InformationMaximization.InProceedings of the International Conferenceon World WideWeb.259-270]和MVGRL[Kaveh Hassani and Amir Hosein KhasAhmadi.2020.Contrastive Multi-ViewRepresentation Learning onGraphs.InProceedings of the International Conferenceon Machine Learning.4116-4126]是典型的基于图对比学习的UGRL框架。在这些方法中，通过基于互信息估计对正样本对和负样本对进行区分，图表示是通过属性和结构信息来学习的。为了直接将本方法与有监督的方法进行比较，还报告了GCN[Thomas N.Kipf and Max Welling.2017.Semi-Supervised Classification withGraph Convolutional Networks.InProceedings ofthe International Conference onLearning Representations]、GAT[PetarVelickovic，Guillem Cucurull，Arantxa Casanova，Adriana Romero，PietroLiò，andYoshua Bengio.2018.Graph Attention Networks.InProceedings of theInternationalConference on Learning Representation]和SS-GCNs[Yuning You，Tianlong Chen，Zhangyang Wang，and Yang Shen.2020.WhenDoes Self-Supervision Help GraphConvolutional Networks？.InProceedings ofthe International Conference onMachine Learning.10871-10880]的性能，它们以归纳方式训练网络进行节点分类。特别是，所提供了结果用于在原始特征上训练逻辑回归分类器。

表1给出了上述方法的精度性能比较。从该表1中，本实施例有以下观察结果：

1)在大多数情况下，MHGI相对于比较方法显示出优越的性能。具体来说，Deepwalk和NodetoVec仅基于DFS(深度优先采样)策略内容利用图结构信息，只有少数靠近源节点的节点会被采样，因此局部结构信息很容易被忽略。此外，这些方法很少考虑属性信息，导致性能较差。相比之下，MHGI充分地利用了图结构和节点属性的可用信息，极大地提高了网络性能。

2)基于重建的UGRL方法如VGAE和AGE无法与本方法相提并论，因为这些方法过分强调重建信息的质量，并且受到非结构化预测的影响。MHGI并非同等地重建所有信息，而是通过预测图中两种表示之间的一致性来优化对比目标，其中具有相似语义信息的样本之间的一致性最大化，而具有不相关语义信息的样本之间的一致性最小化。因此，所提出的MHGI提高了现有基于重建的UGRL方法的精度性能。

3)与基于GCL的方法相比，所提出的MHGI始终优于它们并实现了最佳的精度性能。例如，MVGRL被认为是基于GCL的无监督图表示学习方法中最强的基线。就所有基准数据集ACC而言，拟议的MHGI超过了0.6％、1.2％、1.5％、0.7％、0.8％和2.0％。这些结果验证了所提出框架的有效性，并证明了本方法的分层互信息估计策略和基于互信息的困难样本挖掘模块能够通过收集和保留来自不同范围的更全面的信息来帮助提高图表示的判别能力。

4)本方法还与五种监督图表示学习方法进行了比较，包括GCN、GAT和SS-GCN的三种变体：SS-GCN-Clu、SS-GCN-Par和SS-GCN-Comp。在没有任何标签指导的情况下，本方法表现出与一些监督方法(如GCN和GAT)相当的结果，甚至在Cora和Citeseer数据集上的结果甚至比它们更好。假设这些好处源于这样一个事实，即通过分层互信息估计和基于互信息的困难样本挖掘模块学习的MHGI图表示继承了原始图的丰富结构信息和潜在语义属性。这些监督方法的图表示不是从数据本身探索丰富的信息，而是在极其稀疏的监督信号的指导下学习和优化，这可能会受到过拟合的威胁并导致次优性能。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。