CN115828988A - 一种基于自监督的异构图表示学习方法 - Google Patents

一种基于自监督的异构图表示学习方法 Download PDF

Info

Publication number
CN115828988A
CN115828988A CN202211546741.0A CN202211546741A CN115828988A CN 115828988 A CN115828988 A CN 115828988A CN 202211546741 A CN202211546741 A CN 202211546741A CN 115828988 A CN115828988 A CN 115828988A
Authority
CN
China
Prior art keywords
node
representing
semantic
type
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211546741.0A
Other languages
English (en)
Inventor
陈东明
王振
陈欣
赵嘉欣
聂铭硕
王冬琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202211546741.0A priority Critical patent/CN115828988A/zh
Publication of CN115828988A publication Critical patent/CN115828988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于自监督的异构图表示学习方法，涉及图神经网络技术领域。本发明应用到了两种学习节点表示的方法：基于元路径的方法以及基于自注意力的方法，将两个方法融合，在一定程度上吸取了两种方法的优势，既学习局部节点信息也关注高阶的语义的结构信息。且通过使互相关矩阵接近恒等矩阵作为目标函数，这使得本方法不需要负样本来维持模型的鲁棒性，而是在节点嵌入中利用对比学习的思想，在节点向量维度中进行对比学习，使互相关矩阵的对角线接近1，其他向量接近于0。这吸取了降低冗余的思想，保证了两个视角的互相关性。且让不同维度的特征尽可能表示不同的信息，从而提升特征的表征能力。

Description

一种基于自监督的异构图表示学习方法
技术领域
本发明涉及图神经网络技术领域，特别涉及一种基于自监督的异构图表示学习方法。
背景技术
图表示学习将拓扑图映射到低维向量空间，同时保持原始图结构并支持图推理。传统图分析方法具有高计算和空间成本等问题，且很难捕获网络的高度非线性结构。这推动了图神经网络方法的出现，图神经网络在处理不规则的非欧几里得数据上极具优势，它将图数据的结构特性融入算法模型，利用样本实例之间的结构性特征，将不同样本之间的关系信息进行有效且充分的表示，从而最大化利用现实图的结构特性。
现实应用中很多数据经过建模更适合被表示为异构网络。如社交网络、引文网络和生物分子网络等。异构图神经网络可以将异构网络中的节点或子图嵌入到低维向量空间，实现异构图表示学习。因为每个节点都有其独特的属性，并且节点之间的连接传递了必要的信息。当对异质网络组成的多种类型的节点和边的信息进行聚合，同时考虑与每个节点相关联的异质属性、内容，使得异质网络的研究极具挑战性。目前基于自监督学习的异构图表示学习方法仍处于起步阶段，且因异构图的异构性，将自监督学习应用于异构图面临更多的挑战：1)图增强方法的选择。异构图的节点和边都可能包含多种类型，基于同构图的数据增强方法不能很好的应用与异构图中，很难保留异构图中的异构性。2)自监督方法需要大规模的负样本来保证模型不坍塌并学习到优秀的节点表示，这会使本就复杂耗时的异构图训练需要更高的硬件设备及时间。
随着自监督学习在多个领域取得成功，最近，人们开始关注将自监督学习应用于图结构数据。目前图深度学习的工作大多数基于有标签的监督学习，忽略了底层具有丰富结构和属性信息的数据特性，且标记图上的标签成本昂贵，这使得大多数现有方法不能应用于真实数据。由此来看，将自监督学习应用于图结构数据是非常有意义且具有很大研究潜力的。
异构图因其在现实生活中的广泛应用而受到研究者们的关注，异构图指图中的节点和节点之间的关系(边)都有多种类型，早期对异构图的研究将异构图映射到同构图后使用同构图的方法对其进行处理，但这种方法完全忽视了异构图中不同节点之间的关系以及不同边类型之间的联系，忽视了异构图中的丰富交互信息。因此，后期异构图表示学习的目的不仅是保留图中的结构信息，更关键是如何捕捉图中的异构结构信息和语义信息从而获得高质量节点表示。
发明内容
针对现有技术存在的问题，本发明提供了一种基于自监督的异构图表示学习方法。
为了实现上述目的，本发明的技术方案是：
一种基于自监督的异构图表示学习方法，包括以下步骤：
步骤1、基于元路径的异构图嵌入。对节点变换异构图中每种类型的节点使用设定的线性转换，如下式所示：
Figure BDA0003980299480000021
其中，hi’表示线性变换后的节点表示，Mφi表示节点类型特定的映射矩阵，hi表示经过编码器后的节点表示；
基于元路径的子图给定基于节点i的N条元路径{P1,P2,…PN}，节点i基于元路径的子图定义为
Figure BDA0003980299480000022
步骤2、每条元路径都表示了一种语义，用GCN对基于元路径的子图进行编码：
Figure BDA0003980299480000023
其中di为节点i的度，N条元路径得到N个嵌入；Ni Pn表示基于元路径的邻居；
步骤3、将步骤2获得的基于元路径的子图编码结果作为步骤3的输入，将基于元路径编码的结果作为输入，学习每条语义的权重，获得语义的嵌入，如下式所示：
Figure BDA0003980299480000024
其中β表示关系级注意力权重，attsem()表示学习每条语义的权重
步骤4、使用一层MLP层将语义的嵌入结果进行非线性变换，通过语义级注意力向量q来衡量语义嵌入间的相似性：
Figure BDA0003980299480000025
其中w表示权重矩阵，Pn表示元路径，V表示图的节点集，qT mp表示语义级注意向量，tanh()表示双曲正切激活函数，Wmp与bmp表示可学习的参数；
经过Softmax函数，得到对于节点i基于元路径Pn的语义权重：
Figure BDA0003980299480000026
其中exp()表示以自然常数e为底的指数函数；
加权求和得到语义层的嵌入：
Figure BDA0003980299480000031
其中zi mp表示语义层的嵌入，σ表示是一个非线性激活函数；
步骤5、基于注意力机制的信息聚合；基于注意力机制的异构图神经网络同时考虑节点注意力和语义注意力；
步骤5.1、进行子图采样，对于每个节点采样K个一阶邻居节点；
步骤5.2、进行节点变换，将不同类型节点的特征映射到统一空间中，即同一个隐层的向量空间，对每种类型的节点都使用设定的线性转换，对不同类型的节点重新再进行一次线性转换，如下式所示；
Figure BDA0003980299480000032
步骤6、获取节点级注意力，首先通过节点级注意力学习相同类型的不同邻居节点之间的重要性，对于一个节点对(i，j)，节点级注意力能学习到节点j相对于节点i的权重，且(i，j)的权重是非对称的，节点级注意力计算公式如下所示：
Figure BDA0003980299480000033
其中
Figure BDA0003980299480000034
表示节点级注意力，attnode()表示学习到节点的权重，
Figure BDA00039802994800000314
表示节点的邻居节点类型；
通过Softmax函数计算出节点j的权重系数，权重系数也是非对称的，计算一对节点(i，j)的权重系数：
Figure BDA0003980299480000035
其中
Figure BDA0003980299480000036
表示节点j和类型
Figure BDA0003980299480000037
到节点i的注意力值，softmax()表示归一化指数函数，
Figure BDA0003980299480000038
表示节点级注意力向量，k表示多头注意力个数，
Figure BDA0003980299480000039
表示所有邻居的信息；
计算聚合所有邻居节点的权重系数：
Figure BDA00039802994800000310
其中
Figure BDA00039802994800000311
表示类型的嵌入结果；
利用多头注意力机制计算聚合所有邻居节点的的权重系数，如下式所示：
Figure BDA00039802994800000312
其中K表示多头注意力个数；
步骤7、语义级注意力得到了所有类型的嵌入
Figure BDA00039802994800000313
M表示类型个数，i为目标节点，利用类型级注意力学习不同类型的重要性权重，并将重要性权重融合在一起进行加权求和得到类型层的嵌入；
步骤7.1、学习每种类型的权重：
Figure BDA0003980299480000041
其中β表示关系级注意力权重、φM节点的类型集；
使用一层MLP层将类型嵌入进行非线性变换，通过类型级注意力向量q来衡量所有类型的嵌入间的相似性：
Figure BDA0003980299480000042
其中m表示类型、qatt表示类型级注意向量，Watt与batt表示的是可学习的参数；
步骤7.2、使用Softmax函数，计算得到对于节点i，φm类型节点的权重：
Figure BDA0003980299480000043
步骤7.3、加权求和得到类型层的嵌入：
Figure BDA0003980299480000044
步骤8、将步骤4获得的语义层的嵌入以及步骤7获得的类型层的嵌入作为输入，使互相关矩阵的主对角线接近单位矩阵作为损失函数，沿批维数对嵌入矩阵进行归一化，然后计算两个视角的互相关矩阵C∈Rd×d。
Figure BDA0003980299480000045
其中Cij表示节点i、j互相关矩阵、q(Z1，Z2)表示q衡量特征Z1，Z2的相似性的值、zb,i表示在批量b向量维度i的一个特征输入、zb,j表示在批量b向量维度j的一个特征输入；
所述互相关矩阵是一个具有嵌入维数大小的方阵，对互相关矩阵进行优化使其尽可能接近单位矩阵，具体公式为：
Figure BDA0003980299480000046
其中λ为大于0的超参数，平衡第一项和第二项，其中，b为批的大小，i，j索引网络输出的向量维数，C的维度为d×d，d为模型输出的特征维度。
本发明的有益效果：
本发明为一种基于自监督的异构图表示学习方法。本发明与以往不同并非从样本出发，没有负样本。使两个增强图的相同维度特征尽可能相似，而不同维度特征尽可能差距较大。将对比学习的思想从样本转换到嵌入本身。本方法不依赖于动量更新等技巧降低了对批大小的需求，简化了自监督训练。通过将不同的消息聚合方式视为不同的视角，解决了异构图中图增强的难题，并且通过自监督的框架促进了不同方法信息的融合与共识，使用基于局部和基于高阶两种方式，不仅弥补了基于自注意力机制方法的缺乏针对性没有融入高阶语义，也弥补了基于元路径方法只学习到人为设计语义信息的局限性。
本发明提针对包含不同类型节点和边及丰富交互信息的异构网络，将不需要负样本的自监督学习引入到异构图表示学习中，提出一种面向异构图的自监督多视角图表示学习算法。解决了异构图算法依赖于人工标签的问题，且根据异构图的特性，与以往自监督学习不同，本发明将不同的编码方法作为数据增强，融合两种方法学习到的丰富信息。在4个数据集上与6个图表示学习算法进行节点分类和节点聚类对比实验的结果表明，本发明提出的算法优于其他相关方法。
附图说明
图1是本发明提供的一种基于自监督的异构图表示学习方法流程图；
具体实施方式
下面结合附图对本发明具体实施方式加以详细的说明。
一种基于自监督的异构图表示学习方法，如图1所示，包括以下步骤：
步骤1、基于元路径的异构图嵌入。节点变换异构图中的节点具有不同的类型，不同类型的节点有着不同的属性。因此节点的特征向量存在有不同维度的可能性，且属于不同的特征空间。为了将他们统一输入模型，需要将不同类型节点的特征映射到统一空间中(同一个隐层的向量空间)。对节点变换异构图中每种类型的节点使用设定的线性转换，如下式所示。
Figure BDA0003980299480000051
其中，hi’表示线性变换后的节点表示，Mφi表示节点类型特定的映射矩阵，hi表示经过编码器后的节点表示；
基于元路径的子图给定基于节点i的N条元路径{P1,P2,…PN}，节点i基于元路径的子图定义为
Figure BDA0003980299480000052
步骤2、每条元路径都表示了一种语义，用GCN对基于元路径的子图进行编码：
Figure BDA0003980299480000053
其中di为节点i的度，N条元路径得到N个嵌入；Ni Pn表示基于元路径的邻居；
步骤3、将步骤2获得的基于元路径的子图编码结果作为步骤3的输入。元路径聚合为了学习到更丰富的信息，将根据元路径学习到的多种语义信息融合到一起。将基于元路径编码的结果作为输入，学习每条语义的权重，获得语义的嵌入，如下式所示：
Figure BDA0003980299480000061
其中β表示关系级注意力权重，attsem()表示学习每条语义的权重
步骤4、使用一层MLP层将语义的嵌入结果进行非线性变换，通过语义级注意力向量q来衡量语义嵌入间的相似性：
Figure BDA0003980299480000062
其中w表示权重矩阵，Pn表示元路径，V表示图的节点集，qT mp表示语义级注意向量，tanh()表示双曲正切激活函数，Wmp与bmp表示可学习的参数；
经过Softmax函数，得到对于节点i基于元路径Pn的语义权重：
Figure BDA0003980299480000063
其中exp()表示以自然常数e为底的指数函数；
加权求和得到语义层的嵌入：
Figure BDA0003980299480000064
其中zi mp表示语义层的嵌入，σ表示是一个非线性激活函数；
步骤5、基于注意力机制的信息聚合；基于注意力机制的异构图神经网络同时考虑节点注意力和语义注意力；
步骤5.1、进行子图采样，对于每个节点采样K个一阶邻居节点；
步骤5.2、进行节点变换，异构图中的节点具有不同的类型，不同类型的节点有着不同的属性。因此节点的特征向量存在有不同维度的可能性，且属于不同的特征空间。为了将他们统一输入模型，将不同类型节点的特征映射到统一空间中，即同一个隐层的向量空间，对每种类型的节点都使用设定的线性转换，对不同类型的节点重新再进行一次线性转换，如下式所示；
Figure BDA0003980299480000065
步骤6、获取节点级注意力，首先通过节点级注意力学习相同类型的不同邻居节点之间的重要性，对于一个节点对(i，j)，节点级注意力能学习到节点j相对于节点i的权重，且(i，j)的权重是非对称的，节点级注意力计算公式如下所示：
Figure BDA0003980299480000071
其中
Figure BDA0003980299480000072
表示节点级注意力，attnode()表示学习到节点的权重，
Figure BDA0003980299480000073
表示节点的邻居节点类型；
通过Softmax函数计算出节点j的权重系数，权重系数也是非对称的，计算一对节点(i，j)的权重系数：
Figure BDA0003980299480000074
其中
Figure BDA0003980299480000075
表示节点j和类型
Figure BDA0003980299480000076
到节点i的注意力值，softmax()表示归一化指数函数，
Figure BDA0003980299480000077
表示节点级注意力向量，k表示多头注意力个数，
Figure BDA0003980299480000078
表示所有邻居的信息；
计算聚合所有邻居节点的权重系数：
Figure BDA0003980299480000079
其中
Figure BDA00039802994800000710
表示类型的嵌入结果；
由于异构图的特性，计算后会有很高的方差，利用多头注意力机制来解决这个问题计算聚合所有邻居节点的的权重系数，如下式所示：
Figure BDA00039802994800000711
其中K表示多头注意力个数；
步骤7、语义级注意力得到了所有类型的嵌入
Figure BDA00039802994800000712
M表示类型个数，i为目标节点，利用类型级注意力学习不同类型的重要性权重，并将重要性权重融合在一起进行加权求和得到类型层的嵌入；
步骤7.1、学习每种类型的权重：
Figure BDA00039802994800000713
其中β表示关系级注意力权重、φM节点的类型集；
使用一层MLP层将类型嵌入进行非线性变换，通过类型级注意力向量q来衡量所有类型的嵌入间的相似性：
Figure BDA00039802994800000714
其中m表示类型、qatt表示类型级注意向量，Watt与batt表示的是可学习的参数；
步骤7.2、使用Softmax函数，计算得到对于节点i，φm类型节点的权重：
Figure BDA0003980299480000081
步骤7.3、加权求和得到类型层的嵌入：
Figure BDA0003980299480000082
步骤8、将步骤4获得的语义层的嵌入以及步骤7获得的类型层的嵌入作为输入，使互相关矩阵的主对角线接近单位矩阵作为损失函数，沿批维数对嵌入矩阵进行归一化，然后计算两个视角的互相关矩阵C∈Rd×d。
Figure BDA0003980299480000083
其中Cij表示节点i、j互相关矩阵、q(Z1，Z2)表示q衡量特征Z1，Z2的相似性的值、zb,i表示在批量b向量维度i的一个特征输入、zb,j表示在批量b向量维度j的一个特征输入；
所述互相关矩阵是一个具有嵌入维数大小的方阵，对互相关矩阵进行优化使其尽可能接近单位矩阵，具体公式为：
Figure BDA0003980299480000084
其中λ为大于0的超参数，平衡第一项和第二项，其中，b为批的大小，i，j索引网络输出的向量维数，C的维度为d×d，d为模型输出的特征维度。
上式中的第一项是为了使互相关矩阵的对角线更接近于1，第二项是为了使互相关矩阵的非对角线接近于0，目的是使同一样本经过不同的网络后提取的两个特征向量的相同纬度尽可能相似，并减少不同维度之间的冗余。
本方法中应用到了两种学习节点表示的方法：基于元路径的方法以及基于自注意力的方法，他们都可以独立地学习节点表示。基于注意力机制的方法更注重于对局部结构的信息挖掘，而基于元路径的方法注重于对高阶语义的信息挖掘，本算法将两个方法融合，在一定程度上吸取了两种方法的优势，既学习局部节点信息也关注高阶的语义的结构信息。且通过使互相关矩阵接近恒等矩阵作为目标函数，这使得本方法不需要负样本来维持模型的鲁棒性，而是在节点嵌入中利用对比学习的思想，在节点向量维度中进行对比学习，使互相关矩阵的对角线接近1，其他向量接近于0。这吸取了降低冗余的思想，保证了两个视角的互相关性。且让不同维度的特征尽可能表示不同的信息，从而提升特征的表征能力。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种基于自监督的异构图表示学习方法，其特征在于：包括以下步骤：
步骤1、基于元路径的异构图嵌入；对节点变换异构图中每种类型的节点使用设定的线性转换，如下式所示：
Figure FDA0003980299470000011
其中，hi’表示线性变换后的节点表示，Mφi表示节点类型特定的映射矩阵，hi表示经过编码器后的节点表示；
基于元路径的子图给定基于节点i的N条元路径{P1,P2,…PN}，节点i基于元路径的子图定义为
Figure FDA0003980299470000012
步骤2、每条元路径都表示了一种语义，用GCN对基于元路径的子图进行编码：
Figure FDA0003980299470000013
其中di为节点i的度，N条元路径得到N个嵌入；Ni Pn表示基于元路径的邻居；
步骤3、将步骤2获得的基于元路径的子图编码结果作为步骤3的输入，将基于元路径编码的结果作为输入，学习每条语义的权重，获得语义的嵌入，如下式所示：
Figure FDA0003980299470000014
其中β表示关系级注意力权重，attsem()表示学习每条语义的权重
步骤4、使用一层MLP层将语义的嵌入结果进行非线性变换；
步骤5、基于注意力机制的信息聚合；基于注意力机制的异构图神经网络同时考虑节点注意力和语义注意力；
步骤6、获取节点级注意力；
步骤7、语义级注意力得到了所有类型的嵌入
Figure FDA0003980299470000015
M表示类型个数，i为目标节点，利用类型级注意力学习不同类型的重要性权重，并将重要性权重融合在一起进行加权求和得到类型层的嵌入；
步骤8、将步骤4获得的语义层的嵌入以及步骤7获得的类型层的嵌入作为输入，使互相关矩阵的主对角线接近单位矩阵作为损失函数，沿批维数对嵌入矩阵进行归一化，然后计算两个视角的互相关矩阵C∈Rd×d。
2.根据权利要求1所述的一种基于自监督的异构图表示学习方法，其特征在于，所述步骤4具体为，通过语义级注意力向量q来衡量语义嵌入间的相似性：
Figure FDA0003980299470000021
其中w表示权重矩阵，Pn表示元路径，V表示图的节点集，qT mp表示语义级注意向量，tanh()表示双曲正切激活函数，Wmp与bmp表示可学习的参数；
经过Softmax函数，得到对于节点i基于元路径Pn的语义权重：
Figure FDA0003980299470000022
其中exp()表示以自然常数e为底的指数函数；
加权求和得到语义层的嵌入：
Figure FDA0003980299470000023
其中zi mp表示语义层的嵌入，σ表示是一个非线性激活函数。
3.根据权利要求1所述的一种基于自监督的异构图表示学习方法，其特征在于，所述步骤5具体包括以下步骤：
步骤5.1、进行子图采样，对于每个节点采样K个一阶邻居节点；
步骤5.2、进行节点变换，将不同类型节点的特征映射到统一空间中，即同一个隐层的向量空间，对每种类型的节点都使用设定的线性转换，对不同类型的节点重新再进行一次线性转换，如下式所示；
Figure FDA0003980299470000024
4.根据权利要求1所述的一种基于自监督的异构图表示学习方法，其特征在于，所述步骤6具体为，首先通过节点级注意力学习相同类型的不同邻居节点之间的重要性，对于一个节点对(i，j)，节点级注意力能学习到节点j相对于节点i的权重，且(i，j)的权重是非对称的，节点级注意力计算公式如下所示：
Figure FDA0003980299470000025
其中
Figure FDA0003980299470000026
表示节点级注意力，attnode()表示学习到节点的权重，
Figure FDA0003980299470000027
表示节点的邻居节点类型；
通过Softmax函数计算出节点j的权重系数，权重系数也是非对称的，计算一对节点(i，j)的权重系数：
Figure FDA0003980299470000028
其中
Figure FDA0003980299470000029
表示节点j和类型
Figure FDA00039802994700000210
到节点i的注意力值，softmax()表示归一化指数函数，
Figure FDA0003980299470000031
表示节点级注意力向量，k表示多头注意力个数，
Figure FDA0003980299470000032
表示所有邻居的信息；
计算聚合所有邻居节点的权重系数：
Figure FDA0003980299470000033
其中
Figure FDA0003980299470000034
表示类型的嵌入结果；
利用多头注意力机制计算聚合所有邻居节点的的权重系数，如下式所示：
Figure FDA0003980299470000035
其中K表示多头注意力个数。
5.根据权利要求1所述的一种基于自监督的异构图表示学习方法，其特征在于，所述步骤7具体包括以下步骤：
步骤7.1、学习每种类型的权重：
Figure FDA0003980299470000036
其中β表示关系级注意力权重、φM节点的类型集；
使用一层MLP层将类型嵌入进行非线性变换，通过类型级注意力向量q来衡量所有类型的嵌入间的相似性：
Figure FDA0003980299470000037
其中m表示类型、qatt表示类型级注意向量，Watt与batt表示的是可学习的参数；
步骤7.2、使用Softmax函数，计算得到对于节点i，φm类型节点的权重：
Figure FDA0003980299470000038
步骤7.3、加权求和得到类型层的嵌入：
Figure FDA0003980299470000039
6.根据权利要求1所述的一种基于自监督的异构图表示学习方法，其特征在于，步骤8中所述互相关矩阵具体为：
Figure FDA00039802994700000310
其中Cij表示节点i、j互相关矩阵、q(Z1，Z2)表示q衡量特征Z1，Z2的相似性的值、zb,i表示在批量b向量维度i的一个特征输入、zb,j表示在批量b向量维度j的一个特征输入。
7.根据权利要求6所述的一种基于自监督的异构图表示学习方法，其特征在于，所述互相关矩阵是一个具有嵌入维数大小的方阵，对互相关矩阵进行优化使其尽可能接近单位矩阵，具体公式为：
Figure FDA0003980299470000041
其中λ为大于0的超参数，平衡第一项和第二项，其中，b为批的大小，i，j索引网络输出的向量维数，C的维度为d×d，d为模型输出的特征维度。
CN202211546741.0A 2022-12-05 2022-12-05 一种基于自监督的异构图表示学习方法 Pending CN115828988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211546741.0A CN115828988A (zh) 2022-12-05 2022-12-05 一种基于自监督的异构图表示学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211546741.0A CN115828988A (zh) 2022-12-05 2022-12-05 一种基于自监督的异构图表示学习方法

Publications (1)

Publication Number Publication Date
CN115828988A true CN115828988A (zh) 2023-03-21

Family

ID=85545110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211546741.0A Pending CN115828988A (zh) 2022-12-05 2022-12-05 一种基于自监督的异构图表示学习方法

Country Status (1)

Country Link
CN (1) CN115828988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473124A (zh) * 2023-11-03 2024-01-30 哈尔滨工业大学（威海） 一种具备抵制过度平滑能力的自监督异质图表示学习方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473124A (zh) * 2023-11-03 2024-01-30 哈尔滨工业大学（威海） 一种具备抵制过度平滑能力的自监督异质图表示学习方法
CN117473124B (zh) * 2023-11-03 2024-04-16 哈尔滨工业大学（威海） 一种具备抵制过度平滑能力的自监督异质图表示学习方法

Similar Documents

Publication Publication Date Title
CN111159426B (zh) 一种基于图卷积神经网络的产业图谱融合方法
CN110347932B (zh) 一种基于深度学习的跨网络用户对齐方法
CN110889434B (zh) 一种基于活动的社交网络活动特征提取方法
CN111325326A (zh) 一种基于异质网络表示学习的链路预测方法
CN111709518A (zh) 一种基于社区感知和关系注意力的增强网络表示学习的方法
CN113298191B (zh) 基于个性化半监督在线联邦学习的用户行为识别方法
CN115270007B (zh) 一种基于混合图神经网络的poi推荐方法及系统
CN111985623A (zh) 基于最大化互信息和图神经网络的属性图群组发现方法
Chen et al. A temporal recommendation mechanism based on signed network of user interest changes
CN115828988A (zh) 一种基于自监督的异构图表示学习方法
CN113887698B (zh) 基于图神经网络的整体知识蒸馏方法和系统
CN116450954A (zh) 一种基于图卷积网络的协同过滤推荐方法
CN112084418B (zh) 一种基于邻居信息和属性网络表征学习的微博用户社团发现方法
CN114037550A (zh) 一种动态社交网络表示学习方法
Ajagunsegun et al. Machine learning-based system for managing energy efficiency of public buildings: An approach towards smart cities
CN115631008A (zh) 商品推荐方法、装置、设备及介质
CN116226467A (zh) 基于节点结构特征的图卷积神经网络的社区发现方法
CN115601745A (zh) 一种面向应用端的多视图三维物体识别方法
CN114818681A (zh) 一种实体识别方法及系统、计算机可读存储介质及终端
CN114742292A (zh) 面向知识追踪过程的双态协同演化预测学生未来表现方法
CN114840717A (zh) 面向图数据的挖掘方法、装置、电子设备及可读存储介质
Fang et al. Knowledge map construction based on association rule mining extending with interaction frequencies and knowledge tracking for rules cleaning
CN114298854A (zh) 一种联合学习表示和对齐的弱监督用户身份链接方法
CN113792551A (zh) 一种基于混合式迁移学习的命名实体识别方法
CN113159976A (zh) 一种微博网络重要用户的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination